部署Doris存算一体集群

部署Doris存算一体集群1. 下载 doris安装包https://doris.apache.org/zh-CN/download2. 安装jdk所有节点执行2.1 解压tar-zxvfjdk-17.0.17_linux-x64_bin.tar.gz-C/data/java配置环境变量vim/etc/profile增加如下配置exportJAVA_HOME/data/java/jdk-17.0.17exportPATH$JAVA_HOME/bin:$PATH重载配置文件source/etc/profile3. 系统参数配置所有节点执行3.1 关闭 swap 分区临时关闭swapoff-a永久关闭注释掉/etc/fstab中的swap分区3.2 关闭系统透明大页临时关闭echomadvise/sys/kernel/mm/transparent_hugepage/enabledechomadvise/sys/kernel/mm/transparent_hugepage/defrag永久关闭cat/etc/rc.d/rc.localEOF echo madvise /sys/kernel/mm/transparent_hugepage/enabled echo madvise /sys/kernel/mm/transparent_hugepage/defrag EOFchmodx /etc/rc.d/rc.local3.3 增加虚拟内存区域cat/etc/sysctl.confEOF vm.max_map_count 2000000 EOFsysctl-p3.4 网络连接溢出时自动重置新连接cat/etc/sysctl.confEOF net.ipv4.tcp_abort_on_overflow1 EOFsysctl-p3.5 增加系统的最大文件句柄数vi/etc/security/limits.conf增加如下配置* soft nofile1000000* hard nofile10000003.6 安装并配置 NTP 服务sudosystemctl start ntpd.servicesudosystemctlenablentpd.service4. 解压doris安装包所有节点执行tar-zxvfapache-doris-3.1.4-bin-x64.tar.gz-C/data/doris5. 配置 FE 节点所有节点执行5.1 创建元数据存储目录mkdir-p/data/doris/doris-data/doris-meta5.2 修改 fe/conf/fe.conf增加如下配置# 本机 IP 段priority_networks192.169.188.0/24# 数据存储目录必须存在且可写storage_root_path/data/doris/doris-data/doris-meta# jdkJAVA_HOME/data/java/jdk-17.0.17# 每个FE节点允许的最大并发连接数qe_max_connection4096# 单个用户允许建立的最大并发连接数max_conn_per_user1024修改JAVA_OPTS_FOR_JDK_17的内存设置6. 配置 BE 节点所有机器6.1 创建数据存储目录mkdir-p/data/doris/doris-data/storage5.2 修改 be/conf/be.conf增加如下配置storage_root_path/data/doris/doris-data/storagepriority_networks192.169.188.0/24JAVA_HOME/data/java/jdk-17.0.17暂时没有加后续可以加enable_java_supporttrueenable_stream_load_recordtrueenable_single_replica_loadtrue7. 启动 FE Master 节点Master节点/data/doris/apache-doris-3.1.4-bin-x64/fe/bin/start_fe.sh--daemon8. 安装mysql客户端 Master节点执行yuminstallmysql-y使用mysql客户端连接dorismysql-h192.169.188.26-P9030-uroot9. 注册 FE Follower节点Master节点执行ALTERSYSTEMADDFOLLOWER192.169.188.27:9010;ALTERSYSTEMADDFOLLOWER192.169.188.28:9010;10. 启动Follower节点其他所有的Follower节点执行/data/doris/apache-doris-3.1.4-bin-x64/fe/bin/start_fe.sh--helper192.169.188.26:9010--daemon11. 查看节点状态Master节点执行mysql-h192.169.188.26-P9030-urootshowfrontends12. FE 集群中注册 BE 节点Master节点执行ALTERSYSTEMADDBACKEND192.169.188.26:9050;ALTERSYSTEMADDBACKEND192.169.188.27:9050;ALTERSYSTEMADDBACKEND192.169.188.28:9050;13. 启动所有 BE 服务所有节点执行/data/doris/apache-doris-3.1.4-bin-x64/be/bin/start_be.sh--daemon14. 通过命令查看 BE 节点的状态Master节点执行mysql-h192.169.188.26-P9030-urootshowbackends;15. 修改root密码Master节点执行在创建 Doris 集群时系统会自动创建一个名为 root 的用户并默认设置其密码为空。为了提高安全性建议在集群创建后立即为 root 用户设置一个新密码。-- check the current userselectuser();------------------------|user()|------------------------|root192.169.188.26|-------------------------- modify the password for current userSETPASSWORDPASSWORD(doris_new_passwd);16. 创建测试表并插入数据Master节点执行17. 常用操作查看 FE 节点信息SHOW PROC /frontends;查看 FE 节点信息SHOW PROC /backends;查询版本SHOW VARIABLES LIKE %version_comment%;关键端口说明配置项默认值作用http_port 80308030HTTP 服务端口用于访问 Doris 的 Web UI 界面进行集群监控和管理。rpc_port 90209020RPC 端口用于 FE 与 BE (Backend) 节点之间的内部通信。query_port 90309030MySQL 协议兼容端口客户端如 MySQL 客户端、JDBC通过此端口连接 Doris 执行 SQL。edit_log_port 90109010Edit Log 端口用于 FE 节点之间进行元数据同步。