Apache Doris快速部署指南:从下载到集群启动

发布时间:2026/5/19 11:38:41

Apache Doris快速部署指南:从下载到集群启动 1. 为什么选择Apache Doris第一次接触Apache Doris是在处理一个实时数据分析项目时。当时我们需要一个能同时支持高并发点查询和批量分析的OLAP引擎试过几个方案后Doris的响应速度和易用性让我印象深刻。它最大的特点是像用MySQL一样简单却能处理PB级数据——这对刚接触大数据组件的团队特别友好。Doris的核心优势可以总结为三点首先是极简架构只有FEFrontend和BEBackend两种节点部署时不需要依赖Hadoop生态其次是标准SQL支持兼容MySQL协议用常规的JDBC工具就能连接最重要的是实时分析能力数据写入即可查这对需要实时看板的业务简直是刚需。去年我们有个电商客户就是用Doris实现了秒级更新的GMV大屏。2. 快速获取安装包2.1 避开编译陷阱很多新手会直接从官网下载源码编译我强烈建议不要这么做。去年我帮客户部署时光是解决protobuf版本冲突就花了半天。现在社区提供了更便捷的预编译二进制包# 百度云托管的最新稳定版以2.0.4为例 wget https://palo-cloud-repo-bd.bd.bcebos.com/baidu-doris-release/DORIS-2.0.4-release-binary.tar.gz如果下载速度慢可以试试镜像站华为云镜像repo.huaweicloud.com/apache/doris腾讯云镜像mirrors.cloud.tencent.com/apache/doris2.2 版本选择建议生产环境建议选择长期支持版LTS比如2.0.x系列。测试环境可以尝鲜最新功能版但要注意API兼容性。我有次升级1.2到2.0就遇到了BE存储格式不兼容的问题最后只能全量重导数据。3. 单机部署实战3.1 解压与目录结构解压后你会看到这样的目录结构apache-doris-2.0.4/ ├── be # 后端节点 ├── fe # 前端节点 ├── broker # 外部存储访问代理 └── udf # 用户自定义函数建议把目录放在/opt下用chown -R doris:doris设置专用用户权限。遇到过权限问题导致BE启动失败的案例就是因为用root操作引发了文件访问冲突。3.2 启动FE节点先初始化元数据目录mkdir -p /opt/doris-meta cd fe修改conf/fe.conf关键参数# 内网IP或域名 priority_networks 192.168.1.0/24 # JVM堆内存8G物理机建议4-6G JAVA_OPTS-Xmx4g启动时加--daemon参数避免SSH断开导致进程退出bin/start_fe.sh --daemon验证是否启动成功# 检查日志 tail -f log/fe.log | grep thrift server started # 或用netstat查看9030端口 netstat -tlnp | grep 90303.3 连接MySQL客户端用任意MySQL客户端连接推荐DBeaver或HeidiSQLmysql -h 127.0.0.1 -P 9030 -uroot首次登录建议立即修改密码SET PASSWORD FOR root PASSWORD(your_strong_password);4. 构建分布式集群4.1 添加BE节点在FE节点执行假设BE节点IP为192.168.1.2ALTER SYSTEM ADD BACKEND 192.168.1.2:9050;常见坑点如果BE启动后一直显示Alive: false通常是防火墙没开9050/9060端口。有次客户机房部署运维忘了放行端口排查了两小时。4.2 BE节点配置关键配置项在conf/be.conf# 数据存储目录SSD盘性能更好 storage_root_path /data1/doris;/data2/doris # 单个磁盘使用率阈值超过会禁止写入 storage_flood_stage_usage_percent 95启动前需设置系统参数# 修改limits.conf echo * soft nofile 65536 /etc/security/limits.conf # 立即生效 ulimit -n 655364.3 验证集群状态在FE执行SHOW PROC /backends\G健康节点会显示Alive: true TabletNum: 100 LastHeartbeat: 2023-08-20 14:30:005. 高频问题解决方案5.1 FE启动报错排查如果遇到fe.out not found错误手动创建日志目录即可mkdir -p log touch log/fe.out5.2 BE磁盘不均衡当UsedPct差异超过10%时执行数据均衡ADMIN SET FRONTEND CONFIG (tablet_sched_balance_score_threshold 0.1);5.3 内存不足问题在fe.conf中调整查询内存限制# 单个查询最大内存单位字节 query_mem_limit 85899345926. 生产环境优化建议对于企业级部署建议分离部署FE和BE不要混部FE需要SSD盘保证元数据性能多FE高可用部署3个FE节点通过ALTER SYSTEM ADD FOLLOWER添加监控集成PrometheusGranfa监控指标重点关注be_compaction_score最近在金融客户那边实践发现合理设置compaction_max_memory_limit能显著提升高频写入场景的稳定性。具体值要根据数据量调整一般建议物理内存的30%-50%。

相关新闻