Ambari一键搭建HDP大数据集群

发布时间:2026/6/30 4:54:34

Ambari一键搭建HDP大数据集群 一、前置工具Yum是什么Yum是CentOS系统自带软件管家自动下载软件、自动解决依赖不用手动找安装包。常用操作直接复制执行bashyum install xxx -y #安装软件yum remove xxx -y #卸载软件yum clean all yum makecache #刷新软件源缓存必做更换阿里软件源系统默认国外源下载巨慢所有服务器统一执行bashmv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupcurl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repoyum makecache二、Ambari基础介绍1. Ambari作用免费网页版大数据集群管理工具一键安装HDFS、YARN、HBase、Spark、Kafka全套组件全程图形化操作不用敲大量复杂Hadoop命令。2. 两大核心组件Ambari Server部署在管理机网页后台服务统一管控所有机器访问端口8080。Ambari Agent每台数据机器都会自动安装接收Server指令上报硬件状态。3. 管理机安装Ambari完整命令只在ambari这台机器执行bash# 1.下载Ambari官方软件源wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.1.0/ambari.repo -O /etc/yum.repos.d/ambari.repo# 2.刷新源yum clean all# 3.安装服务端yum install ambari-server -y# 4.初始化配置一路回车默认ambari-server setup# 5.启动服务ambari-server start访问地址http://管理机IP:8080账号密码默认admin/admin三、集群机器规划整套集群一共6台机器1台ambari管理节点内存4G只跑Ambari后台、数据库bigdata1主节点16G内存部署NameNode、ResourceManager核心主服务bigdata2备份主节点16G存放SecondaryNameNode做数据备份bigdata3、bigdata4、bigdata5三台工作机各16G存放数据、运行计算任务。四、所有服务器统一前置准备缺一不可1. 修改/etc/hosts文件写入全部机器IP和主机名保证机器互相识别2. 打通SSH免密登录Ambari需要远程批量装组件3. 关闭防火墙和SELinux防止机器之间不通4. 统一安装JDK8并配置全局环境变量5. 开启NTP时间同步集群所有机器时间必须一致否则HBase、ZK报错6. 调高文件打开限制ulimit -n 10000。五、网页10步一键部署Hadoop集群登录Ambari后台点击创建集群1. 自定义集群名称比如bigdata2. 选择软件包版本HDP2.6内置Hadoop2.7.33. 填写所有机器名称上传SSH私钥4. 等待自动给每台机器安装Agent5. 勾选需要的大数据组件HDFS、YARN、Zookeeper、HBase、Spark、Kafka、Hive6. 主服务分配到bigdata1备份服务放bigdata27. 数据存储、计算组件分配到三台工作机8. 内存、存储参数全部保持默认新手不用修改9. 核对全部机器和服务分配信息10. 点击开始安装等待30-60分钟自动下载、启动所有服务。六、Ambari日常实用功能1. 一键启停服务单独启动、停止、重启任意大数据组件支持一键检测集群是否可用自动跑WordCount测试。2. 可视化修改配置不用手动编辑xml配置文件网页直接改副本数、内存大小。每次修改自动保存历史版本改错了可以一键回滚修改完会提示需要重启的服务。3. 集群监控面板实时查看所有机器CPU、内存、磁盘占用负载热力图一眼看出哪台机器压力大各项指标支持导出表格。4. 可视化HDFS文件管理不用输hdfs命令网页直接上传文件、新建文件夹、修改文件权限。5. 主机单独管控单独操作某一台服务器只启停单台机器的数据节点支持新增、下线服务器。6. 告警提醒进程挂掉、磁盘空间不足会主动弹出告警及时发现集群故障。七、两种大数据平台简单对比AmbariHDP完全开源免费社区更新速度快适合学生学习、中小企业自建大数据平台。CDHCM运行稳定性更强配套文档完善但企业增值功能收费更适合金融、大型政企生产环境。八、新手部署常见坑1. 没更换阿里源安装下载缓慢甚至直接失败2. 没配置免密登录无法批量给机器装Agent3. 集群时间不同步HBase、Zookeeper频繁报错4. 修改配置后不重启对应服务参数不生效5. 防火墙未关闭节点之间网络不通。九、总结Ambari彻底告别手动搭建Hadoop的繁琐流程从集群搭建、日常维护、监控排查全部网页可视化操作上手门槛低。HDP整套组件免费开源更新紧跟Apache官方是学习和中小企业大数据平台首选工具。

相关新闻