1. 为什么选择Prometheus监控体系在分布式系统和微服务架构盛行的今天传统的监控工具往往难以应对动态变化的服务拓扑和海量指标数据。Prometheus凭借其多维数据模型、强大的查询语言PromQL和灵活的告警机制已经成为云原生监控的事实标准。我在多个生产环境中部署过Prometheus实测下来它的资源占用率比传统方案低30%以上特别适合中小型团队构建轻量级监控体系。与Zabbix等传统方案相比Prometheus最大的特点是拉取Pull模式。监控目标只需要暴露HTTP接口Prometheus服务器会定期抓取数据。这种方式特别适合容器化环境可以自动发现Kubernetes中的服务变更。不过要注意的是Prometheus默认是单节点部署如果需要高可用方案需要额外配置。2. 环境准备与Prometheus服务端安装2.1 服务器基础配置建议使用纯净的CentOS 7/8或Ubuntu 20.04 LTS系统我遇到过在低版本系统上glibc依赖问题。首先确保服务器有2GB以上内存实测1GB内存跑基础监控会频繁OOM并开放以下防火墙端口# CentOS firewall-cmd --permanent --add-port9090/tcp # Prometheus firewall-cmd --permanent --add-port9100/tcp # node_exporter firewall-cmd --reload # Ubuntu ufw allow 9090/tcp ufw allow 9100/tcp2.2 二进制包安装Prometheus从官网下载最新稳定版目前是2.54.0我习惯用wget直接下载到服务器避免上传步骤mkdir -p /usr/local/prometheus cd /usr/local/prometheus wget https://github.com/prometheus/prometheus/releases/download/v2.54.0/prometheus-2.54.0.linux-amd64.tar.gz tar -zxvf prometheus-*.tar.gz mv prometheus-2.54.0.linux-amd64 prometheus-server目录结构说明prometheus.yml主配置文件data/时序数据库存储目录promtool配置校验工具console_libraries/控制台模板2.3 首次启动与验证使用开发模式快速启动测试cd /usr/local/prometheus/prometheus-server ./prometheus --config.fileprometheus.yml看到Server is ready to receive web requests.日志后浏览器访问http://服务器IP:9090。点击Status Targets可以看到默认监控的Prometheus自身指标。注意直接前台启动会随SSH会话结束而终止生产环境需要用systemd管理见第5章3. 部署node_exporter采集主机指标3.1 安装节点采集器node_exporter需要部署在所有需要监控的机器上包括Prometheus服务器本身。同样采用二进制安装cd /usr/local/prometheus wget https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz tar -xzvf node_exporter-*.tar.gz mv node_exporter-1.8.2.linux-amd64 node_exporter3.2 配置采集模块node_exporter默认会采集CPU、内存、磁盘等基础指标通过--collector.参数启用更多采集器nohup /usr/local/prometheus/node_exporter/node_exporter \ --collector.systemd \ --collector.textfile \ --collector.netdev.device-excludelo 重要参数说明--collector.systemd监控systemd服务状态--collector.textfile支持从文本文件读取自定义指标--web.listen-address修改监听端口默认91003.3 指标验证访问http://节点IP:9100/metrics应该看到如下格式的指标node_cpu_seconds_total{cpu0,modeidle} 38245.72 node_memory_MemFree_bytes 1.243648e084. 配置服务端抓取节点数据4.1 修改prometheus.yml编辑主配置文件在scrape_configs部分添加新jobscrape_configs: - job_name: prometheus static_configs: - targets: [localhost:9090] - job_name: linux_nodes static_configs: - targets: [10.0.1.12:9100, 10.0.1.13:9100] labels: env: production role: web_server配置技巧使用labels添加业务维度标签多节点可以用逗号分隔多个targets修改后发送SIGHUP信号热加载配置kill -HUP pid4.2 服务发现进阶配置静态配置适合固定IP环境动态环境建议使用文件服务发现- job_name: dynamic_nodes file_sd_configs: - files: - /etc/prometheus/targets/*.json refresh_interval: 5m然后在/etc/prometheus/targets/nodes.json中维护节点列表[{ targets: [10.0.1.14:9100], labels: { env: staging, app: redis } }]5. 系统服务化与管理优化5.1 创建Prometheus系统服务创建/etc/systemd/system/prometheus.service[Unit] DescriptionPrometheus Server Afternetwork.target [Service] Userprometheus Groupprometheus ExecStart/usr/local/prometheus/prometheus-server/prometheus \ --config.file/usr/local/prometheus/prometheus-server/prometheus.yml \ --storage.tsdb.path/data/prometheus \ --web.enable-admin-api Restarton-failure [Install] WantedBymulti-user.target关键启动参数说明--storage.tsdb.retention.time30d数据保留周期--web.enable-lifecycle启用配置热加载API--web.external-url配置反向代理时使用5.2 node_exporter服务配置对应的node_exporter服务文件[Unit] DescriptionNode Exporter Afternetwork.target [Service] Usernode_exporter ExecStart/usr/local/prometheus/node_exporter/node_exporter \ --collector.textfile.directory/var/lib/node_exporter/textfile_collector Restartalways [Install] WantedBymulti-user.target5.3 权限与日志管理创建专用用户并设置目录权限useradd --no-create-home --shell /bin/false prometheus useradd --no-create-home --shell /bin/false node_exporter chown -R prometheus:prometheus /usr/local/prometheus mkdir -p /var/log/prometheus建议配置logrotate对日志进行轮转/var/log/prometheus/*.log { daily rotate 7 compress delaycompress missingok notifempty }6. 生产环境注意事项6.1 存储优化建议Prometheus默认使用本地TSDB存储几个关键优化点单独挂载SSD磁盘给--storage.tsdb.path设置合理的保留时间--storage.tsdb.retention.time30d监控TSDB状态prometheus_tsdb_head_series对于大规模部署100万时间序列建议分片部署多个Prometheus实例使用VictoriaMetrics或Thanos进行长期存储6.2 安全防护措施基础安全配置启用基础认证--web.config.fileweb-config.yml限制管理API访问--web.enable-admin-apifalse配置HTTPS--web.config.file指定TLS证书web-config.yml示例basic_auth_users: admin: $2y$05$xxxxxxxx # bcrypt加密密码 tls_server_config: cert_file: /path/to/cert key_file: /path/to/key6.3 监控数据可视化虽然Prometheus自带简单UI但生产环境建议搭配Grafana添加Prometheus数据源导入官方仪表板ID8919配置关键指标告警常用监控看板指标节点资源使用率CPU、内存、磁盘服务HTTP请求率与延迟业务自定义指标如订单量7. 常见问题排查7.1 目标节点状态为DOWN检查步骤在目标节点执行curl http://localhost:9100/metrics检查防火墙规则iptables -L -n验证Prometheus日志grep error scraping /var/log/prometheus/*.log7.2 指标丢失或不全可能原因node_exporter版本过旧建议≥1.0.0采集间隔过长调整scrape_intervalexporter进程被OOM杀死增加内存限制7.3 高内存占用处理优化方案减少采集目标数500/实例降低采集频率scrape_interval: 1m限制样本量--storage.tsdb.retention.size500GB我在实际运维中发现一个标准的4核8G服务器可以稳定处理每秒10万样本采集存储15天历史数据同时运行3-5个告警规则