第8章:监控告警体系构建

第8章:监控告警体系构建8.1 监控架构设计为什么需要监控在大规模ES集群运维中,监控是基础设施,没有监控等于盲人摸象。监控的作用:实时感知: 实时了解集群状态,及时发现异常性能分析: 分析性能瓶颈,指导优化容量规划: 根据历史数据,规划扩容故障诊断: 故障时快速定位问题SLA保障: 监控关键指标,保障SLA监控架构┌─────────────────────────────────────┐ │ Elasticsearch集群 │ │ ┌───────────────────────────────┐ │ │ │ Elasticsearch Exporter │ │ │ │ (采集ES指标) │ │ │ └───────────────────────────────┘ │ └──────────────┬──────────────────────┘ │ ┌──────────▼──────────┐ │ Prometheus │ │ - 指标存储 │ │ - 指标查询 │ │ - 告警规则 │ └──────────┬──────────┘ │ ┌──────────┴──────────┐ │ │ ┌───▼────┐ ┌────▼───┐ │Grafana │ │Alertmgr│ │可视化 │ │告警 │ └────────┘ └────────┘监控层次层次1:集群级监控集群健康状态节点数量分片状态集群级别指标(查询QPS、写入QPS)层次2:节点级监控JVM堆内存使用率CPU使用率磁盘使用率网络IO分片数层次3:索引级监控索引大小文档数查询延迟写入延迟段数层次4:请求级监控慢查询日志慢写入日志请求错误率8.2 Elasticsearch Exporter部署与配置部署方式方式1:二进制部署:# 下载Exporterwgethttps://github.com/prometheus-community/elasticsearch_exporter/releases/download/v1.7.0/elasticsearch_exporter-1.7.0.linux-amd64.tar.gztar-xzfelasticsearch_exporter-1.7.0.linux-amd64.tar.gzcdelasticsearch_exporter-1.7.0.linux-amd64# 启动Exporter./elasticsearch_exporter\--es.uri=http://localhost:9200\--es.all\--es.indices\--es.indices_settings\--es.shards\--web.listen-address=:9114方式2:Docker部署:dockerrun-d\--nameelasticsearch_exporter\-p9114:9114\quay.io/prometheuscommunity/elasticsearch-exporter:latest\--es.uri=http://elasticsearch:9200\--es.all\--es.indices方式3:Kubernetes部署:apiVersion:apps/v1kind:Deploymentmetadata:name:elasticsearch-exporternamespace:monitoringspec:replicas:1selector:matchLabels:app:elasticsearch-exportertemplate:metadata:labels:app:elasticsearch-exporterspec:containers:-name:exporterimage:quay.io/prometheuscommunity/elasticsearch-exporter:latestargs:---es.uri=http://elasticsearch:9200---es.all---es.indices---es.shardsports:-