Face3D.ai Pro开源实践PrometheusGrafana监控GPU利用率与QPS当你运行一个像Face3D.ai Pro这样依赖GPU进行实时推理的AI应用时心里是不是总有几个问号我的GPU现在忙不忙系统每秒能处理多少请求服务稳定吗如果突然卡顿了我该从哪里找原因这些问题光靠感觉是回答不了的。你需要一套“仪表盘”能实时、直观地告诉你系统的运行状态。今天我们就来手把手为你的Face3D.ai Pro项目搭建一套基于Prometheus和Grafana的专业级监控系统。这套系统不仅能让你看清GPU的“一举一动”还能精准统计服务的QPS每秒查询率让你从“凭感觉运维”升级到“用数据决策”。1. 为什么需要监控Face3D.ai Pro在深入技术细节之前我们先聊聊为什么监控如此重要。Face3D.ai Pro是一个将2D照片实时重建为3D人脸模型的应用其核心负载集中在GPU上。没有监控你就像在开一辆没有仪表盘的车盲目运行你不知道GPU利用率是高是低。是GPU在“偷懒”还是已经满载导致请求排队问题滞后只有当用户反馈“服务变慢”或“报错”时你才发现问题此时可能已影响了多个用户。扩容凭感觉无法判断当前服务器资源是否足够支撑业务增长扩容决策缺乏数据支撑。性能黑洞优化了代码但效果如何没有对比数据优化就成了玄学。而有了PrometheusGrafana这套监控组合你将获得实时可视化通过图表直观展示GPU利用率、内存使用、温度以及服务的QPS、响应延迟。历史数据分析回溯过去几小时、几天甚至几个月的数据分析趋势定位问题发生的时间点。智能告警在资源使用率超过阈值如GPU利用率90%或服务异常如QPS骤降为0时自动通过邮件、钉钉、微信等渠道通知你。容量规划基于历史负载数据科学规划服务器资源避免资源浪费或不足。简单说监控就是你的“眼睛”和“警报器”让你对服务的健康状态了如指掌。2. 监控方案核心组件介绍我们的监控体系主要由三个部分组成它们各司其职协同工作。2.1 Prometheus数据的收集与存储中心你可以把Prometheus想象成一个非常专注且高效的数据“抓取员”和“仓库管理员”。它定期比如每15秒主动去各个目标称为target比如你的服务器、应用上“抓取”指标数据然后把这些时间序列数据存储在自己的数据库中。它的特点是简单、可靠特别适合监控动态的云原生环境。2.2 Node Exporter服务器硬件指标的“翻译官”Node Exporter是一个运行在需要被监控的服务器上的小程序。它的工作是把Linux系统的各种硬件和内核指标比如CPU、内存、磁盘、网络、GPU等转换成Prometheus能理解的格式。没有它Prometheus就看不懂你服务器的“身体状况”。2.3 Grafana数据的“视觉设计师”Grafana是一个强大的数据可视化平台。它本身不存储数据而是从Prometheus这样的数据源里读取数据然后通过丰富的图表折线图、仪表盘、热图等展示出来。你可以自由地拖拽组件设计出直观、美观的监控仪表盘。我们最终看到的那些酷炫图表都是Grafana的功劳。整个数据流是这样的Node Exporter暴露指标 - Prometheus定时抓取并存储 - Grafana查询Prometheus并绘图展示。3. 一步步搭建监控系统接下来我们进入实战环节。假设你的Face3D.ai Pro服务运行在一台Ubuntu 20.04/22.04的服务器上并且已经安装了NVIDIA GPU驱动。3.1 第一步安装并配置Node ExporterNode Exporter负责收集主机指标但默认不包含GPU指标。我们需要安装另一个专门的“翻译官”——nvidia_gpu_prometheus_exporter或使用NVIDIA DCGM。1. 安装Node Exporter基础主机监控# 下载最新版本的Node Exporter wget https://github.com/prometheus/node_exporter/releases/download/v1.6.1/node_exporter-1.6.1.linux-amd64.tar.gz # 解压 tar xvfz node_exporter-1.6.1.linux-amd64.tar.gz # 移动到系统目录并创建软链接 sudo mv node_exporter-1.6.1.linux-amd64/node_exporter /usr/local/bin/ sudo chmod x /usr/local/bin/node_exporter # 创建系统服务文件让Node Exporter可以开机自启 sudo tee /etc/systemd/system/node_exporter.service EOF [Unit] DescriptionNode Exporter Afternetwork.target [Service] Userroot ExecStart/usr/local/bin/node_exporter [Install] WantedBymulti-user.target EOF # 启动服务并设置开机自启 sudo systemctl daemon-reload sudo systemctl start node_exporter sudo systemctl enable node_exporter # 检查服务状态和指标是否暴露默认端口9100 sudo systemctl status node_exporter curl http://localhost:9100/metrics | head -202. 安装NVIDIA GPU Exporter关键步骤为了监控GPU我们选择nvidia_gpu_prometheus_exporter它比DCGM更轻量。# 使用Docker运行是最简单的方式确保已安装Docker docker run -d \ --name nvidia_gpu_exporter \ --restart unless-stopped \ --runtimenvidia \ -p 9835:9835 \ utkuozdemir/nvidia_gpu_prometheus_exporter:latest # 验证GPU指标是否暴露 curl http://localhost:9835/metrics | grep -i “gpu_”你应该能看到类似nvidia_gpu_utilization、nvidia_gpu_memory_used_bytes这样的指标。3.2 第二步安装并配置Prometheus现在让Prometheus去抓取上面两个Exporter暴露的数据。1. 安装Prometheus# 下载Prometheus wget https://github.com/prometheus/prometheus/releases/download/v2.47.2/prometheus-2.47.2.linux-amd64.tar.gz tar xvfz prometheus-2.47.2.linux-amd64.tar.gz sudo mv prometheus-2.47.2.linux-amd64 /opt/prometheus # 创建配置文件目录和数据目录 sudo mkdir -p /etc/prometheus sudo mkdir -p /var/lib/prometheus2. 创建Prometheus配置文件配置文件prometheus.yml告诉Prometheus抓取谁、怎么抓。sudo tee /etc/prometheus/prometheus.yml EOF global: scrape_interval: 15s # 每15秒抓取一次数据 evaluation_interval: 15s # 每15秒评估一次告警规则 scrape_configs: # 任务名监控服务器本身 - job_name: node static_configs: - targets: [localhost:9100] # Node Exporter的地址 # 任务名监控GPU - job_name: nvidia_gpu static_configs: - targets: [localhost:9835] # NVIDIA GPU Exporter的地址 # 任务名监控Face3D.ai Pro应用假设你的应用暴露了/metrics端点 # 你需要在自己的Gradio/FastAPI应用中集成prometheus_client来暴露QPS等指标 - job_name: face3d_app static_configs: - targets: [localhost:8080] # 你的Face3D.ai Pro服务地址 metrics_path: /metrics # Prometheus抓取指标的路径 EOF3. 创建系统服务并启动sudo tee /etc/systemd/system/prometheus.service EOF [Unit] DescriptionPrometheus Afternetwork.target [Service] Userroot ExecStart/opt/prometheus/prometheus \ --config.file/etc/prometheus/prometheus.yml \ --storage.tsdb.path/var/lib/prometheus/ \ --web.console.templates/opt/prometheus/consoles \ --web.console.libraries/opt/prometheus/console_libraries [Install] WantedBymulti-user.target EOF sudo systemctl daemon-reload sudo systemctl start prometheus sudo systemctl enable prometheus sudo systemctl status prometheus现在访问http://你的服务器IP:9090就能看到Prometheus的Web界面了。在“Status - Targets”页面应该能看到node和nvidia_gpu两个任务的状态都是UP。3.3 第三步在Face3D.ai Pro中暴露应用指标要让Prometheus监控到服务的QPS和请求延迟我们需要在Face3D.ai Pro的Python应用中集成prometheus_client库。1. 安装必要的库在你的Face3D.ai Pro项目环境中执行pip install prometheus-client2. 修改应用代码示例假设你的主应用文件是app.py基于Gradio。我们需要在启动Gradio服务之前启动一个Prometheus指标暴露端点。# 在app.py文件开头或合适位置添加 from prometheus_client import start_http_server, Counter, Histogram, Gauge import time # 定义指标 # 计数器统计总请求数 REQUEST_COUNT Counter(face3d_http_requests_total, Total HTTP Requests, [method, endpoint, status]) # 直方图统计请求延迟分布单位秒 REQUEST_LATENCY Histogram(face3d_http_request_duration_seconds, HTTP request latency in seconds, [endpoint]) # 仪表盘当前活跃请求数 ACTIVE_REQUESTS Gauge(face3d_http_requests_in_progress, Number of active HTTP requests) # 启动一个单独的HTTP服务器来暴露指标默认端口8000 start_http_server(8000) print(“Prometheus metrics server started on port 8000”) # 然后在你的Gradio接口函数上添加装饰器来收集指标 import functools def monitor_requests(func): functools.wraps(func) def wrapper(*args, **kwargs): # 增加活跃请求数 ACTIVE_REQUESTS.inc() start_time time.time() try: # 调用原函数 result func(*args, **kwargs) status ‘200’ except Exception as e: status ‘500’ raise e finally: # 减少活跃请求数记录延迟 ACTIVE_REQUESTS.dec() duration time.time() - start_time REQUEST_LATENCY.labels(endpointfunc.__name__).observe(duration) # 记录请求计数这里简化了method实际可根据需要获取 REQUEST_COUNT.labels(method‘POST’, endpointfunc.__name__, statusstatus).inc() return result return wrapper # 在你的Gradio接口函数上使用这个装饰器 import gradio as gr monitor_requests def reconstruct_face(image): # 这里是你的3D重建核心逻辑 # ... return mesh, texture # 后续的Gradio界面构建代码不变 # ...3. 更新Prometheus配置修改/etc/prometheus/prometheus.yml添加对应用指标的抓取。# 在scrape_configs部分添加 - job_name: face3d_app static_configs: - targets: [localhost:8000] # 上一步中prometheus_client启动的端口重启Prometheus服务sudo systemctl restart prometheus。现在你的应用指标如face3d_http_requests_total也会被Prometheus抓取。3.4 第四步安装并配置Grafana最后我们用Grafana来展示这些数据。1. 安装Grafana# 添加Grafana的APT仓库 sudo apt-get install -y software-properties-common sudo add-apt-repository “deb https://packages.grafana.com/oss/deb stable main” wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add - # 安装 sudo apt-get update sudo apt-get install grafana # 启动并设置开机自启 sudo systemctl start grafana-server sudo systemctl enable grafana-server2. 登录并添加数据源访问http://你的服务器IP:3000默认账号密码是admin/admin首次登录会要求修改密码。点击左侧齿轮图标“Configuration” - “Data Sources”。点击“Add data source”选择“Prometheus”。在URL栏填写http://localhost:9090如果Grafana和Prometheus装在同一台服务器。点击“Save Test”看到“Data source is working”的提示即表示成功。3. 导入监控仪表盘从头创建仪表盘比较耗时我们可以直接导入社区制作好的优秀模板。点击左侧“”号 - “Import”。在“Import via grafana.com”框中输入仪表盘ID1860这是一个非常流行的Node Exporter主机监控仪表盘。加载后选择我们刚添加的Prometheus数据源点击“Import”。现在你就能看到一个详细的主机监控仪表盘了包含了CPU、内存、磁盘、网络等图表。4. 创建GPU和Face3D.ai Pro专属监控面板我们需要为GPU和自定义的应用指标创建新的面板。在Grafana首页点击“New Dashboard” - “Add new panel”。在查询编辑器Query editor中选择数据源为你的Prometheus。添加GPU利用率图表在Metrics浏览器中输入nvidia_gpu_utilization选择该指标。在面板设置中将Title改为“GPU Utilization (%)”。点击“Apply”保存面板。添加GPU内存使用图表新建面板查询nvidia_gpu_memory_used_bytes。为了更直观可以添加一个转换Transform将其除以1024^3显示为GB或者直接使用nvidia_gpu_memory_used_bytes / 1024 / 1024 / 1024在查询中计算。标题设为“GPU Memory Used (GB)”。添加Face3D.ai Pro QPS图表新建面板查询rate(face3d_http_requests_total[5m])。rate函数计算的是每秒的增长率即QPS。[5m]是时间窗口表示计算最近5分钟内的平均速率。标题设为“Face3D.ai Pro QPS (Requests per Second)”。添加请求延迟图表新建面板查询histogram_quantile(0.95, rate(face3d_http_request_duration_seconds_bucket[5m]))。这个查询计算95%的请求延迟P95。标题设为“Face3D.ai Pro Request Latency P95 (seconds)”。将这些面板合理排列你就得到了一个专属于Face3D.ai Pro服务的全方位监控仪表盘。4. 从监控数据中洞察与行动搭建好监控只是第一步更重要的是看懂数据并采取行动。你的仪表盘上可能会出现以下几种典型场景场景一GPU利用率持续高于90%QPS平稳洞察GPU计算资源已成为瓶颈每个请求都在“全力”计算。行动考虑优化模型推理代码如使用TensorRT加速或者升级GPU硬件。如果QPS未达预期说明单卡处理能力已达上限。场景二GPU利用率低30%但QPS也很低洞察GPU很“闲”但请求不多。瓶颈可能不在GPU而在网络I/O、数据预处理或客户端。行动检查应用日志排查是否有阻塞操作。或者考虑是否可以通过批处理Batch Inference来提高GPU利用率和整体吞吐量。场景三QPS曲线出现周期性“毛刺”或骤降洞察服务可能不稳定存在间歇性卡顿或错误。行动结合请求延迟和错误率face3d_http_requests_total{status”500″}图表定位问题发生的时间点然后去查看对应时间的应用日志和系统日志。场景四GPU内存使用率缓慢增长最终触顶洞察可能存在内存泄漏例如每次推理后未正确释放显存。行动检查代码中Tensor、CUDA缓存的管理确保在长时间运行下显存使用稳定。5. 总结通过本文的实践我们成功为Face3D.ai Pro项目部署了一套从基础设施服务器、GPU到应用层QPS、延迟的立体化监控系统。这套基于Prometheus和Grafana的方案具有开源、灵活、功能强大的特点。回顾一下核心价值可视化将枯燥的数字变成直观的图表GPU忙闲、服务压力一目了然。可预警基于监控指标设置告警规则让你在用户投诉前发现问题。可分析利用历史数据分析性能瓶颈、评估优化效果、规划资源容量。可扩展这套架构可以轻松扩展未来增加新的服务器或微服务只需部署对应的Exporter并修改Prometheus配置即可。监控不是目的而是保障服务稳定、高效运行并驱动持续优化的重要手段。现在你的Face3D.ai Pro服务不再是一个“黑盒”而是一个拥有清晰“生命体征”的可观测系统。接下来你可以尝试设置告警规则当GPU温度过高或服务QPS跌零时自动通知让你的运维工作更加主动和高效。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Face3D.ai Pro开源实践：Prometheus+Grafana监控GPU利用率与QPS
发布时间：2026/7/30 11:59:50
Face3D.ai Pro开源实践PrometheusGrafana监控GPU利用率与QPS当你运行一个像Face3D.ai Pro这样依赖GPU进行实时推理的AI应用时心里是不是总有几个问号我的GPU现在忙不忙系统每秒能处理多少请求服务稳定吗如果突然卡顿了我该从哪里找原因这些问题光靠感觉是回答不了的。你需要一套“仪表盘”能实时、直观地告诉你系统的运行状态。今天我们就来手把手为你的Face3D.ai Pro项目搭建一套基于Prometheus和Grafana的专业级监控系统。这套系统不仅能让你看清GPU的“一举一动”还能精准统计服务的QPS每秒查询率让你从“凭感觉运维”升级到“用数据决策”。1. 为什么需要监控Face3D.ai Pro在深入技术细节之前我们先聊聊为什么监控如此重要。Face3D.ai Pro是一个将2D照片实时重建为3D人脸模型的应用其核心负载集中在GPU上。没有监控你就像在开一辆没有仪表盘的车盲目运行你不知道GPU利用率是高是低。是GPU在“偷懒”还是已经满载导致请求排队问题滞后只有当用户反馈“服务变慢”或“报错”时你才发现问题此时可能已影响了多个用户。扩容凭感觉无法判断当前服务器资源是否足够支撑业务增长扩容决策缺乏数据支撑。性能黑洞优化了代码但效果如何没有对比数据优化就成了玄学。而有了PrometheusGrafana这套监控组合你将获得实时可视化通过图表直观展示GPU利用率、内存使用、温度以及服务的QPS、响应延迟。历史数据分析回溯过去几小时、几天甚至几个月的数据分析趋势定位问题发生的时间点。智能告警在资源使用率超过阈值如GPU利用率90%或服务异常如QPS骤降为0时自动通过邮件、钉钉、微信等渠道通知你。容量规划基于历史负载数据科学规划服务器资源避免资源浪费或不足。简单说监控就是你的“眼睛”和“警报器”让你对服务的健康状态了如指掌。2. 监控方案核心组件介绍我们的监控体系主要由三个部分组成它们各司其职协同工作。2.1 Prometheus数据的收集与存储中心你可以把Prometheus想象成一个非常专注且高效的数据“抓取员”和“仓库管理员”。它定期比如每15秒主动去各个目标称为target比如你的服务器、应用上“抓取”指标数据然后把这些时间序列数据存储在自己的数据库中。它的特点是简单、可靠特别适合监控动态的云原生环境。2.2 Node Exporter服务器硬件指标的“翻译官”Node Exporter是一个运行在需要被监控的服务器上的小程序。它的工作是把Linux系统的各种硬件和内核指标比如CPU、内存、磁盘、网络、GPU等转换成Prometheus能理解的格式。没有它Prometheus就看不懂你服务器的“身体状况”。2.3 Grafana数据的“视觉设计师”Grafana是一个强大的数据可视化平台。它本身不存储数据而是从Prometheus这样的数据源里读取数据然后通过丰富的图表折线图、仪表盘、热图等展示出来。你可以自由地拖拽组件设计出直观、美观的监控仪表盘。我们最终看到的那些酷炫图表都是Grafana的功劳。整个数据流是这样的Node Exporter暴露指标 - Prometheus定时抓取并存储 - Grafana查询Prometheus并绘图展示。3. 一步步搭建监控系统接下来我们进入实战环节。假设你的Face3D.ai Pro服务运行在一台Ubuntu 20.04/22.04的服务器上并且已经安装了NVIDIA GPU驱动。3.1 第一步安装并配置Node ExporterNode Exporter负责收集主机指标但默认不包含GPU指标。我们需要安装另一个专门的“翻译官”——nvidia_gpu_prometheus_exporter或使用NVIDIA DCGM。1. 安装Node Exporter基础主机监控# 下载最新版本的Node Exporter wget https://github.com/prometheus/node_exporter/releases/download/v1.6.1/node_exporter-1.6.1.linux-amd64.tar.gz # 解压 tar xvfz node_exporter-1.6.1.linux-amd64.tar.gz # 移动到系统目录并创建软链接 sudo mv node_exporter-1.6.1.linux-amd64/node_exporter /usr/local/bin/ sudo chmod x /usr/local/bin/node_exporter # 创建系统服务文件让Node Exporter可以开机自启 sudo tee /etc/systemd/system/node_exporter.service EOF [Unit] DescriptionNode Exporter Afternetwork.target [Service] Userroot ExecStart/usr/local/bin/node_exporter [Install] WantedBymulti-user.target EOF # 启动服务并设置开机自启 sudo systemctl daemon-reload sudo systemctl start node_exporter sudo systemctl enable node_exporter # 检查服务状态和指标是否暴露默认端口9100 sudo systemctl status node_exporter curl http://localhost:9100/metrics | head -202. 安装NVIDIA GPU Exporter关键步骤为了监控GPU我们选择nvidia_gpu_prometheus_exporter它比DCGM更轻量。# 使用Docker运行是最简单的方式确保已安装Docker docker run -d \ --name nvidia_gpu_exporter \ --restart unless-stopped \ --runtimenvidia \ -p 9835:9835 \ utkuozdemir/nvidia_gpu_prometheus_exporter:latest # 验证GPU指标是否暴露 curl http://localhost:9835/metrics | grep -i “gpu_”你应该能看到类似nvidia_gpu_utilization、nvidia_gpu_memory_used_bytes这样的指标。3.2 第二步安装并配置Prometheus现在让Prometheus去抓取上面两个Exporter暴露的数据。1. 安装Prometheus# 下载Prometheus wget https://github.com/prometheus/prometheus/releases/download/v2.47.2/prometheus-2.47.2.linux-amd64.tar.gz tar xvfz prometheus-2.47.2.linux-amd64.tar.gz sudo mv prometheus-2.47.2.linux-amd64 /opt/prometheus # 创建配置文件目录和数据目录 sudo mkdir -p /etc/prometheus sudo mkdir -p /var/lib/prometheus2. 创建Prometheus配置文件配置文件prometheus.yml告诉Prometheus抓取谁、怎么抓。sudo tee /etc/prometheus/prometheus.yml EOF global: scrape_interval: 15s # 每15秒抓取一次数据 evaluation_interval: 15s # 每15秒评估一次告警规则 scrape_configs: # 任务名监控服务器本身 - job_name: node static_configs: - targets: [localhost:9100] # Node Exporter的地址 # 任务名监控GPU - job_name: nvidia_gpu static_configs: - targets: [localhost:9835] # NVIDIA GPU Exporter的地址 # 任务名监控Face3D.ai Pro应用假设你的应用暴露了/metrics端点 # 你需要在自己的Gradio/FastAPI应用中集成prometheus_client来暴露QPS等指标 - job_name: face3d_app static_configs: - targets: [localhost:8080] # 你的Face3D.ai Pro服务地址 metrics_path: /metrics # Prometheus抓取指标的路径 EOF3. 创建系统服务并启动sudo tee /etc/systemd/system/prometheus.service EOF [Unit] DescriptionPrometheus Afternetwork.target [Service] Userroot ExecStart/opt/prometheus/prometheus \ --config.file/etc/prometheus/prometheus.yml \ --storage.tsdb.path/var/lib/prometheus/ \ --web.console.templates/opt/prometheus/consoles \ --web.console.libraries/opt/prometheus/console_libraries [Install] WantedBymulti-user.target EOF sudo systemctl daemon-reload sudo systemctl start prometheus sudo systemctl enable prometheus sudo systemctl status prometheus现在访问http://你的服务器IP:9090就能看到Prometheus的Web界面了。在“Status - Targets”页面应该能看到node和nvidia_gpu两个任务的状态都是UP。3.3 第三步在Face3D.ai Pro中暴露应用指标要让Prometheus监控到服务的QPS和请求延迟我们需要在Face3D.ai Pro的Python应用中集成prometheus_client库。1. 安装必要的库在你的Face3D.ai Pro项目环境中执行pip install prometheus-client2. 修改应用代码示例假设你的主应用文件是app.py基于Gradio。我们需要在启动Gradio服务之前启动一个Prometheus指标暴露端点。# 在app.py文件开头或合适位置添加 from prometheus_client import start_http_server, Counter, Histogram, Gauge import time # 定义指标 # 计数器统计总请求数 REQUEST_COUNT Counter(face3d_http_requests_total, Total HTTP Requests, [method, endpoint, status]) # 直方图统计请求延迟分布单位秒 REQUEST_LATENCY Histogram(face3d_http_request_duration_seconds, HTTP request latency in seconds, [endpoint]) # 仪表盘当前活跃请求数 ACTIVE_REQUESTS Gauge(face3d_http_requests_in_progress, Number of active HTTP requests) # 启动一个单独的HTTP服务器来暴露指标默认端口8000 start_http_server(8000) print(“Prometheus metrics server started on port 8000”) # 然后在你的Gradio接口函数上添加装饰器来收集指标 import functools def monitor_requests(func): functools.wraps(func) def wrapper(*args, **kwargs): # 增加活跃请求数 ACTIVE_REQUESTS.inc() start_time time.time() try: # 调用原函数 result func(*args, **kwargs) status ‘200’ except Exception as e: status ‘500’ raise e finally: # 减少活跃请求数记录延迟 ACTIVE_REQUESTS.dec() duration time.time() - start_time REQUEST_LATENCY.labels(endpointfunc.__name__).observe(duration) # 记录请求计数这里简化了method实际可根据需要获取 REQUEST_COUNT.labels(method‘POST’, endpointfunc.__name__, statusstatus).inc() return result return wrapper # 在你的Gradio接口函数上使用这个装饰器 import gradio as gr monitor_requests def reconstruct_face(image): # 这里是你的3D重建核心逻辑 # ... return mesh, texture # 后续的Gradio界面构建代码不变 # ...3. 更新Prometheus配置修改/etc/prometheus/prometheus.yml添加对应用指标的抓取。# 在scrape_configs部分添加 - job_name: face3d_app static_configs: - targets: [localhost:8000] # 上一步中prometheus_client启动的端口重启Prometheus服务sudo systemctl restart prometheus。现在你的应用指标如face3d_http_requests_total也会被Prometheus抓取。3.4 第四步安装并配置Grafana最后我们用Grafana来展示这些数据。1. 安装Grafana# 添加Grafana的APT仓库 sudo apt-get install -y software-properties-common sudo add-apt-repository “deb https://packages.grafana.com/oss/deb stable main” wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add - # 安装 sudo apt-get update sudo apt-get install grafana # 启动并设置开机自启 sudo systemctl start grafana-server sudo systemctl enable grafana-server2. 登录并添加数据源访问http://你的服务器IP:3000默认账号密码是admin/admin首次登录会要求修改密码。点击左侧齿轮图标“Configuration” - “Data Sources”。点击“Add data source”选择“Prometheus”。在URL栏填写http://localhost:9090如果Grafana和Prometheus装在同一台服务器。点击“Save Test”看到“Data source is working”的提示即表示成功。3. 导入监控仪表盘从头创建仪表盘比较耗时我们可以直接导入社区制作好的优秀模板。点击左侧“”号 - “Import”。在“Import via grafana.com”框中输入仪表盘ID1860这是一个非常流行的Node Exporter主机监控仪表盘。加载后选择我们刚添加的Prometheus数据源点击“Import”。现在你就能看到一个详细的主机监控仪表盘了包含了CPU、内存、磁盘、网络等图表。4. 创建GPU和Face3D.ai Pro专属监控面板我们需要为GPU和自定义的应用指标创建新的面板。在Grafana首页点击“New Dashboard” - “Add new panel”。在查询编辑器Query editor中选择数据源为你的Prometheus。添加GPU利用率图表在Metrics浏览器中输入nvidia_gpu_utilization选择该指标。在面板设置中将Title改为“GPU Utilization (%)”。点击“Apply”保存面板。添加GPU内存使用图表新建面板查询nvidia_gpu_memory_used_bytes。为了更直观可以添加一个转换Transform将其除以1024^3显示为GB或者直接使用nvidia_gpu_memory_used_bytes / 1024 / 1024 / 1024在查询中计算。标题设为“GPU Memory Used (GB)”。添加Face3D.ai Pro QPS图表新建面板查询rate(face3d_http_requests_total[5m])。rate函数计算的是每秒的增长率即QPS。[5m]是时间窗口表示计算最近5分钟内的平均速率。标题设为“Face3D.ai Pro QPS (Requests per Second)”。添加请求延迟图表新建面板查询histogram_quantile(0.95, rate(face3d_http_request_duration_seconds_bucket[5m]))。这个查询计算95%的请求延迟P95。标题设为“Face3D.ai Pro Request Latency P95 (seconds)”。将这些面板合理排列你就得到了一个专属于Face3D.ai Pro服务的全方位监控仪表盘。4. 从监控数据中洞察与行动搭建好监控只是第一步更重要的是看懂数据并采取行动。你的仪表盘上可能会出现以下几种典型场景场景一GPU利用率持续高于90%QPS平稳洞察GPU计算资源已成为瓶颈每个请求都在“全力”计算。行动考虑优化模型推理代码如使用TensorRT加速或者升级GPU硬件。如果QPS未达预期说明单卡处理能力已达上限。场景二GPU利用率低30%但QPS也很低洞察GPU很“闲”但请求不多。瓶颈可能不在GPU而在网络I/O、数据预处理或客户端。行动检查应用日志排查是否有阻塞操作。或者考虑是否可以通过批处理Batch Inference来提高GPU利用率和整体吞吐量。场景三QPS曲线出现周期性“毛刺”或骤降洞察服务可能不稳定存在间歇性卡顿或错误。行动结合请求延迟和错误率face3d_http_requests_total{status”500″}图表定位问题发生的时间点然后去查看对应时间的应用日志和系统日志。场景四GPU内存使用率缓慢增长最终触顶洞察可能存在内存泄漏例如每次推理后未正确释放显存。行动检查代码中Tensor、CUDA缓存的管理确保在长时间运行下显存使用稳定。5. 总结通过本文的实践我们成功为Face3D.ai Pro项目部署了一套从基础设施服务器、GPU到应用层QPS、延迟的立体化监控系统。这套基于Prometheus和Grafana的方案具有开源、灵活、功能强大的特点。回顾一下核心价值可视化将枯燥的数字变成直观的图表GPU忙闲、服务压力一目了然。可预警基于监控指标设置告警规则让你在用户投诉前发现问题。可分析利用历史数据分析性能瓶颈、评估优化效果、规划资源容量。可扩展这套架构可以轻松扩展未来增加新的服务器或微服务只需部署对应的Exporter并修改Prometheus配置即可。监控不是目的而是保障服务稳定、高效运行并驱动持续优化的重要手段。现在你的Face3D.ai Pro服务不再是一个“黑盒”而是一个拥有清晰“生命体征”的可观测系统。接下来你可以尝试设置告警规则当GPU温度过高或服务QPS跌零时自动通知让你的运维工作更加主动和高效。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
)
