人工智能实战：大模型可观测性怎么做？从前期异常发现到 Trace、Metrics、Logs 三件套落地一、问题场景：用户说 AI 很慢，但你不知道慢在哪里大模型系统上线后，最常见的问题不是“彻底挂了”，而是：AI 有点慢 AI 偶尔答错 AI 有时没引用资料 AI 成本突然高 AI 某些用户体验差这些问题都需要可观测性。我之前排查过一个 RAG 系统，业务方反馈：最近 AI 回答明显变慢。一开始大家都以为是大模型慢。但拆指标后发现：总耗时：6.2s Query Rewrite：0.4s Embedding：0.8s Vector Search：1.7s Rerank：2.1s LLM Generate：1.0s Postprocess：0.2s真正瓶颈不是模型生成，而是：rerank 太慢 + 向量检索变慢。如果没有分阶段指标，团队很可能错误地去换模型。本文解决的问题是：
48.人工智能实战：大模型可观测性怎么做？从前期异常发现到 Trace、Metrics、Logs 三件套落地
发布时间：2026/7/7 8:40:14
人工智能实战：大模型可观测性怎么做？从前期异常发现到 Trace、Metrics、Logs 三件套落地一、问题场景：用户说 AI 很慢，但你不知道慢在哪里大模型系统上线后，最常见的问题不是“彻底挂了”，而是：AI 有点慢 AI 偶尔答错 AI 有时没引用资料 AI 成本突然高 AI 某些用户体验差这些问题都需要可观测性。我之前排查过一个 RAG 系统，业务方反馈：最近 AI 回答明显变慢。一开始大家都以为是大模型慢。但拆指标后发现：总耗时：6.2s Query Rewrite：0.4s Embedding：0.8s Vector Search：1.7s Rerank：2.1s LLM Generate：1.0s Postprocess：0.2s真正瓶颈不是模型生成，而是：rerank 太慢 + 向量检索变慢。如果没有分阶段指标，团队很可能错误地去换模型。本文解决的问题是：
