AI 可观测性从谁在用我的 API到谁在管我的 Agent——LLM 监控赛道的整合时刻一、执行摘要2026 年上半年AI 可观测性AI Observability赛道经历了一场静默但深刻的结构性重塑。这不是一个又有人融了钱的故事——而是赛道定义本身在发生变化。三件事在同一季度发生勾勒出终局的轮廓ClickHouse 收购 Langfuse2026 年 1 月数据库公司以 $4 亿 D 轮估值 $150 亿的姿态将最流行的开源 LLM 可观测平台收入囊中。Langfuse 本来就跑在 ClickHouse 上——这是一个基础设施层向上吃应用层的经典案例。Fiddler AI 完成 $3000 万 C 轮2026 年 1 月累计融资 $1 亿将自己从模型监控重新定位为AI 控制平面AI Control Plane。这个措辞变化不是营销话术——它代表赛道从被动观测到主动治理的范式转换。4 月 Fiddler 又收购了 Lumeus将治理边界从生产运行时反向延伸到 IDE/CLI 编码层。安全巨头集体入场Cisco 收了 GalileoLLM 评估与护栏、Palo Alto Networks 收了 PortkeyAI 网关和 Protect AI模型安全Check Point 则选择自研 AI 安全四大支柱。AI 可观测性正在从开发工具蜕变为安全基础设施。与此同时OpenObserve 以 2 万 GitHub Star 和 $1000 万 A 轮证明了开源路线的生命力OpenTelemetry GenAI 语义约定成为行业USB-C 接口阿里云将LLM 应用监控升级为AI Agent 可观测。全球 LLM 可观测平台市场 2026 年规模约 $26.9 亿以 36.2% CAGR 向 2030 年的 $92.6 亿冲刺。Gartner 预测到 2028 年LLM 可观测将覆盖 50% 的 GenAI 部署2026 年初仅 ~15%。我判断AI 可观测性正经历它的Datadog 时刻——不是因为市场规模而是因为三个原本独立的轨道APM 监控、LLM 评估、AI 安全正在一条一条地合并。这不是零散的创业公司故事而是一个新的基础设施层的形成。二、从模型监控到AI 控制平面——赛道定义的重构2.1 为什么 LLM 可观测性不是 MLOps 2.0传统 MLOps 监控关心的是确定性系统的工程指标模型延迟、吞吐量、CPU/GPU 利用率、数据漂移、预测分布。这些指标的前提是——模型的输出是可预测的、可重现的、可测量的。LLM 推翻了这个前提。当你监控一个 GPT-5.6 或 Claude Opus 5 驱动的 Agent 时你面对的是非确定性输出同一个 prompt 两次调用可能返回语义不同但都正确的答案。传统的期望值 vs 实际值对比完全失效。多步推理链一个 Agent 的一次回答可能涉及 5-20 次内部 LLM 调用、3 次工具调用、2 次检索——每一步都可能出错且错误呈指数级放大MSR 2026 对 11,771 个 PR 的分析显示 AI Agent 引入了 79.15% 的 CI 失败。成本不可预测Agent 工作负载每任务消耗的 Token 是聊天工具的 30-60 倍。一个看似简单的用户请求可能在后台触发 $0.50 的 API 调用——而你的 CFO 不知道。安全边界模糊Agent 不只是生成文本——它调用 API、操作数据库、发送邮件。一个被 prompt injection 攻击的 Agent 不只是说错话而是做错事。这就是为什么 Fiddler 的措辞变化——从模型监控到AI 控制平面——代表了整个赛道的认知升级。监控告诉你发生了什么控制平面决定什么被允许发生。2.2 赛道分层五个正在融合的细分市场2024 年这五个赛道是分开的——做追踪的不做评估做 prompt 管理的不做安全做网关的不做护栏。到了 2026 年年中这三条线正在坍缩为三个互相重叠的平台层。最直接的数据佐证Fiddler 先拿了 $3000 万做控制平面然后立刻收购 Lumeus 补上了编码层的安全能力。Langfuse 被 ClickHouse 收购后从LLM 追踪工具变成了分析数据库的原生 AI 层。Cisco 收了 SplunkSIEM Robust IntelligenceAI 安全 GalileoLLM 评估三者拼成了一张完整的AI 信任拼图。三、整合浪潮——谁在买、为什么买、花多少钱3.1 2026 年 AI 可观测性 MA 全景时间买方标的交易类型战略逻辑2026.1ClickHouseLangfuse收购随 $4 亿 D 轮同步数据库公司向上吃应用——Langfuse 本来就跑在 ClickHouse 上2026.1Fiddler AI—$3000 万 C 轮累计 $1 亿从模型监控升级为 AI 控制平面2026.4Fiddler AILumeus收购将治理边界从运行时延伸到 IDE 编码层2026.5CiscoGalileo收购AI 评估护栏补充 Splunk SIEM 的 AI 安全拼图2026.5Palo Alto NetworksPortkey收购AI 网关集成进 Prisma AIRSAI 运行时安全2025.7Palo Alto NetworksProtect AI~$6.5-7 亿收购模型扫描红队运行时安全 → Prisma AIRS2026.3MintlifyHelicone收购Helicone 进入维护模式新功能开发停止2026.4OpenObserve—$1000 万 A 轮Nexus Dell开源统一可观测日志指标追踪LLM2026.5Palo Alto NetworksCyberArk~$250 亿收购身份安全机器身份虽不直接是 AI 可观测但补齐了 Agent 身份治理3.2 三条整合逻辑一条终局分歧逻辑一基础设施层向上吃ClickHouse LangfuseClickHouse 的玩法最值得拆解。这不是一次普通的收购——Langfuse 早在 v3 就内部跑在 ClickHouse 上所以技术整合几乎零摩擦。但真正的战略含义更深如果你是一个数据库公司而 LLM 可观测本质上是一个大量非结构化追踪数据的存储查询问题那你应该拥有这个应用层。ClickHouse 的Agentic Data Stack愿景是所有 AI Agent 产生的追踪数据、评估数据、成本数据天然就应该存在 ClickHouse 里。Langfuse 只是这个愿景的第一个 UI 层。接下来可能是 prompt 管理、评估平台、甚至 AI 安全——全部建立在 ClickHouse 的列式存储引擎上。逻辑二用安全预算买可观测Cisco Galileo, Palo Alto Portkey这是最精巧的商业逻辑。企业采购 AI 可观测工具的预算通常来自哪里——DevOps 或 MLOps 团队预算池有限。但 AI 安全工具的预算来自哪里——CISO 办公室预算池是 DevOps 的 3-5 倍。Cisco 和 Palo Alto 的收购本质上是在做预算套利把 LLM 可观测产品装进安全 SKU用 CISO 的预算来卖。Cisco 的拼图尤其清晰——SplunkSIEM 可观测 Robust IntelligenceAI 安全 GalileoLLM 评估 一张AI 信任菜单CISO 可以一次性采购。逻辑三独立平台向上做厚Fiddler LumeusFiddler 代表第三条路——不卖身自己做厚。$3000 万 C 轮之后立刻收购 Lumeus把AI 控制平面从运行时监控延伸到开发时治理。Lumeus 做的是 Agent 姿态管理和策略执行——在代码生成层IDE/CLI就拦截不安全的 Agent 行为。Fiddler 的赌注是企业需要的不是另一个监控面板而是一个AI 操作系统——统一管理所有 AI Agent 的身份、权限、行为、审计。这条路如果走通Fiddler 就是 AI 时代的 CrowdStrike。3.3 终局分歧三种世界观这三种世界观互不兼容且各有道理ClickHouse 的逻辑LLM 可观测本质上是数据问题——高速写入、列式存储、SQL 查询。数据库引擎天然应该吃掉这一层。如果这个逻辑成立Datadog、Splunk、Elastic 都会跟进收购同类标的。Fiddler 的逻辑LLM 可观测不是数据问题是治理问题——你需要的是策略引擎、权限模型、合规审计不是一个分析数据库。如果这个逻辑成立Fiddler 应该被 ServiceNow 或 Salesforce 收购而不是被 ClickHouse。OpenObserve 的逻辑可观测应该是免费的、开源的、统一的——不需要为 LLM 专门买一个工具。如果这个逻辑成立付费可观测市场会坍缩为少数几个极端复杂场景的高端服务。我预判这三种世界观会在 12-18 个月内分出胜负——不是靠技术优劣而是靠谁先拿下 50 家 Fortune 500 的AI 治理年度合同。一旦大企业的采购决策形成惯性后发者很难翻盘。四、技术架构的战场——追踪、评估、护栏的三位一体4.1 OpenTelemetryAI 可观测的USB-C 接口2026 年 AI 可观测领域最重要的技术趋势不是某个创业公司的产品而是一个协议——OpenTelemetry GenAI 语义约定。它做了一件简单但关键的事定义了一套标准化的gen_ai.*属性命名空间让所有 LLM 调用——不管用的是 OpenAI、Anthropic、Gemini 还是 Qwen——都以相同的格式产出追踪数据。属性含义重要性gen_ai.system模型提供商openai/anthropic/gemini跨平台追踪的基础gen_ai.request.model请求的模型名称模型迁移时的对比基准gen_ai.usage.input_tokens输入 Token 数成本归因gen_ai.usage.output_tokens输出 Token 数成本归因gen_ai.cost.total单次调用成本2026 年最受关注的指标gen_ai.server.time_to_first_token首 Token 延迟用户体验核心指标gen_ai.response.finish_reasons生成停止原因安全监控是否被拦截为什么这件事重要因为它把可观测的仪表层和后端层解耦了。以前你选了 Langfuse 做追踪基本就被绑在它的 SDK 和 UI 上了。现在你可以用 OpenTelemetry 采集数据后端随便换——今天是 ClickHouse明天是 Datadog后天是自建。这是整个赛道商品化的技术前提。4.2 Agent 追踪 vs LLM 追踪复杂度跳升单次 LLM 调用的追踪是一维的请求→模型→响应。但一个多步 Agent 的追踪是三维的agent.run根 Span ├── reasoning span规划/决策步骤 │ ├── tool_call span工具调用 结果 │ └── tool_call span另一个工具 ├── gen_ai.chatLLM 调用 │ ├── retrieval span向量检索 │ └── embedding span查询向量化 └── gen_ai.chat最终回答生成这种三层父子 Span 架构是 2026 年的行业共识。关键在于每一步的延迟和成本都可以独立归因——当 p95 延迟从 2 秒跳到 8 秒你不需要猜是 retrieval 慢了还是 generation 慢了。但这只是技术前提——真正的战场在评估层。4.3 评估层LLM 可观测的最后一公里传统 APM 工具Datadog、New Relic、Dynatrace监控的是管道——延迟、错误率、吞吐量。但 LLM 的核心风险不在管道在内容——模型是否产生幻觉、是否有偏见、是否泄露了 PII、是否被 prompt injection 攻击。2026 年的共识方案是LLM-as-Judge 评估器用一个独立的 LLM 在后台对生产流量中的 10-20% 进行质量评分幻觉检测、毒性检测、任务完成度等将评分作为 Span 属性写回追踪数据。关键工程挑战是延迟——评估不能阻塞用户请求。业界的最佳实践是tail-based sampling保留 100% 的错误和低质量追踪对正常追踪仅采样 1-10%。评估器异步运行在采样数据上不增加用户体验延迟。但这里有一个元问题谁评估评估器如果 LLM-as-Judge 本身也漂移了怎么办业界目前的答案是定期用人工标注校准——这又回到了那个古老的真理AI 可观测的最终锚点仍然是人类判断。五、监管驱动——可观测从nice-to-have到must-have5.1 EU AI Act2026 年 8 月的倒计时EU AI Act 的高风险 AI 系统Annex III主要义务原本定在 2026 年 8 月 2 日全面生效后被 Digital Omnibus 推迟到 2027 年 12 月。但这个推迟是施工时间不是暂停——Article 12 要求的自动事件日志是其中最硬核的技术要求系统运行全生命周期的日志记录日志必须能够追溯和检查每一个决策记录保存至少 7 年从系统退役起算这意味着如果你 2027 年 12 月上线一个高风险 AI 系统你需要在 2034 年 12 月之后仍然能够拿出它的每一笔决策日志。这不是装个 Langfuse 就行的事——这是需要从数据架构层面规划的合规工程。5.2 安全厂商为什么在这个时点入场Cisco、Palo Alto、Check Point 三家安全巨头在 2026 年密集布局 AI 可观测不是因为他们看到了一个性感的开发者工具市场——而是因为他们看到了一个即将爆发的合规市场。EU AI Act 的日志要求与 SOC 2、ISO 27001、PCI-DSS 的审计要求是同构的。CISO 们突然意识到AI 系统的决策日志和传统 IT 系统的审计日志本质上应该存在同一个 SIEM 里。这就是安全预算买可观测的逻辑基础。LLM 可观测工具可以作为一个开发工具卖给 MLOps 团队定价 $199/月也可以作为一个AI 信任基础设施卖给 CISO定价 $50,000/年。Cisco 和 Palo Alto 显然选择了后者。5.3 中国市场NFRA 8 号文的可追溯要求中国国家金融监管总局 2025 年 6 月的金发 8 号文虽然没有明确提AI 可观测这个词但其核心要求——“谁使用谁负责”、人工智能应用全生命周期管理、高风险应用须经风险管理委员会审批——在实质上等同于强制 AI 可观测。阿里云的响应速度最快2026 年 6-7 月将LLM 应用监控全面升级为AI Agent 可观测整合了全局拓扑、链路追踪、会话分析、场景化大盘和智能告警五大能力。更重要的是阿里云通过 eBPF 无侵入监控OBI OpenTelemetry 实现了零代码接入——这对于受严格监管的中国金融机构来说是关键卖点。但在独立创业公司层面中国 AI 可观测赛道几乎空白。搜索大模型可观测、“LLM 监控”、AI Agent 治理等关键词除了阿里云的产品文档和少数技术博客几乎没有独立创业公司的声音。这与美国市场 Langfuse/Fiddler/OpenObserve/Arize/Braintrust 五强争霸的格局形成鲜明对比。六、主流产品对比——从开发者到 CISO谁在为谁买单6.1 开源阵营Langfuse vs Arize Phoenix vs OpenObserve维度LangfuseArize PhoenixOpenObserve许可证MITOSI 开源Elastic License 2.0源码可用AGPL-3.0GitHub 星31,50012,00020,000自托管Docker Compose 免费单进程免费无事件上限单二进制文件免费核心优势最成熟的 Trace 浏览器 UIPrompt 管理社区生态OpenTelemetry 原生14 框架自动插桩统一后端日志指标追踪LLM140x Elasticsearch 存储成本核心短板被 ClickHouse 收购后独立性存疑评估未附着在 Span 上无 Prompt 管理无网关/护栏非 OSI 许可证无 Prompt 管理无 PlaygroundAGPL 许可证法律风险最佳场景需要完整 LLM 可观测自托管开源的中大型团队已采用 OpenTelemetry需要轻量自托管追踪的团队想要一个后端管所有、厌恶工具蔓延的 SRE 团队起步价格Hobby 免费 (5 万 events/月)Core $29/月自托管免费AX Pro $50/月自托管免费6.2 商业平台阵营Braintrust vs LangSmith vs Fiddler维度BraintrustLangSmithFiddler定位评估优先的 AI 开发平台LangChain 原生追踪平台企业 AI 控制平面核心优势最佳实验 UI 数据集对比LLM-as-Judge 原生支持LangChain/LangGraph 零胶水追踪Trust Models 治理框架合规优先核心短板闭源 SaaSAgent 轨迹评估弱于 LangSmith封闭平台脱离 LangChain 价值下降per-seat 定价惩罚大团队封闭平台仅企业定制定价无开发者社区最佳场景以离线评估和实验为中心的团队全栈 LangChain/LangGraph 团队受监管行业金融/医疗/保险的 AI 治理起步价格Starter 免费 (1GB), Pro $249/月Developer 免费 (5K traces), Plus $39/座/月定制报价推测 $5-20 万/年起6.3 APM 三巨头的 AI 可观测布局Datadog、New Relic、Dynatrace 三家的 AI 可观测能力目前属于有但不深——它们能捕获 LLM 调用的延迟、错误率、Token 用量和成本但评估深度、Prompt 版本管理和数据集管理明显弱于专用工具。Datadog 在三家中 LLM 评估做得最深内置幻觉检测、毒性检测、PII 扫描New Relic 的免费层最慷慨100GB/月Dynatrace 的 Davis AI 根因分析最强。但三家的共同盲点是模型正确性。一个模型可以漂移、幻觉、返回自信满满的错误答案而你的 Datadog 面板全绿——因为延迟 40msHTTP 200 OK。这就是为什么业界共识是 APM 专用 LLM 可观测工具并行部署。七、中国市场——沉睡的巨人与独特路径7.1 中国 AI 可观测的三层梯队与美国市场 Langfuse/Fiddler/OpenObserve/Arize/Braintrust 五强争霸的格局不同中国 AI 可观测市场形成了标准制定者 上市公司 新锐创业的三层梯队梯队代表企业核心定位标准引领者基调听云Tingyun中国信通院 Lv5 智能引领级认证参编《面向 LLM 应用的可观测性能力要求》标准在超大型银行核心交易系统、省级政务大数据中心落地上市公司博睿数据Bonree, 688229Bonree ONE 一体化可观测平台2026 年 2 月披露 LLM 可观测模块适配 LiteLLM/SGL-Router新锐创业点富科技北京2024 年成立大模型全链路监控专利2025 年 12 月申请注册资本 1.11 亿元自动拦截 SDK 主动埋点国产替代LitefuseSelectDB 团队兼容 Langfuse SDK基于 Apache Doris成本低 88%已上线 SaaS10 万条/月免费最值得关注的是 Litefuse。它由 SelectDB 技术团队推出兼容 Langfuse SDK 的同时将架构从 6 组件简化至 3 组件基于 Apache Doris 列式存储将存储成本降低 65-88%并原生支持 Hermes、OpenClaw、Claude Code 等 Agent。这是中国 AI 可观测赛道第一个真正意义上的国产替代产品。7.2 阿里云的AI Agent 可观测升级2026 年 6-7 月阿里云将LLM 应用监控全面升级为AI Agent 可观测整合了五大核心能力全局拓扑与健康度、链路追踪支持轨迹图、链路树、会话分析多轮对话、长周期、场景化大盘Token 用量、模型性能、工具调用、智能告警。更具战略意义的是接入方式——阿里云通过eBPF 无侵入监控OBI实现零代码接入自动识别 LLM、Embedding、RAG、MCP、Tool 等调用类型支持 OpenAI、Claude、Gemini、Qwen 等主流模型。同时推出AgentLoop平台构建观测→分析→优化→再验证的经验自进化闭环——从真实 Trace 中自动挖掘经验并注入 Agent 运行时上下文在不重新训练模型的情况下提升准确率。腾讯云的策略则是自进化 Agent——CLS 全域可观测的 5-Agent 架构50,000 台 Agent 实例并发监控故障定位从 30 分钟降至秒级密钥沙箱防止 Agent 越权。7.3 中国特色的合规驱动路径中国 NFRA 金发 8 号文2026 年 6 月 18 日虽然未直接使用可观测性一词但其实质上构建了完整的监控-追溯-审计闭环“谁使用谁负责”金融机构作为 AI 使用方责任不随业务外包转移个人信息红线姓名、身份证号、手机号、银行卡号等个人信息不得用于生成式 AI 模型训练——这是一条比 GDPR 更严格的硬性红线全链路留痕完整保留原始数据、推理路径及阈值触发记录日志保存不低于业务存续期人类最终决策权信贷审批、资金交易等高风险场景AI 仅作为辅助工具中国信通院在标准建设上的速度全球领先——《面向 LLM 应用的可观测性能力要求》29 家头部单位参编2025 年 7 月发布和AgentOps《智能体运维能力要求》40 专家参与2025 年 12 月定稿两个标准在时间上均领先于国际同类标准。我判断中国市场将从 2027 年开始爆发——不是因为技术创新而是因为 NFRA 8 号文的合规 deadline 和中国 AI 法的立法进程将创造强制性需求。中国金融行业大模型中标项目从 2024 年的 133 个2.4 亿元暴增至 2025 年的 587 个15.06 亿元这些项目都需要可观测基础设施支撑。7.4 中美差异两条完全不同的赛道维度美国/全球中国市场驱动VC 驱动 产品竞争政策合规先行 标准引领主要买家科技公司 SaaS 企业金融机构 央企 政务工具偏好Langfuse/LangSmith/ArizeLangfuse 自托管 Dify 集成Litefuse 国产替代云厂商原生方案商业模式SaaS 订阅 开源核心私有化部署 项目制 信创适配数据主权关注但非首要最高优先级直接决定工具选型关键差异在美国AI 可观测是开发者想用的品类在中国它是监管要求必须做的品类。后者虽然起步慢但一旦监管 deadline 落地预算释放的速度和规模会远超前者。八、核心结论与终局推演8.1 AI 可观测的五个确定性趋势从被动观测到主动治理Fiddler 的AI 控制平面叙事代表了整个赛道的方向——可观测的终点不是更漂亮的仪表盘而是确定性的策略执行。2027 年底之前可观测护栏网关三者将合并为同一个产品品类。OpenTelemetry 成为事实标准就像 Kubernetes 统一了容器编排OpenTelemetry GenAI 语义约定正在统一 LLM 追踪的数据格式。这对创业公司是双刃剑——标准化降低了用户迁移成本但也降低了产品粘性。安全预算吃掉可观测预算Cisco/Palo Alto/Check Point 的入场不是来做慈善的。当 AI 可观测从开发者工具重新定义为安全基础设施市场 TAM 从 ~$27 亿跃升至安全市场的 ~$2000 亿。LLM 可观测创业公司要么被安全巨头收购要么证明自己值得独立存在。Agent 追踪是下一块必争之地单次 LLM 调用的可观测已经基本标准化OpenTelemetry gen_ai 语义约定。但多步 Agent 的追踪——包括工具调用链、推理轨迹、人机交互节点——仍处于早期。谁先做好 Agent 的原生可观测谁就抓住了下一波增长。中国市场是沉睡的巨人阿里云已经入场但独立创业公司几乎空白。中国 NFRA 的合规要求和 AI 法立法进程将创造强制性需求——不是要不要的问题是什么时候的问题。我预判2027 年上半年会出现第一个中国本土 AI 可观测创业公司的融资案。8.2 三种终局的可能概率终局 A基础设施层吃掉应用层概率 ~35%ClickHouse Datadog Splunk 三家数据分析/APM 巨头通过收购或自研将 LLM 可观测变成其平台的一个功能模块。Fiddler 等独立平台被 ServiceNow/Salesforce 收购。开源工具Langfuse/Phoenix维持社区但商业化乏力。终局 B独立控制平面成为新品类概率 ~30%Fiddler 的愿景兑现——AI 控制平面成为类似 SIEM 的独立品类。企业不愿意让 ClickHouse 或 Datadog 同时知道他们的数据、AI 模型和 Agent 行为——数据主权和安全隔离的需求推动独立平台生存。2028 年出现第一家 AI 可观测独角兽 IPO。终局 C商品化——可观测变成 AI 网关的免费功能概率 ~35%OpenTelemetry 标准化 开源工具成熟 Cloudflare/AWS/Azure 将可观测内建为 AI 网关的免费功能 → 独立 LLM 可观测市场萎缩为少数高合规场景的高端服务。就像 Kubernetes 的监控——大部分够用少数极端场景才需要 Datadog。我赌终局 C 在 2-3 年内最可能但终局 B 在 5-7 年内有翻盘机会。短期看标准化和开源的力量太强——OpenTelemetry 让采集层商品化ClickHouse 让存储层商品化开源项目让UI 层商品化。但长期看AI Agent 的治理复杂度身份、权限、审计、策略会超出通用工具的能力边界——届时会出现一个AI 时代的 Okta Splunk。8.3 对创业者和投资者的启示如果你在做 LLM 可观测创业不要做更好的 Langfuse。去做 Langfuse 做不到的事——Agent 身份治理、跨组织追踪A2A、AI 策略引擎。差异化不在仪表盘在谁有权限让 Agent 做什么。如果你是企业 AI 负责人2026 年下半年是采购 AI 可观测工具的最佳窗口期——MA 刚完成产品路线图清晰价格还没被安全预算推高。锁定一个支持 OpenTelemetry 的工具给自己留好退路。如果你在中国做 AI 创业AI 可观测是一个几乎空白的赛道。银行、保险、政府机构对 AI 审计追溯有刚性需求且不会用美国工具。谁先拿出合规就绪的国产 AI 可观测方案谁就锁定了一个至少 20 亿人民币的蓝海市场。AI 辅助深度研究人工视角解读。每日更新。
深度 | AI 可观测性：从谁在用我的 API到谁在管我的 Agent——LLM 监控赛道的整合时刻
发布时间：2026/7/31 4:36:27
AI 可观测性从谁在用我的 API到谁在管我的 Agent——LLM 监控赛道的整合时刻一、执行摘要2026 年上半年AI 可观测性AI Observability赛道经历了一场静默但深刻的结构性重塑。这不是一个又有人融了钱的故事——而是赛道定义本身在发生变化。三件事在同一季度发生勾勒出终局的轮廓ClickHouse 收购 Langfuse2026 年 1 月数据库公司以 $4 亿 D 轮估值 $150 亿的姿态将最流行的开源 LLM 可观测平台收入囊中。Langfuse 本来就跑在 ClickHouse 上——这是一个基础设施层向上吃应用层的经典案例。Fiddler AI 完成 $3000 万 C 轮2026 年 1 月累计融资 $1 亿将自己从模型监控重新定位为AI 控制平面AI Control Plane。这个措辞变化不是营销话术——它代表赛道从被动观测到主动治理的范式转换。4 月 Fiddler 又收购了 Lumeus将治理边界从生产运行时反向延伸到 IDE/CLI 编码层。安全巨头集体入场Cisco 收了 GalileoLLM 评估与护栏、Palo Alto Networks 收了 PortkeyAI 网关和 Protect AI模型安全Check Point 则选择自研 AI 安全四大支柱。AI 可观测性正在从开发工具蜕变为安全基础设施。与此同时OpenObserve 以 2 万 GitHub Star 和 $1000 万 A 轮证明了开源路线的生命力OpenTelemetry GenAI 语义约定成为行业USB-C 接口阿里云将LLM 应用监控升级为AI Agent 可观测。全球 LLM 可观测平台市场 2026 年规模约 $26.9 亿以 36.2% CAGR 向 2030 年的 $92.6 亿冲刺。Gartner 预测到 2028 年LLM 可观测将覆盖 50% 的 GenAI 部署2026 年初仅 ~15%。我判断AI 可观测性正经历它的Datadog 时刻——不是因为市场规模而是因为三个原本独立的轨道APM 监控、LLM 评估、AI 安全正在一条一条地合并。这不是零散的创业公司故事而是一个新的基础设施层的形成。二、从模型监控到AI 控制平面——赛道定义的重构2.1 为什么 LLM 可观测性不是 MLOps 2.0传统 MLOps 监控关心的是确定性系统的工程指标模型延迟、吞吐量、CPU/GPU 利用率、数据漂移、预测分布。这些指标的前提是——模型的输出是可预测的、可重现的、可测量的。LLM 推翻了这个前提。当你监控一个 GPT-5.6 或 Claude Opus 5 驱动的 Agent 时你面对的是非确定性输出同一个 prompt 两次调用可能返回语义不同但都正确的答案。传统的期望值 vs 实际值对比完全失效。多步推理链一个 Agent 的一次回答可能涉及 5-20 次内部 LLM 调用、3 次工具调用、2 次检索——每一步都可能出错且错误呈指数级放大MSR 2026 对 11,771 个 PR 的分析显示 AI Agent 引入了 79.15% 的 CI 失败。成本不可预测Agent 工作负载每任务消耗的 Token 是聊天工具的 30-60 倍。一个看似简单的用户请求可能在后台触发 $0.50 的 API 调用——而你的 CFO 不知道。安全边界模糊Agent 不只是生成文本——它调用 API、操作数据库、发送邮件。一个被 prompt injection 攻击的 Agent 不只是说错话而是做错事。这就是为什么 Fiddler 的措辞变化——从模型监控到AI 控制平面——代表了整个赛道的认知升级。监控告诉你发生了什么控制平面决定什么被允许发生。2.2 赛道分层五个正在融合的细分市场2024 年这五个赛道是分开的——做追踪的不做评估做 prompt 管理的不做安全做网关的不做护栏。到了 2026 年年中这三条线正在坍缩为三个互相重叠的平台层。最直接的数据佐证Fiddler 先拿了 $3000 万做控制平面然后立刻收购 Lumeus 补上了编码层的安全能力。Langfuse 被 ClickHouse 收购后从LLM 追踪工具变成了分析数据库的原生 AI 层。Cisco 收了 SplunkSIEM Robust IntelligenceAI 安全 GalileoLLM 评估三者拼成了一张完整的AI 信任拼图。三、整合浪潮——谁在买、为什么买、花多少钱3.1 2026 年 AI 可观测性 MA 全景时间买方标的交易类型战略逻辑2026.1ClickHouseLangfuse收购随 $4 亿 D 轮同步数据库公司向上吃应用——Langfuse 本来就跑在 ClickHouse 上2026.1Fiddler AI—$3000 万 C 轮累计 $1 亿从模型监控升级为 AI 控制平面2026.4Fiddler AILumeus收购将治理边界从运行时延伸到 IDE 编码层2026.5CiscoGalileo收购AI 评估护栏补充 Splunk SIEM 的 AI 安全拼图2026.5Palo Alto NetworksPortkey收购AI 网关集成进 Prisma AIRSAI 运行时安全2025.7Palo Alto NetworksProtect AI~$6.5-7 亿收购模型扫描红队运行时安全 → Prisma AIRS2026.3MintlifyHelicone收购Helicone 进入维护模式新功能开发停止2026.4OpenObserve—$1000 万 A 轮Nexus Dell开源统一可观测日志指标追踪LLM2026.5Palo Alto NetworksCyberArk~$250 亿收购身份安全机器身份虽不直接是 AI 可观测但补齐了 Agent 身份治理3.2 三条整合逻辑一条终局分歧逻辑一基础设施层向上吃ClickHouse LangfuseClickHouse 的玩法最值得拆解。这不是一次普通的收购——Langfuse 早在 v3 就内部跑在 ClickHouse 上所以技术整合几乎零摩擦。但真正的战略含义更深如果你是一个数据库公司而 LLM 可观测本质上是一个大量非结构化追踪数据的存储查询问题那你应该拥有这个应用层。ClickHouse 的Agentic Data Stack愿景是所有 AI Agent 产生的追踪数据、评估数据、成本数据天然就应该存在 ClickHouse 里。Langfuse 只是这个愿景的第一个 UI 层。接下来可能是 prompt 管理、评估平台、甚至 AI 安全——全部建立在 ClickHouse 的列式存储引擎上。逻辑二用安全预算买可观测Cisco Galileo, Palo Alto Portkey这是最精巧的商业逻辑。企业采购 AI 可观测工具的预算通常来自哪里——DevOps 或 MLOps 团队预算池有限。但 AI 安全工具的预算来自哪里——CISO 办公室预算池是 DevOps 的 3-5 倍。Cisco 和 Palo Alto 的收购本质上是在做预算套利把 LLM 可观测产品装进安全 SKU用 CISO 的预算来卖。Cisco 的拼图尤其清晰——SplunkSIEM 可观测 Robust IntelligenceAI 安全 GalileoLLM 评估 一张AI 信任菜单CISO 可以一次性采购。逻辑三独立平台向上做厚Fiddler LumeusFiddler 代表第三条路——不卖身自己做厚。$3000 万 C 轮之后立刻收购 Lumeus把AI 控制平面从运行时监控延伸到开发时治理。Lumeus 做的是 Agent 姿态管理和策略执行——在代码生成层IDE/CLI就拦截不安全的 Agent 行为。Fiddler 的赌注是企业需要的不是另一个监控面板而是一个AI 操作系统——统一管理所有 AI Agent 的身份、权限、行为、审计。这条路如果走通Fiddler 就是 AI 时代的 CrowdStrike。3.3 终局分歧三种世界观这三种世界观互不兼容且各有道理ClickHouse 的逻辑LLM 可观测本质上是数据问题——高速写入、列式存储、SQL 查询。数据库引擎天然应该吃掉这一层。如果这个逻辑成立Datadog、Splunk、Elastic 都会跟进收购同类标的。Fiddler 的逻辑LLM 可观测不是数据问题是治理问题——你需要的是策略引擎、权限模型、合规审计不是一个分析数据库。如果这个逻辑成立Fiddler 应该被 ServiceNow 或 Salesforce 收购而不是被 ClickHouse。OpenObserve 的逻辑可观测应该是免费的、开源的、统一的——不需要为 LLM 专门买一个工具。如果这个逻辑成立付费可观测市场会坍缩为少数几个极端复杂场景的高端服务。我预判这三种世界观会在 12-18 个月内分出胜负——不是靠技术优劣而是靠谁先拿下 50 家 Fortune 500 的AI 治理年度合同。一旦大企业的采购决策形成惯性后发者很难翻盘。四、技术架构的战场——追踪、评估、护栏的三位一体4.1 OpenTelemetryAI 可观测的USB-C 接口2026 年 AI 可观测领域最重要的技术趋势不是某个创业公司的产品而是一个协议——OpenTelemetry GenAI 语义约定。它做了一件简单但关键的事定义了一套标准化的gen_ai.*属性命名空间让所有 LLM 调用——不管用的是 OpenAI、Anthropic、Gemini 还是 Qwen——都以相同的格式产出追踪数据。属性含义重要性gen_ai.system模型提供商openai/anthropic/gemini跨平台追踪的基础gen_ai.request.model请求的模型名称模型迁移时的对比基准gen_ai.usage.input_tokens输入 Token 数成本归因gen_ai.usage.output_tokens输出 Token 数成本归因gen_ai.cost.total单次调用成本2026 年最受关注的指标gen_ai.server.time_to_first_token首 Token 延迟用户体验核心指标gen_ai.response.finish_reasons生成停止原因安全监控是否被拦截为什么这件事重要因为它把可观测的仪表层和后端层解耦了。以前你选了 Langfuse 做追踪基本就被绑在它的 SDK 和 UI 上了。现在你可以用 OpenTelemetry 采集数据后端随便换——今天是 ClickHouse明天是 Datadog后天是自建。这是整个赛道商品化的技术前提。4.2 Agent 追踪 vs LLM 追踪复杂度跳升单次 LLM 调用的追踪是一维的请求→模型→响应。但一个多步 Agent 的追踪是三维的agent.run根 Span ├── reasoning span规划/决策步骤 │ ├── tool_call span工具调用 结果 │ └── tool_call span另一个工具 ├── gen_ai.chatLLM 调用 │ ├── retrieval span向量检索 │ └── embedding span查询向量化 └── gen_ai.chat最终回答生成这种三层父子 Span 架构是 2026 年的行业共识。关键在于每一步的延迟和成本都可以独立归因——当 p95 延迟从 2 秒跳到 8 秒你不需要猜是 retrieval 慢了还是 generation 慢了。但这只是技术前提——真正的战场在评估层。4.3 评估层LLM 可观测的最后一公里传统 APM 工具Datadog、New Relic、Dynatrace监控的是管道——延迟、错误率、吞吐量。但 LLM 的核心风险不在管道在内容——模型是否产生幻觉、是否有偏见、是否泄露了 PII、是否被 prompt injection 攻击。2026 年的共识方案是LLM-as-Judge 评估器用一个独立的 LLM 在后台对生产流量中的 10-20% 进行质量评分幻觉检测、毒性检测、任务完成度等将评分作为 Span 属性写回追踪数据。关键工程挑战是延迟——评估不能阻塞用户请求。业界的最佳实践是tail-based sampling保留 100% 的错误和低质量追踪对正常追踪仅采样 1-10%。评估器异步运行在采样数据上不增加用户体验延迟。但这里有一个元问题谁评估评估器如果 LLM-as-Judge 本身也漂移了怎么办业界目前的答案是定期用人工标注校准——这又回到了那个古老的真理AI 可观测的最终锚点仍然是人类判断。五、监管驱动——可观测从nice-to-have到must-have5.1 EU AI Act2026 年 8 月的倒计时EU AI Act 的高风险 AI 系统Annex III主要义务原本定在 2026 年 8 月 2 日全面生效后被 Digital Omnibus 推迟到 2027 年 12 月。但这个推迟是施工时间不是暂停——Article 12 要求的自动事件日志是其中最硬核的技术要求系统运行全生命周期的日志记录日志必须能够追溯和检查每一个决策记录保存至少 7 年从系统退役起算这意味着如果你 2027 年 12 月上线一个高风险 AI 系统你需要在 2034 年 12 月之后仍然能够拿出它的每一笔决策日志。这不是装个 Langfuse 就行的事——这是需要从数据架构层面规划的合规工程。5.2 安全厂商为什么在这个时点入场Cisco、Palo Alto、Check Point 三家安全巨头在 2026 年密集布局 AI 可观测不是因为他们看到了一个性感的开发者工具市场——而是因为他们看到了一个即将爆发的合规市场。EU AI Act 的日志要求与 SOC 2、ISO 27001、PCI-DSS 的审计要求是同构的。CISO 们突然意识到AI 系统的决策日志和传统 IT 系统的审计日志本质上应该存在同一个 SIEM 里。这就是安全预算买可观测的逻辑基础。LLM 可观测工具可以作为一个开发工具卖给 MLOps 团队定价 $199/月也可以作为一个AI 信任基础设施卖给 CISO定价 $50,000/年。Cisco 和 Palo Alto 显然选择了后者。5.3 中国市场NFRA 8 号文的可追溯要求中国国家金融监管总局 2025 年 6 月的金发 8 号文虽然没有明确提AI 可观测这个词但其核心要求——“谁使用谁负责”、人工智能应用全生命周期管理、高风险应用须经风险管理委员会审批——在实质上等同于强制 AI 可观测。阿里云的响应速度最快2026 年 6-7 月将LLM 应用监控全面升级为AI Agent 可观测整合了全局拓扑、链路追踪、会话分析、场景化大盘和智能告警五大能力。更重要的是阿里云通过 eBPF 无侵入监控OBI OpenTelemetry 实现了零代码接入——这对于受严格监管的中国金融机构来说是关键卖点。但在独立创业公司层面中国 AI 可观测赛道几乎空白。搜索大模型可观测、“LLM 监控”、AI Agent 治理等关键词除了阿里云的产品文档和少数技术博客几乎没有独立创业公司的声音。这与美国市场 Langfuse/Fiddler/OpenObserve/Arize/Braintrust 五强争霸的格局形成鲜明对比。六、主流产品对比——从开发者到 CISO谁在为谁买单6.1 开源阵营Langfuse vs Arize Phoenix vs OpenObserve维度LangfuseArize PhoenixOpenObserve许可证MITOSI 开源Elastic License 2.0源码可用AGPL-3.0GitHub 星31,50012,00020,000自托管Docker Compose 免费单进程免费无事件上限单二进制文件免费核心优势最成熟的 Trace 浏览器 UIPrompt 管理社区生态OpenTelemetry 原生14 框架自动插桩统一后端日志指标追踪LLM140x Elasticsearch 存储成本核心短板被 ClickHouse 收购后独立性存疑评估未附着在 Span 上无 Prompt 管理无网关/护栏非 OSI 许可证无 Prompt 管理无 PlaygroundAGPL 许可证法律风险最佳场景需要完整 LLM 可观测自托管开源的中大型团队已采用 OpenTelemetry需要轻量自托管追踪的团队想要一个后端管所有、厌恶工具蔓延的 SRE 团队起步价格Hobby 免费 (5 万 events/月)Core $29/月自托管免费AX Pro $50/月自托管免费6.2 商业平台阵营Braintrust vs LangSmith vs Fiddler维度BraintrustLangSmithFiddler定位评估优先的 AI 开发平台LangChain 原生追踪平台企业 AI 控制平面核心优势最佳实验 UI 数据集对比LLM-as-Judge 原生支持LangChain/LangGraph 零胶水追踪Trust Models 治理框架合规优先核心短板闭源 SaaSAgent 轨迹评估弱于 LangSmith封闭平台脱离 LangChain 价值下降per-seat 定价惩罚大团队封闭平台仅企业定制定价无开发者社区最佳场景以离线评估和实验为中心的团队全栈 LangChain/LangGraph 团队受监管行业金融/医疗/保险的 AI 治理起步价格Starter 免费 (1GB), Pro $249/月Developer 免费 (5K traces), Plus $39/座/月定制报价推测 $5-20 万/年起6.3 APM 三巨头的 AI 可观测布局Datadog、New Relic、Dynatrace 三家的 AI 可观测能力目前属于有但不深——它们能捕获 LLM 调用的延迟、错误率、Token 用量和成本但评估深度、Prompt 版本管理和数据集管理明显弱于专用工具。Datadog 在三家中 LLM 评估做得最深内置幻觉检测、毒性检测、PII 扫描New Relic 的免费层最慷慨100GB/月Dynatrace 的 Davis AI 根因分析最强。但三家的共同盲点是模型正确性。一个模型可以漂移、幻觉、返回自信满满的错误答案而你的 Datadog 面板全绿——因为延迟 40msHTTP 200 OK。这就是为什么业界共识是 APM 专用 LLM 可观测工具并行部署。七、中国市场——沉睡的巨人与独特路径7.1 中国 AI 可观测的三层梯队与美国市场 Langfuse/Fiddler/OpenObserve/Arize/Braintrust 五强争霸的格局不同中国 AI 可观测市场形成了标准制定者 上市公司 新锐创业的三层梯队梯队代表企业核心定位标准引领者基调听云Tingyun中国信通院 Lv5 智能引领级认证参编《面向 LLM 应用的可观测性能力要求》标准在超大型银行核心交易系统、省级政务大数据中心落地上市公司博睿数据Bonree, 688229Bonree ONE 一体化可观测平台2026 年 2 月披露 LLM 可观测模块适配 LiteLLM/SGL-Router新锐创业点富科技北京2024 年成立大模型全链路监控专利2025 年 12 月申请注册资本 1.11 亿元自动拦截 SDK 主动埋点国产替代LitefuseSelectDB 团队兼容 Langfuse SDK基于 Apache Doris成本低 88%已上线 SaaS10 万条/月免费最值得关注的是 Litefuse。它由 SelectDB 技术团队推出兼容 Langfuse SDK 的同时将架构从 6 组件简化至 3 组件基于 Apache Doris 列式存储将存储成本降低 65-88%并原生支持 Hermes、OpenClaw、Claude Code 等 Agent。这是中国 AI 可观测赛道第一个真正意义上的国产替代产品。7.2 阿里云的AI Agent 可观测升级2026 年 6-7 月阿里云将LLM 应用监控全面升级为AI Agent 可观测整合了五大核心能力全局拓扑与健康度、链路追踪支持轨迹图、链路树、会话分析多轮对话、长周期、场景化大盘Token 用量、模型性能、工具调用、智能告警。更具战略意义的是接入方式——阿里云通过eBPF 无侵入监控OBI实现零代码接入自动识别 LLM、Embedding、RAG、MCP、Tool 等调用类型支持 OpenAI、Claude、Gemini、Qwen 等主流模型。同时推出AgentLoop平台构建观测→分析→优化→再验证的经验自进化闭环——从真实 Trace 中自动挖掘经验并注入 Agent 运行时上下文在不重新训练模型的情况下提升准确率。腾讯云的策略则是自进化 Agent——CLS 全域可观测的 5-Agent 架构50,000 台 Agent 实例并发监控故障定位从 30 分钟降至秒级密钥沙箱防止 Agent 越权。7.3 中国特色的合规驱动路径中国 NFRA 金发 8 号文2026 年 6 月 18 日虽然未直接使用可观测性一词但其实质上构建了完整的监控-追溯-审计闭环“谁使用谁负责”金融机构作为 AI 使用方责任不随业务外包转移个人信息红线姓名、身份证号、手机号、银行卡号等个人信息不得用于生成式 AI 模型训练——这是一条比 GDPR 更严格的硬性红线全链路留痕完整保留原始数据、推理路径及阈值触发记录日志保存不低于业务存续期人类最终决策权信贷审批、资金交易等高风险场景AI 仅作为辅助工具中国信通院在标准建设上的速度全球领先——《面向 LLM 应用的可观测性能力要求》29 家头部单位参编2025 年 7 月发布和AgentOps《智能体运维能力要求》40 专家参与2025 年 12 月定稿两个标准在时间上均领先于国际同类标准。我判断中国市场将从 2027 年开始爆发——不是因为技术创新而是因为 NFRA 8 号文的合规 deadline 和中国 AI 法的立法进程将创造强制性需求。中国金融行业大模型中标项目从 2024 年的 133 个2.4 亿元暴增至 2025 年的 587 个15.06 亿元这些项目都需要可观测基础设施支撑。7.4 中美差异两条完全不同的赛道维度美国/全球中国市场驱动VC 驱动 产品竞争政策合规先行 标准引领主要买家科技公司 SaaS 企业金融机构 央企 政务工具偏好Langfuse/LangSmith/ArizeLangfuse 自托管 Dify 集成Litefuse 国产替代云厂商原生方案商业模式SaaS 订阅 开源核心私有化部署 项目制 信创适配数据主权关注但非首要最高优先级直接决定工具选型关键差异在美国AI 可观测是开发者想用的品类在中国它是监管要求必须做的品类。后者虽然起步慢但一旦监管 deadline 落地预算释放的速度和规模会远超前者。八、核心结论与终局推演8.1 AI 可观测的五个确定性趋势从被动观测到主动治理Fiddler 的AI 控制平面叙事代表了整个赛道的方向——可观测的终点不是更漂亮的仪表盘而是确定性的策略执行。2027 年底之前可观测护栏网关三者将合并为同一个产品品类。OpenTelemetry 成为事实标准就像 Kubernetes 统一了容器编排OpenTelemetry GenAI 语义约定正在统一 LLM 追踪的数据格式。这对创业公司是双刃剑——标准化降低了用户迁移成本但也降低了产品粘性。安全预算吃掉可观测预算Cisco/Palo Alto/Check Point 的入场不是来做慈善的。当 AI 可观测从开发者工具重新定义为安全基础设施市场 TAM 从 ~$27 亿跃升至安全市场的 ~$2000 亿。LLM 可观测创业公司要么被安全巨头收购要么证明自己值得独立存在。Agent 追踪是下一块必争之地单次 LLM 调用的可观测已经基本标准化OpenTelemetry gen_ai 语义约定。但多步 Agent 的追踪——包括工具调用链、推理轨迹、人机交互节点——仍处于早期。谁先做好 Agent 的原生可观测谁就抓住了下一波增长。中国市场是沉睡的巨人阿里云已经入场但独立创业公司几乎空白。中国 NFRA 的合规要求和 AI 法立法进程将创造强制性需求——不是要不要的问题是什么时候的问题。我预判2027 年上半年会出现第一个中国本土 AI 可观测创业公司的融资案。8.2 三种终局的可能概率终局 A基础设施层吃掉应用层概率 ~35%ClickHouse Datadog Splunk 三家数据分析/APM 巨头通过收购或自研将 LLM 可观测变成其平台的一个功能模块。Fiddler 等独立平台被 ServiceNow/Salesforce 收购。开源工具Langfuse/Phoenix维持社区但商业化乏力。终局 B独立控制平面成为新品类概率 ~30%Fiddler 的愿景兑现——AI 控制平面成为类似 SIEM 的独立品类。企业不愿意让 ClickHouse 或 Datadog 同时知道他们的数据、AI 模型和 Agent 行为——数据主权和安全隔离的需求推动独立平台生存。2028 年出现第一家 AI 可观测独角兽 IPO。终局 C商品化——可观测变成 AI 网关的免费功能概率 ~35%OpenTelemetry 标准化 开源工具成熟 Cloudflare/AWS/Azure 将可观测内建为 AI 网关的免费功能 → 独立 LLM 可观测市场萎缩为少数高合规场景的高端服务。就像 Kubernetes 的监控——大部分够用少数极端场景才需要 Datadog。我赌终局 C 在 2-3 年内最可能但终局 B 在 5-7 年内有翻盘机会。短期看标准化和开源的力量太强——OpenTelemetry 让采集层商品化ClickHouse 让存储层商品化开源项目让UI 层商品化。但长期看AI Agent 的治理复杂度身份、权限、审计、策略会超出通用工具的能力边界——届时会出现一个AI 时代的 Okta Splunk。8.3 对创业者和投资者的启示如果你在做 LLM 可观测创业不要做更好的 Langfuse。去做 Langfuse 做不到的事——Agent 身份治理、跨组织追踪A2A、AI 策略引擎。差异化不在仪表盘在谁有权限让 Agent 做什么。如果你是企业 AI 负责人2026 年下半年是采购 AI 可观测工具的最佳窗口期——MA 刚完成产品路线图清晰价格还没被安全预算推高。锁定一个支持 OpenTelemetry 的工具给自己留好退路。如果你在中国做 AI 创业AI 可观测是一个几乎空白的赛道。银行、保险、政府机构对 AI 审计追溯有刚性需求且不会用美国工具。谁先拿出合规就绪的国产 AI 可观测方案谁就锁定了一个至少 20 亿人民币的蓝海市场。AI 辅助深度研究人工视角解读。每日更新。
