文章摘要当 AI 应用从 Demo 进入生产环境传统日志很快就不够用了。一次 Agent 请求可能包含多轮模型调用、检索、重排、工具执行、子 Agent、缓存和人工审批。团队需要看到完整 Trace分析 token、成本、延迟和失败路径还要建立数据集、实验、评估和回归测试。LangSmith、Langfuse 和 Arize Phoenix 是当前最常被比较的三类 LLM 可观测性平台LangSmith 强调 LangChain/LangGraph 生态与 Agent 全生命周期Langfuse 强调开源、自托管和完整 LLM 工程闭环Phoenix 强调 OpenTelemetry、OpenInference、开源调试和评估。本文从架构、追踪、评估、部署、生态、数据控制和团队适配等方面给出完整选型建议。一、为什么普通 APM 和日志平台不够传统应用通常记录请求 URLHTTP 状态码数据库耗时CPU 和内存异常堆栈。AI 应用还需要回答用户输入经过了几次 PromptAgent 为什么选择了这个工具哪一步发生了错误循环检索到了哪些文档模型实际看到了什么上下文哪个 Span 消耗了最多 token缓存是否命中为什么同一问题昨天正确、今天错误新模型是否提高了质量但增加了成本生产中的失败案例能否直接加入回归数据集因此LLM 可观测性不是简单记录 API 请求而是要同时连接Tracing Prompt Management Cost Evaluation Dataset Experiment Human Feedback。二、先看结论三款平台分别适合谁平台最适合的团队核心优势主要权衡LangSmithLangChain、LangGraph、Agent 开发团队和希望一体化的平台团队与 LangChain/LangGraph 深度结合Agent Trace、评估、Studio 和部署链路完整生态绑定更强完全发挥价值通常需要接受其平台工作流Langfuse需要开源、自托管、多模型、多框架和数据控制的 AI 工程团队开放、框架无关、追踪到评估闭环完整自托管成熟需要团队自行设计治理规范和部分集成Arize Phoenix重视 OpenTelemetry/OpenInference、开源调试、评估和数据科学工作流的团队OTel 原生思路、Trace 分析和评估能力强适合调试与实验企业级持续监控可能需要进一步结合 Arize AX 或其他基础设施一句话概括LangChain/LangGraph 重度团队优先 LangSmith。希望开放、自托管、统一接入多框架优先 Langfuse。希望以 OpenTelemetry/OpenInference 为核心重视调试和评估优先 Phoenix。三、LangSmithLangChain 与 Agent 生命周期的一体化路线LangSmith 的定位已经不只是 Trace 查看器而是覆盖 Observability、Evaluation 和 Deployment 的 Agent 工程平台。1. 对 LangChain 和 LangGraph 最顺滑如果应用使用 LangChain、LangGraph、LangSmith Studio、LangSmith Deployment 或 OpenTelemetry 接入LangSmith 能提供相对连贯的开发体验。Trace 可以进入 Studio 调试生产样本可以加入 Dataset再运行实验和评估。2. Agent 轨迹分析能力强复杂 Agent 不只需要评价最终答案还要评价过程是否选择了正确工具工具参数是否正确是否走了不必要的步骤是否发生循环是否在高风险操作前请求确认多轮会话是否保持状态子 Agent 的分工是否合理。LangSmith 的评估体系支持最终响应、轨迹和单步骤等不同层级适合对 Agent 行为进行拆解。3. Studio、Experiment 和生产 Trace 连通典型流程生产 Trace ↓ 定位失败步骤 ↓ 加入 Dataset ↓ 在 Studio 或 SDK 中运行实验 ↓ 对比 Prompt、模型或图结构 ↓ 使用评估器评分 ↓ 通过后部署对于希望减少工具拼装的团队这种一体化路线很有吸引力。4. 主要权衡LangSmith 并非只能服务 LangChain但其最大优势来自 LangChain/LangGraph 生态。若团队主要使用自研框架、多个语言栈或希望降低平台绑定必须评估数据模型是否适配现有系统是否接受 SaaS 或自托管成本是否需要其部署能力未来是否会继续使用 LangGraphOTel 接入能否覆盖所有服务。四、Langfuse开放、自托管和完整工程闭环Langfuse 的核心吸引力是开源、框架无关和数据控制。它既能记录 Trace也能管理 Prompt、Dataset、Experiment、Score 和线上评估。1. 更适合多模型、多框架环境企业 AI 平台通常同时存在Python 和 TypeScriptOpenAI、Anthropic、Google、DeepSeek 和自建模型LangChain、LlamaIndex、Vercel AI SDK、自研 AgentSaaS 与私有化部署多个业务线和租户。Langfuse 可以作为统一 LLM 工程层而不是要求所有应用迁移到同一个 Agent 框架。2. 评估闭环完整Langfuse 支持离线 Dataset 和 ExperimentLLM-as-a-Judge代码评估器人工标注在线 Trace 评分Prompt 实验生产样本回流仪表盘。其核心理念是生产信号进入数据集数据集用于实验实验验证新版本新版本上线后继续产生生产信号。3. 自托管与数据控制是明显优势对金融、政企、医疗、制造和内部知识库项目Trace 中可能包含用户问题、内部文档、工具参数、数据库结果、客户信息、模型输出和系统 Prompt。这类数据是否能发送到外部 SaaS往往直接决定工具是否可用。Langfuse 的开源和自托管路线能够给企业更多部署选择。4. 主要权衡开放意味着更多设计责任。团队需要自己确定Trace 命名Span 规范Metadata 字段数据保留多租户隔离PII 脱敏数据集版本评估阈值告警规则。没有统一规范时平台会很快变成一个“什么都记录了但找不到问题”的日志仓库。五、Arize PhoenixOpenTelemetry 与评估驱动的开源路线Phoenix 是 Arize 推出的开源 AI 可观测性与评估工具建立在 OpenTelemetry 和 OpenInference 思路之上。1. Trace 和 Span 模型清晰Phoenix 可以记录模型调用、检索、工具调用、自定义业务逻辑、会话和评估结果。它对 OTel 和 OpenInference 的支持使其更容易与已有可观测性架构、框架和供应商对接。2. 调试和评估结合紧密Phoenix 不只是查看 Trace还强调从 Trace 中发现失败对 Span 和输出进行评分建立 Dataset运行 Experiment比较 Prompt 和模型使用 LLM、代码或人工标签评估。对于数据科学家、模型工程师和正在优化 RAG 的团队这种“观察—评估—实验”流程非常直接。3. 适合本地和开源工作流开发团队可以快速在本地运行 Phoenix用于调试 RAG、分析检索结果、检查 Agent 工具调用、评估 Prompt、追踪模型调用和比较实验。4. 主要权衡Phoenix OSS 与 Arize AX 的定位需要区分。Phoenix 更偏开源调试、追踪和评估如果企业需要更完整的生产告警、长期运营和大规模治理可能需要结合 Arize AX、现有 APM 或自建告警与长期存储。六、核心能力对比1. Trace 与框架接入维度LangSmithLangfusePhoenixLangChain/LangGraph很强强强OpenTelemetry支持支持核心路线自研框架支持很适合很适合Python强强强TypeScript强强支持Agent 轨迹很强强强本地快速调试强强很强2. 评估与实验能力LangSmithLangfusePhoenixDataset支持支持支持Offline Experiment支持支持支持Online Evaluation支持支持可实现生产能力需看部署组合LLM-as-a-Judge支持支持支持代码评估器支持支持支持人工标注支持支持支持Agent 轨迹评估很强可自定义可自定义UI 对比实验强强强三者功能列表越来越接近真正差异在于工作流和产品哲学。3. Prompt 管理LangSmith 和 Langfuse 都能将 Prompt 版本与 Trace、Experiment 关联。Phoenix 更偏观测和实验Prompt 管理是否满足团队完整发布流程需要按当前版本和集成方式确认。评估 Prompt 管理时应检查版本环境回滚审批变量模型参数A/B 测试Secret与 Git 的关系发布审计。4. 成本与性能三个平台都能围绕以下指标建立观察输入与输出 token缓存 token推理 token模型单价单 Trace 成本P50/P95/P99 延迟工具错误率重试率成功任务成本。真正重要的指标不是“模型调用花了多少钱”而是完成一次成功业务任务花了多少钱七、数据安全与部署怎么比较LangSmith适合希望使用完整托管平台的团队也提供自托管路线。需要评估数据区域、数据保留、PII 脱敏、访问控制、API Key 管理以及自托管依赖和运维成本。Langfuse开源和自托管是其强项适合希望数据留在自己环境、使用私有数据库、自定义保留策略、深度修改集成和统一多个业务系统的团队。但自托管意味着要负责升级、备份、扩容、数据库、对象存储和安全。Phoenix可以本地或自托管运行适合开发和评估环境。生产级部署需要明确数据持久化、多用户权限、高可用、告警、长期存储以及与 Arize AX 或现有平台的分工。八、选型不要从功能表开始要从组织问题开始问题一谁会使用平台Agent 开发者平台工程师算法工程师产品经理业务专家安全与合规运维团队。不同角色需要不同界面和权限。问题二最痛的问题是什么不知道 Agent 为什么失败无法比较 Prompt 和模型缺少回归测试成本不可见生产问题无法回流数据不能出内网多个框架无法统一缺少线上告警。选型应优先解决最痛的两个问题而不是追求功能最多。问题三是否已有 OpenTelemetry如果企业已经统一使用 OTelPhoenix 的思路天然匹配LangSmith 和 Langfuse 也能接入重点比较 Span 语义、上下文传播、采样和数据出口。不要另建一套完全孤立的 AI Trace 体系。问题四是否需要自托管自托管不是一个复选框而是一组责任安装、升级、监控、备份、扩容、权限、安全和灾备。如果企业没有运维能力SaaS 可能比“免费开源”更便宜。九、三种典型团队的推荐方案1. LangGraph Agent 团队建议优先测试 LangSmith。原因Trace 与 LangGraph 结构对应Studio 调试方便Dataset 和 Agent 评估连贯部署与观测链路统一轨迹评估能力强。2. 企业统一 AI 中台建议优先测试 Langfuse。原因多模型、多框架开源和自托管业务线隔离追踪、Prompt、Dataset 和 Experiment 可统一更容易作为中立 LLM 工程层。3. RAG 与模型实验团队建议优先测试 Phoenix。原因OTel/OpenInference本地启动快Trace 与评估结合适合检索、Span 和数据分析开源实验工作流自然。十、建议用同一套 PoC 进行评测不要看演示视频后直接采购。准备一条真实应用同时接入三个平台。PoC 应包含一次多轮 Agent 请求至少两个工具一次 RAG 检索一个失败重试一个子 Agent一条人工反馈一个评估数据集两个 Prompt 版本两个模型版本一个生产告警场景。评测指标类别指标接入首次接入时间、代码改动、框架兼容调试定位失败根因耗时数据Trace 完整性、字段可查询性评估数据集、实验、评分和版本比较运维部署、升级、备份和权限安全脱敏、隔离、审计和数据区域成本平台费用、存储、运维和人力团队开发者与业务人员上手难度最有价值的指标是新版本出问题后团队需要多久才能发现、定位、复现、修复并验证十一、最终决策表你的情况优先选择深度使用 LangChain/LangGraphLangSmith需要 Agent 轨迹和一体化开发流程LangSmith需要开源和自托管Langfuse多模型、多框架、企业统一平台Langfuse数据控制和可扩展性优先Langfuse已有 OpenTelemetry/OpenInference 体系Phoenix重点是 RAG 调试和评估实验Phoenix希望本地快速启动Phoenix不想维护基础设施优先比较 LangSmith SaaS、Langfuse Cloud 和 Arize 商业服务高度监管环境重点评估自托管、安全与数据治理不要只看产品功能总结LangSmith、Langfuse 和 Arize Phoenix 都能完成 LLM Trace、评估和实验但它们代表不同路线LangSmith围绕 LangChain/LangGraph 和 Agent 生命周期的一体化平台Langfuse面向多框架、多模型和自托管需求的开放 LLM 工程平台Phoenix以 OpenTelemetry/OpenInference、开源调试和评估为核心的工具链。真正的选型标准不是哪个平台的功能列表最长而是它能否缩短从“生产失败”到“定位原因”再到“验证修复”的闭环时间。建议用一条真实 Agent 或 RAG 应用进行三方 PoC同时比较接入成本、Trace 完整性、评估效率、数据治理、总拥有成本和团队使用体验。只有在真实故障和真实版本升级中平台差异才会显现。 LangSmith vs Langfuse vs Arize Phoenix：2026 年 LLM 可观测性平台怎么选？
文章摘要当 AI 应用从 Demo 进入生产环境传统日志很快就不够用了。一次 Agent 请求可能包含多轮模型调用、检索、重排、工具执行、子 Agent、缓存和人工审批。团队需要看到完整 Trace分析 token、成本、延迟和失败路径还要建立数据集、实验、评估和回归测试。LangSmith、Langfuse 和 Arize Phoenix 是当前最常被比较的三类 LLM 可观测性平台LangSmith 强调 LangChain/LangGraph 生态与 Agent 全生命周期Langfuse 强调开源、自托管和完整 LLM 工程闭环Phoenix 强调 OpenTelemetry、OpenInference、开源调试和评估。本文从架构、追踪、评估、部署、生态、数据控制和团队适配等方面给出完整选型建议。一、为什么普通 APM 和日志平台不够传统应用通常记录请求 URLHTTP 状态码数据库耗时CPU 和内存异常堆栈。AI 应用还需要回答用户输入经过了几次 PromptAgent 为什么选择了这个工具哪一步发生了错误循环检索到了哪些文档模型实际看到了什么上下文哪个 Span 消耗了最多 token缓存是否命中为什么同一问题昨天正确、今天错误新模型是否提高了质量但增加了成本生产中的失败案例能否直接加入回归数据集因此LLM 可观测性不是简单记录 API 请求而是要同时连接Tracing Prompt Management Cost Evaluation Dataset Experiment Human Feedback。二、先看结论三款平台分别适合谁平台最适合的团队核心优势主要权衡LangSmithLangChain、LangGraph、Agent 开发团队和希望一体化的平台团队与 LangChain/LangGraph 深度结合Agent Trace、评估、Studio 和部署链路完整生态绑定更强完全发挥价值通常需要接受其平台工作流Langfuse需要开源、自托管、多模型、多框架和数据控制的 AI 工程团队开放、框架无关、追踪到评估闭环完整自托管成熟需要团队自行设计治理规范和部分集成Arize Phoenix重视 OpenTelemetry/OpenInference、开源调试、评估和数据科学工作流的团队OTel 原生思路、Trace 分析和评估能力强适合调试与实验企业级持续监控可能需要进一步结合 Arize AX 或其他基础设施一句话概括LangChain/LangGraph 重度团队优先 LangSmith。希望开放、自托管、统一接入多框架优先 Langfuse。希望以 OpenTelemetry/OpenInference 为核心重视调试和评估优先 Phoenix。三、LangSmithLangChain 与 Agent 生命周期的一体化路线LangSmith 的定位已经不只是 Trace 查看器而是覆盖 Observability、Evaluation 和 Deployment 的 Agent 工程平台。1. 对 LangChain 和 LangGraph 最顺滑如果应用使用 LangChain、LangGraph、LangSmith Studio、LangSmith Deployment 或 OpenTelemetry 接入LangSmith 能提供相对连贯的开发体验。Trace 可以进入 Studio 调试生产样本可以加入 Dataset再运行实验和评估。2. Agent 轨迹分析能力强复杂 Agent 不只需要评价最终答案还要评价过程是否选择了正确工具工具参数是否正确是否走了不必要的步骤是否发生循环是否在高风险操作前请求确认多轮会话是否保持状态子 Agent 的分工是否合理。LangSmith 的评估体系支持最终响应、轨迹和单步骤等不同层级适合对 Agent 行为进行拆解。3. Studio、Experiment 和生产 Trace 连通典型流程生产 Trace ↓ 定位失败步骤 ↓ 加入 Dataset ↓ 在 Studio 或 SDK 中运行实验 ↓ 对比 Prompt、模型或图结构 ↓ 使用评估器评分 ↓ 通过后部署对于希望减少工具拼装的团队这种一体化路线很有吸引力。4. 主要权衡LangSmith 并非只能服务 LangChain但其最大优势来自 LangChain/LangGraph 生态。若团队主要使用自研框架、多个语言栈或希望降低平台绑定必须评估数据模型是否适配现有系统是否接受 SaaS 或自托管成本是否需要其部署能力未来是否会继续使用 LangGraphOTel 接入能否覆盖所有服务。四、Langfuse开放、自托管和完整工程闭环Langfuse 的核心吸引力是开源、框架无关和数据控制。它既能记录 Trace也能管理 Prompt、Dataset、Experiment、Score 和线上评估。1. 更适合多模型、多框架环境企业 AI 平台通常同时存在Python 和 TypeScriptOpenAI、Anthropic、Google、DeepSeek 和自建模型LangChain、LlamaIndex、Vercel AI SDK、自研 AgentSaaS 与私有化部署多个业务线和租户。Langfuse 可以作为统一 LLM 工程层而不是要求所有应用迁移到同一个 Agent 框架。2. 评估闭环完整Langfuse 支持离线 Dataset 和 ExperimentLLM-as-a-Judge代码评估器人工标注在线 Trace 评分Prompt 实验生产样本回流仪表盘。其核心理念是生产信号进入数据集数据集用于实验实验验证新版本新版本上线后继续产生生产信号。3. 自托管与数据控制是明显优势对金融、政企、医疗、制造和内部知识库项目Trace 中可能包含用户问题、内部文档、工具参数、数据库结果、客户信息、模型输出和系统 Prompt。这类数据是否能发送到外部 SaaS往往直接决定工具是否可用。Langfuse 的开源和自托管路线能够给企业更多部署选择。4. 主要权衡开放意味着更多设计责任。团队需要自己确定Trace 命名Span 规范Metadata 字段数据保留多租户隔离PII 脱敏数据集版本评估阈值告警规则。没有统一规范时平台会很快变成一个“什么都记录了但找不到问题”的日志仓库。五、Arize PhoenixOpenTelemetry 与评估驱动的开源路线Phoenix 是 Arize 推出的开源 AI 可观测性与评估工具建立在 OpenTelemetry 和 OpenInference 思路之上。1. Trace 和 Span 模型清晰Phoenix 可以记录模型调用、检索、工具调用、自定义业务逻辑、会话和评估结果。它对 OTel 和 OpenInference 的支持使其更容易与已有可观测性架构、框架和供应商对接。2. 调试和评估结合紧密Phoenix 不只是查看 Trace还强调从 Trace 中发现失败对 Span 和输出进行评分建立 Dataset运行 Experiment比较 Prompt 和模型使用 LLM、代码或人工标签评估。对于数据科学家、模型工程师和正在优化 RAG 的团队这种“观察—评估—实验”流程非常直接。3. 适合本地和开源工作流开发团队可以快速在本地运行 Phoenix用于调试 RAG、分析检索结果、检查 Agent 工具调用、评估 Prompt、追踪模型调用和比较实验。4. 主要权衡Phoenix OSS 与 Arize AX 的定位需要区分。Phoenix 更偏开源调试、追踪和评估如果企业需要更完整的生产告警、长期运营和大规模治理可能需要结合 Arize AX、现有 APM 或自建告警与长期存储。六、核心能力对比1. Trace 与框架接入维度LangSmithLangfusePhoenixLangChain/LangGraph很强强强OpenTelemetry支持支持核心路线自研框架支持很适合很适合Python强强强TypeScript强强支持Agent 轨迹很强强强本地快速调试强强很强2. 评估与实验能力LangSmithLangfusePhoenixDataset支持支持支持Offline Experiment支持支持支持Online Evaluation支持支持可实现生产能力需看部署组合LLM-as-a-Judge支持支持支持代码评估器支持支持支持人工标注支持支持支持Agent 轨迹评估很强可自定义可自定义UI 对比实验强强强三者功能列表越来越接近真正差异在于工作流和产品哲学。3. Prompt 管理LangSmith 和 Langfuse 都能将 Prompt 版本与 Trace、Experiment 关联。Phoenix 更偏观测和实验Prompt 管理是否满足团队完整发布流程需要按当前版本和集成方式确认。评估 Prompt 管理时应检查版本环境回滚审批变量模型参数A/B 测试Secret与 Git 的关系发布审计。4. 成本与性能三个平台都能围绕以下指标建立观察输入与输出 token缓存 token推理 token模型单价单 Trace 成本P50/P95/P99 延迟工具错误率重试率成功任务成本。真正重要的指标不是“模型调用花了多少钱”而是完成一次成功业务任务花了多少钱七、数据安全与部署怎么比较LangSmith适合希望使用完整托管平台的团队也提供自托管路线。需要评估数据区域、数据保留、PII 脱敏、访问控制、API Key 管理以及自托管依赖和运维成本。Langfuse开源和自托管是其强项适合希望数据留在自己环境、使用私有数据库、自定义保留策略、深度修改集成和统一多个业务系统的团队。但自托管意味着要负责升级、备份、扩容、数据库、对象存储和安全。Phoenix可以本地或自托管运行适合开发和评估环境。生产级部署需要明确数据持久化、多用户权限、高可用、告警、长期存储以及与 Arize AX 或现有平台的分工。八、选型不要从功能表开始要从组织问题开始问题一谁会使用平台Agent 开发者平台工程师算法工程师产品经理业务专家安全与合规运维团队。不同角色需要不同界面和权限。问题二最痛的问题是什么不知道 Agent 为什么失败无法比较 Prompt 和模型缺少回归测试成本不可见生产问题无法回流数据不能出内网多个框架无法统一缺少线上告警。选型应优先解决最痛的两个问题而不是追求功能最多。问题三是否已有 OpenTelemetry如果企业已经统一使用 OTelPhoenix 的思路天然匹配LangSmith 和 Langfuse 也能接入重点比较 Span 语义、上下文传播、采样和数据出口。不要另建一套完全孤立的 AI Trace 体系。问题四是否需要自托管自托管不是一个复选框而是一组责任安装、升级、监控、备份、扩容、权限、安全和灾备。如果企业没有运维能力SaaS 可能比“免费开源”更便宜。九、三种典型团队的推荐方案1. LangGraph Agent 团队建议优先测试 LangSmith。原因Trace 与 LangGraph 结构对应Studio 调试方便Dataset 和 Agent 评估连贯部署与观测链路统一轨迹评估能力强。2. 企业统一 AI 中台建议优先测试 Langfuse。原因多模型、多框架开源和自托管业务线隔离追踪、Prompt、Dataset 和 Experiment 可统一更容易作为中立 LLM 工程层。3. RAG 与模型实验团队建议优先测试 Phoenix。原因OTel/OpenInference本地启动快Trace 与评估结合适合检索、Span 和数据分析开源实验工作流自然。十、建议用同一套 PoC 进行评测不要看演示视频后直接采购。准备一条真实应用同时接入三个平台。PoC 应包含一次多轮 Agent 请求至少两个工具一次 RAG 检索一个失败重试一个子 Agent一条人工反馈一个评估数据集两个 Prompt 版本两个模型版本一个生产告警场景。评测指标类别指标接入首次接入时间、代码改动、框架兼容调试定位失败根因耗时数据Trace 完整性、字段可查询性评估数据集、实验、评分和版本比较运维部署、升级、备份和权限安全脱敏、隔离、审计和数据区域成本平台费用、存储、运维和人力团队开发者与业务人员上手难度最有价值的指标是新版本出问题后团队需要多久才能发现、定位、复现、修复并验证十一、最终决策表你的情况优先选择深度使用 LangChain/LangGraphLangSmith需要 Agent 轨迹和一体化开发流程LangSmith需要开源和自托管Langfuse多模型、多框架、企业统一平台Langfuse数据控制和可扩展性优先Langfuse已有 OpenTelemetry/OpenInference 体系Phoenix重点是 RAG 调试和评估实验Phoenix希望本地快速启动Phoenix不想维护基础设施优先比较 LangSmith SaaS、Langfuse Cloud 和 Arize 商业服务高度监管环境重点评估自托管、安全与数据治理不要只看产品功能总结LangSmith、Langfuse 和 Arize Phoenix 都能完成 LLM Trace、评估和实验但它们代表不同路线LangSmith围绕 LangChain/LangGraph 和 Agent 生命周期的一体化平台Langfuse面向多框架、多模型和自托管需求的开放 LLM 工程平台Phoenix以 OpenTelemetry/OpenInference、开源调试和评估为核心的工具链。真正的选型标准不是哪个平台的功能列表最长而是它能否缩短从“生产失败”到“定位原因”再到“验证修复”的闭环时间。建议用一条真实 Agent 或 RAG 应用进行三方 PoC同时比较接入成本、Trace 完整性、评估效率、数据治理、总拥有成本和团队使用体验。只有在真实故障和真实版本升级中平台差异才会显现。