欢迎关注「几米宋」的个人微信公众号。这是「AI Infra 简报」专栏每日分享最新的技术动态与深度解析。其中的链接因为公众号限制建议点击「阅读原文」在浏览器中打开阅读。笔者今日已达到阿姆斯特丹接下来一周都将参加 KubeCon关于本次大会的报道敬请期待。2026 年 3 月 21 日AI 基础设施从研究阶段向生产级规模化应用迈进同时暴露出关键的效率和安全考量。 核心速览 NVIDIA 发布 Feynman 架构与 Rosa CPU深耕垂直集成系统 LinkedIn 部署基于 LLM 的生产级内容排序系统 Armis 报告18 个生成模型在 31 个场景中 100% 未能生成安全代码️ Crossplane 2.0 推进 API 优先的统一控制平面⚡ SpecPrefill 实现 128k 上下文预填充 5 倍以上加速 Recursive Memory Harness 提供去中心化智能体记忆R5 达 90% Bankr 展示生产级自主智能体金融轨道生产级基础设施突破 NVIDIA Feynman 架构与 Rosa CPU根据 NVIDIA Blog 报道NVIDIA 发布 Feynman 架构和新款 Rosa CPU标志着向垂直集成系统的深化推进专注于自主智能体和高效推理。垂直集成提升系统效率。Feynman 架构与 Rosa CPU 的组合显示 NVIDIA 从单一 GPU 供应商转向完整的 AI 系统提供商。这种垂直集成使硬件、软件和优化能够协同工作为自主智能体工作负载提供端到端优化。 LinkedIn 生产级 LLM 排序系统根据 Netinfluencer 报道LinkedIn 部署基于 LLM 的内容排序系统使用 LLM 生成的嵌入、定制 GRMIS Flash Attention 变体报告 2 倍加速以及用于序列排序的生成式推荐器。LLM 进入生产级推荐系统。LinkedIn 的部署标志着 LLM 技术从实验阶段转向大规模生产应用。2 倍加速的 Flash Attention 变体显示专用优化的价值生成式推荐器为序列排序提供新方法。这是 LLM 在核心业务系统中的重大里程碑。安全与可靠性挑战 Armis 安全基准报告根据 Armis 报告在 31 个测试场景中18 个生成模型的 100% 未能生成安全代码明确呼吁 AI 原生应用安全控制。AI 原生安全面临严峻挑战。100% 失败率凸显当前 LLM 在代码安全性方面的严重缺陷。AI 原生应用需要新的安全范式包括形式化验证、安全护栏和专门的测试框架。安全性必须成为 AI 基础设施的一等公民。基础设施与编排️ Crossplane 2.0API 优先基础设施根据 CNCF 报道Crossplane 2.0 推进 API 优先方法为基础设施、应用和工作流提供统一控制平面——对于智能体主导的意图配置 GPU 集群并部署模型通过控制器驱动的收敛至关重要。API 优先实现智能体自主性。Crossplane 2.0 的统一控制平面使智能体能够通过声明式 API 管理基础设施而不是命令式脚本。控制器驱动的收敛确保系统达到期望状态简化智能体与基础设施的交互。效率优化突破⚡ SpecPrefill5 倍预填充加速根据 Reddit 报道SpecPrefill 通过草稿模型引导的选择性预填充在 M2 Ultra 上实现 128k 上下文预填充 5 倍以上加速从 19 分钟降至 3.5 分钟已在 vllm-mlx 中实现并开源。预填充优化改善长上下文体验。5 倍加速使长上下文模型在实际使用中更加可行。草稿模型引导的选择性预填充是一种智能的投机方法——用小模型快速生成候选 token大模型验证并修正。这种协作模式在保持质量的同时大幅提升效率。 Recursive Memory Harness去中心化智能体记忆根据 Reddit 报道Recursive Memory Harness (RLM) 引入本地优先、去中心化的智能体记忆具有知识图谱、递归解析、动态重塑和无外部基础设施特性在多跳查询上报告 R5 90.0%而 Mem0 为 29.0%。本地记忆提升智能体自主性。90% vs 29% 的检索性能差距显示 RLM 方法在多跳推理任务上的显著优势。去中心化、无外部依赖的架构使智能体能够在本地保持长期记忆保护隐私并降低延迟。知识图谱提供结构化记忆递归解析支持复杂推理。智能体金融基础设施 Bankr生产级自主智能体金融轨道根据 X 报道Bankr 展示了面向自主智能体的生产级金融轨道——跨链钱包、自动化 LLM 支付、安全护栏以及插件式交易/DeFi 技能——已有一年多的生产流量。智能体经济基础设施成熟化。Bankr 的生产部署显示智能体金融基础设施已从概念走向现实。跨链钱包、自动化支付、安全护栏等组件构成完整的智能体经济系统。一年的生产流量证明这些系统的可靠性和实用性。 Infra Insights本日核心趋势LLM 从研究走向生产、效率优化突破、安全性成为焦点、智能体基础设施快速成熟。生产级 LLM 系统开始规模化落地。LinkedIn 的 LLM 排序系统部署标志着从实验性 LLM到生产级 LLM的关键转折。这表明 LLM 技术已足够成熟能够承载核心业务负载而不仅仅是原型和演示。效率优化突破使长上下文和本地推理更实用。SpecPrefill 的 5 倍加速使 128k 上下文的处理从几乎不可用19 分钟变为完全可用3.5 分钟。这种数量级的提升打开了许多新的应用场景特别是需要处理大量文档或长对话的场景。安全性成为 AI 原生发展的关键瓶颈。Armis 报告的 100% 失败率是一个强烈的警告信号——当前 LLM 无法安全地生成代码。这强调了对 AI 原生安全控制、形式化验证工具和安全工程实践的迫切需求。智能体基础设施的多层能力正在完善。从计算NVIDIA Feynman、编排Crossplane、记忆RLM、金融Bankr到安全Armis智能体所需的各个层面都有专用基础设施。这些组件共同构成了完整的智能体经济栈。对 AI 基础设施的影响•垂直集成系统优化端到端性能•API 优先简化智能体 - 基础设施交互•本地记忆和推理降低延迟和隐私风险•生产级金融轨道支撑智能体经济•安全性必须成为基础设施的一等公民生产就绪度评估LinkedIn排序系统和 Bankr金融轨道的生产部署显示 AI 基础设施已进入实用阶段。然而100% 的安全失败率表明在生产部署中必须包含多层安全验证和人工审查。原文链接https://ai-infra.jimmysong.io/zh/brief/2026-03-21/更多精彩内容 个人网站jimmysong.io Bilibilispace.bilibili.com/31004924如果这篇文章对你有帮助欢迎点赞、分享给更多朋友
AI Infra Brief｜生产级 LLM 基础设施规模化落地；效率与安全新信号（2026.03.21）
发布时间：2026/7/22 17:48:40
欢迎关注「几米宋」的个人微信公众号。这是「AI Infra 简报」专栏每日分享最新的技术动态与深度解析。其中的链接因为公众号限制建议点击「阅读原文」在浏览器中打开阅读。笔者今日已达到阿姆斯特丹接下来一周都将参加 KubeCon关于本次大会的报道敬请期待。2026 年 3 月 21 日AI 基础设施从研究阶段向生产级规模化应用迈进同时暴露出关键的效率和安全考量。 核心速览 NVIDIA 发布 Feynman 架构与 Rosa CPU深耕垂直集成系统 LinkedIn 部署基于 LLM 的生产级内容排序系统 Armis 报告18 个生成模型在 31 个场景中 100% 未能生成安全代码️ Crossplane 2.0 推进 API 优先的统一控制平面⚡ SpecPrefill 实现 128k 上下文预填充 5 倍以上加速 Recursive Memory Harness 提供去中心化智能体记忆R5 达 90% Bankr 展示生产级自主智能体金融轨道生产级基础设施突破 NVIDIA Feynman 架构与 Rosa CPU根据 NVIDIA Blog 报道NVIDIA 发布 Feynman 架构和新款 Rosa CPU标志着向垂直集成系统的深化推进专注于自主智能体和高效推理。垂直集成提升系统效率。Feynman 架构与 Rosa CPU 的组合显示 NVIDIA 从单一 GPU 供应商转向完整的 AI 系统提供商。这种垂直集成使硬件、软件和优化能够协同工作为自主智能体工作负载提供端到端优化。 LinkedIn 生产级 LLM 排序系统根据 Netinfluencer 报道LinkedIn 部署基于 LLM 的内容排序系统使用 LLM 生成的嵌入、定制 GRMIS Flash Attention 变体报告 2 倍加速以及用于序列排序的生成式推荐器。LLM 进入生产级推荐系统。LinkedIn 的部署标志着 LLM 技术从实验阶段转向大规模生产应用。2 倍加速的 Flash Attention 变体显示专用优化的价值生成式推荐器为序列排序提供新方法。这是 LLM 在核心业务系统中的重大里程碑。安全与可靠性挑战 Armis 安全基准报告根据 Armis 报告在 31 个测试场景中18 个生成模型的 100% 未能生成安全代码明确呼吁 AI 原生应用安全控制。AI 原生安全面临严峻挑战。100% 失败率凸显当前 LLM 在代码安全性方面的严重缺陷。AI 原生应用需要新的安全范式包括形式化验证、安全护栏和专门的测试框架。安全性必须成为 AI 基础设施的一等公民。基础设施与编排️ Crossplane 2.0API 优先基础设施根据 CNCF 报道Crossplane 2.0 推进 API 优先方法为基础设施、应用和工作流提供统一控制平面——对于智能体主导的意图配置 GPU 集群并部署模型通过控制器驱动的收敛至关重要。API 优先实现智能体自主性。Crossplane 2.0 的统一控制平面使智能体能够通过声明式 API 管理基础设施而不是命令式脚本。控制器驱动的收敛确保系统达到期望状态简化智能体与基础设施的交互。效率优化突破⚡ SpecPrefill5 倍预填充加速根据 Reddit 报道SpecPrefill 通过草稿模型引导的选择性预填充在 M2 Ultra 上实现 128k 上下文预填充 5 倍以上加速从 19 分钟降至 3.5 分钟已在 vllm-mlx 中实现并开源。预填充优化改善长上下文体验。5 倍加速使长上下文模型在实际使用中更加可行。草稿模型引导的选择性预填充是一种智能的投机方法——用小模型快速生成候选 token大模型验证并修正。这种协作模式在保持质量的同时大幅提升效率。 Recursive Memory Harness去中心化智能体记忆根据 Reddit 报道Recursive Memory Harness (RLM) 引入本地优先、去中心化的智能体记忆具有知识图谱、递归解析、动态重塑和无外部基础设施特性在多跳查询上报告 R5 90.0%而 Mem0 为 29.0%。本地记忆提升智能体自主性。90% vs 29% 的检索性能差距显示 RLM 方法在多跳推理任务上的显著优势。去中心化、无外部依赖的架构使智能体能够在本地保持长期记忆保护隐私并降低延迟。知识图谱提供结构化记忆递归解析支持复杂推理。智能体金融基础设施 Bankr生产级自主智能体金融轨道根据 X 报道Bankr 展示了面向自主智能体的生产级金融轨道——跨链钱包、自动化 LLM 支付、安全护栏以及插件式交易/DeFi 技能——已有一年多的生产流量。智能体经济基础设施成熟化。Bankr 的生产部署显示智能体金融基础设施已从概念走向现实。跨链钱包、自动化支付、安全护栏等组件构成完整的智能体经济系统。一年的生产流量证明这些系统的可靠性和实用性。 Infra Insights本日核心趋势LLM 从研究走向生产、效率优化突破、安全性成为焦点、智能体基础设施快速成熟。生产级 LLM 系统开始规模化落地。LinkedIn 的 LLM 排序系统部署标志着从实验性 LLM到生产级 LLM的关键转折。这表明 LLM 技术已足够成熟能够承载核心业务负载而不仅仅是原型和演示。效率优化突破使长上下文和本地推理更实用。SpecPrefill 的 5 倍加速使 128k 上下文的处理从几乎不可用19 分钟变为完全可用3.5 分钟。这种数量级的提升打开了许多新的应用场景特别是需要处理大量文档或长对话的场景。安全性成为 AI 原生发展的关键瓶颈。Armis 报告的 100% 失败率是一个强烈的警告信号——当前 LLM 无法安全地生成代码。这强调了对 AI 原生安全控制、形式化验证工具和安全工程实践的迫切需求。智能体基础设施的多层能力正在完善。从计算NVIDIA Feynman、编排Crossplane、记忆RLM、金融Bankr到安全Armis智能体所需的各个层面都有专用基础设施。这些组件共同构成了完整的智能体经济栈。对 AI 基础设施的影响•垂直集成系统优化端到端性能•API 优先简化智能体 - 基础设施交互•本地记忆和推理降低延迟和隐私风险•生产级金融轨道支撑智能体经济•安全性必须成为基础设施的一等公民生产就绪度评估LinkedIn排序系统和 Bankr金融轨道的生产部署显示 AI 基础设施已进入实用阶段。然而100% 的安全失败率表明在生产部署中必须包含多层安全验证和人工审查。原文链接https://ai-infra.jimmysong.io/zh/brief/2026-03-21/更多精彩内容 个人网站jimmysong.io Bilibilispace.bilibili.com/31004924如果这篇文章对你有帮助欢迎点赞、分享给更多朋友
