网罗开发小红书、快手、视频号同名大家好我是展菲目前在上市企业从事人工智能项目研发管理工作平时热衷于分享各种编程领域的软硬技能知识以及前沿技术包括iOS、前端、Harmony OS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者《ESP32-C3 物联网工程开发实战》图书作者《SwiftUI 入门进阶与实战》超级个体COC上海社区主理人特约讲师大学讲师谷歌亚马逊分享嘉宾科技博主华为HDE/HDG我的博客内容涵盖广泛主要分享技术教程、Bug解决方案、开发工具使用、前沿科技资讯、产品评测与使用体验。我特别关注云服务产品评测、AI 产品对比、开发板性能测试以及技术报告同时也会提供产品优缺点分析、横向对比并分享技术沙龙与行业大会的参会体验。我的目标是为读者提供有深度、有实用价值的技术洞察与分析。展菲您的前沿技术领航员 大家好我是展菲 全网搜索“展菲”即可纵览我在各大平台的知识足迹。每周定时推送干货满满的技术长文从新兴框架的剖析到运维实战的复盘助您技术进阶之路畅通无阻。文章目录引言一、大模型只是 AI 世界的“大脑”二、为什么 AI 落地越来越像建设一座城市三、AI 为什么越来越依赖 Runtime四、数据基础设施比模型更难建设五、为什么 AI 时代会重新定义 API六、Memory 可能比模型更重要七、为什么 Agent Infrastructure 会成为新赛道八、AI 基建真正决定成本九、鸿蒙给 AI 基建带来的启发十、未来最大的公司可能不是模型公司十一、AI 正在进入“基建竞争时代”第一阶段第二阶段第三阶段总结第一阶段第二阶段第三阶段引言过去两年AI 行业最热的话题几乎都围绕着一件事大模型大家讨论的是参数规模 推理能力 上下文长度 Benchmark排名仿佛未来 AI 的竞争只有一个方向谁的模型更强于是行业不断追逐更大的GPU 更大的训练集群 更大的参数量但当越来越多企业开始真正部署 AI 时一个有趣的现象出现了。很多公司已经拥有先进模型却依然无法大规模落地很多团队会发现模型很聪明 系统却不好用甚至出现问题模型效果90分 业务价值30分因为现实世界里决定 AI 成败的往往不是Model而是Infrastructure也就是AI 基础设施于是行业开始进入一个新的阶段别再只聊大模型了AI 的“基建”才是未来真正的竞争力。一、大模型只是 AI 世界的“大脑”很多人理解 AI模型 AI但实际上并不是如果把 AI 看成一个人。那么大模型 大脑负责理解 推理 决策 生成例如resultllm.chat(帮我规划一次东京出差)模型能够生成机票建议 酒店建议 行程规划看起来很厉害但问题来了。它真的完成任务了吗其实没有因为没有订机票 没有订酒店 没有创建日历只是生成了一段文字所以模型负责思考但世界并不会因为思考而改变。二、为什么 AI 落地越来越像建设一座城市很多企业第一次做 AI 时会认为接个模型 项目就完成了但很快发现真正复杂的是后面这些东西数据系统 权限系统 工作流系统 监控系统 工具系统这其实特别像建设一座城市。城市的发展靠什么不是市长而是道路 供电 供水 通信 交通同样的道理AI 的发展靠的也不是只有模型。而是数据 计算 存储 调度 生态这些基础设施因为再聪明的大脑也需要身体和神经系统。三、AI 为什么越来越依赖 Runtime过去的软件启动 运行 关闭就结束了例如main()exit()但未来 AI 系统完全不同例如一个企业 Agent接收任务 分析任务 调用工具 执行任务 检查结果 继续执行整个过程可能持续几小时 几天 甚至几个月这时候状态管理 任务恢复 异常重试就变得极其重要例如classRuntime:defcheckpoint(self):passdefrecover(self):passdefretry(self):pass这类能力其实和模型毫无关系但却决定系统能否长期运行。所以未来AI 拼的不是推理能力而是运行能力。四、数据基础设施比模型更难建设很多企业发现一个现实问题模型接入只需要几天数据治理可能需要几年。例如CRM ERP MES OA里面的数据格式不同 标准不同 权限不同假设用户问本季度哪些客户流失风险最高AI 需要crm_datacrm.query()order_dataerp.query()service_dataticket.query()然后才能分析问题是很多企业连这些数据都没有打通。于是模型很强 数据很乱最终AI 无法工作因为垃圾输入永远不会产生优秀输出。五、为什么 AI 时代会重新定义 API过去互联网时代API是开发者使用的未来 AI 时代API会成为 Agent 使用的例如create_order()cancel_order()query_customer()过去这些接口服务的是前端页面未来服务的是Agent于是软件设计开始变化过去UI First未来API First因为AI 不会点击按钮但会调用接口。六、Memory 可能比模型更重要很多人认为参数量 智能但现实中真正影响体验的往往是记忆例如用户昨天说我下周要去东京出差今天说帮我安排一下行程如果 AI 忘了昨天的内容体验极差如果 AI 记得体验瞬间提升所以未来 AI 系统一定会拥有Short Memory Long Memory Workspace Memory例如memory.save(user_context)memory.restore(user_context)未来很多公司会发现Memory Layer的重要性甚至超过模型层因为没有记忆的 AI每天都像第一次见面。七、为什么 Agent Infrastructure 会成为新赛道当一个 Agent 出现时问题不大但未来会变成100个Agent 1000个Agent 10000个Agent例如客服Agent 销售Agent 财务Agent 开发Agent 运营Agent这时候最难的问题已经不是Agent聪不聪明而是Agent怎么协作例如scheduler.dispatch()scheduler.sync()scheduler.retry()需要统一调度否则会出现重复执行 资源竞争 状态冲突所以未来会出现越来越多的系统Agent Runtime Agent Scheduler Agent OS八、AI 基建真正决定成本很多企业部署 AI 后最先感受到的不是智能而是账单例如推理成本 存储成本 网络成本 GPU成本如果系统设计不好可能出现GPU利用率20%但企业却支付100%的费用所以未来越来越重要的是KV Cache Batch Scheduling Memory Pool例如cache.hit()batch.execute()memory.reuse()这些优化因为未来竞争不只是谁最聪明还包括谁最便宜九、鸿蒙给 AI 基建带来的启发如果观察鸿蒙的发展会发现一个很明显的特点统一能力 统一状态 统一调度例如手机 平板 PC 车机共享同一个生态AI 世界其实也在走相同路线。过去模型孤立 工具孤立 数据孤立未来统一Runtime 统一Memory 统一Agent网络越来越重要因为未来 AI 需要面对的是跨设备 跨系统 跨组织的复杂环境。十、未来最大的公司可能不是模型公司回顾互联网历史真正改变世界的往往不是某个应用而是基础设施平台例如云计算平台 移动操作系统 数据库平台AI 时代同样如此未来真正有可能建立壁垒的。未必是模型提供商而可能是Runtime平台 Memory平台 Agent平台 数据平台因为这些东西一旦进入企业就会成为数字基础设施很难被替换。十一、AI 正在进入“基建竞争时代”如果回顾 AI 发展路径会发现行业正在经历三个阶段第一阶段模型竞争核心问题能不能推理第二阶段Agent竞争核心问题能不能执行第三阶段基础设施竞争核心问题能不能长期运行因为未来限制 AI 的已经不只是模型能力而是数据流动能力 资源调度能力 状态管理能力 生态协同能力这些全部属于Infrastructure总结很多人现在谈 AI讨论的还是参数规模 推理能力 上下文长度但真正进入产业以后企业最关心的问题往往变成怎么接系统 怎么管数据 怎么控成本 怎么长期运行这些问题几乎都和模型无关而属于AI 基建所以未来 AI 行业的发展方向很可能是第一阶段大模型革命第二阶段Agent革命第三阶段基础设施革命而未来真正改变世界的也许不只是那个最聪明的模型而是那个能够连接数据、调度资源、管理 Agent、支撑亿万任务运行的系统。因为 AI 的终局可能不是一场模型战争。而是一场基础设施战争。
别再只聊大模型了，AI的“基建”才是未来的关键
发布时间：2026/6/5 12:10:09
网罗开发小红书、快手、视频号同名大家好我是展菲目前在上市企业从事人工智能项目研发管理工作平时热衷于分享各种编程领域的软硬技能知识以及前沿技术包括iOS、前端、Harmony OS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者《ESP32-C3 物联网工程开发实战》图书作者《SwiftUI 入门进阶与实战》超级个体COC上海社区主理人特约讲师大学讲师谷歌亚马逊分享嘉宾科技博主华为HDE/HDG我的博客内容涵盖广泛主要分享技术教程、Bug解决方案、开发工具使用、前沿科技资讯、产品评测与使用体验。我特别关注云服务产品评测、AI 产品对比、开发板性能测试以及技术报告同时也会提供产品优缺点分析、横向对比并分享技术沙龙与行业大会的参会体验。我的目标是为读者提供有深度、有实用价值的技术洞察与分析。展菲您的前沿技术领航员 大家好我是展菲 全网搜索“展菲”即可纵览我在各大平台的知识足迹。每周定时推送干货满满的技术长文从新兴框架的剖析到运维实战的复盘助您技术进阶之路畅通无阻。文章目录引言一、大模型只是 AI 世界的“大脑”二、为什么 AI 落地越来越像建设一座城市三、AI 为什么越来越依赖 Runtime四、数据基础设施比模型更难建设五、为什么 AI 时代会重新定义 API六、Memory 可能比模型更重要七、为什么 Agent Infrastructure 会成为新赛道八、AI 基建真正决定成本九、鸿蒙给 AI 基建带来的启发十、未来最大的公司可能不是模型公司十一、AI 正在进入“基建竞争时代”第一阶段第二阶段第三阶段总结第一阶段第二阶段第三阶段引言过去两年AI 行业最热的话题几乎都围绕着一件事大模型大家讨论的是参数规模 推理能力 上下文长度 Benchmark排名仿佛未来 AI 的竞争只有一个方向谁的模型更强于是行业不断追逐更大的GPU 更大的训练集群 更大的参数量但当越来越多企业开始真正部署 AI 时一个有趣的现象出现了。很多公司已经拥有先进模型却依然无法大规模落地很多团队会发现模型很聪明 系统却不好用甚至出现问题模型效果90分 业务价值30分因为现实世界里决定 AI 成败的往往不是Model而是Infrastructure也就是AI 基础设施于是行业开始进入一个新的阶段别再只聊大模型了AI 的“基建”才是未来真正的竞争力。一、大模型只是 AI 世界的“大脑”很多人理解 AI模型 AI但实际上并不是如果把 AI 看成一个人。那么大模型 大脑负责理解 推理 决策 生成例如resultllm.chat(帮我规划一次东京出差)模型能够生成机票建议 酒店建议 行程规划看起来很厉害但问题来了。它真的完成任务了吗其实没有因为没有订机票 没有订酒店 没有创建日历只是生成了一段文字所以模型负责思考但世界并不会因为思考而改变。二、为什么 AI 落地越来越像建设一座城市很多企业第一次做 AI 时会认为接个模型 项目就完成了但很快发现真正复杂的是后面这些东西数据系统 权限系统 工作流系统 监控系统 工具系统这其实特别像建设一座城市。城市的发展靠什么不是市长而是道路 供电 供水 通信 交通同样的道理AI 的发展靠的也不是只有模型。而是数据 计算 存储 调度 生态这些基础设施因为再聪明的大脑也需要身体和神经系统。三、AI 为什么越来越依赖 Runtime过去的软件启动 运行 关闭就结束了例如main()exit()但未来 AI 系统完全不同例如一个企业 Agent接收任务 分析任务 调用工具 执行任务 检查结果 继续执行整个过程可能持续几小时 几天 甚至几个月这时候状态管理 任务恢复 异常重试就变得极其重要例如classRuntime:defcheckpoint(self):passdefrecover(self):passdefretry(self):pass这类能力其实和模型毫无关系但却决定系统能否长期运行。所以未来AI 拼的不是推理能力而是运行能力。四、数据基础设施比模型更难建设很多企业发现一个现实问题模型接入只需要几天数据治理可能需要几年。例如CRM ERP MES OA里面的数据格式不同 标准不同 权限不同假设用户问本季度哪些客户流失风险最高AI 需要crm_datacrm.query()order_dataerp.query()service_dataticket.query()然后才能分析问题是很多企业连这些数据都没有打通。于是模型很强 数据很乱最终AI 无法工作因为垃圾输入永远不会产生优秀输出。五、为什么 AI 时代会重新定义 API过去互联网时代API是开发者使用的未来 AI 时代API会成为 Agent 使用的例如create_order()cancel_order()query_customer()过去这些接口服务的是前端页面未来服务的是Agent于是软件设计开始变化过去UI First未来API First因为AI 不会点击按钮但会调用接口。六、Memory 可能比模型更重要很多人认为参数量 智能但现实中真正影响体验的往往是记忆例如用户昨天说我下周要去东京出差今天说帮我安排一下行程如果 AI 忘了昨天的内容体验极差如果 AI 记得体验瞬间提升所以未来 AI 系统一定会拥有Short Memory Long Memory Workspace Memory例如memory.save(user_context)memory.restore(user_context)未来很多公司会发现Memory Layer的重要性甚至超过模型层因为没有记忆的 AI每天都像第一次见面。七、为什么 Agent Infrastructure 会成为新赛道当一个 Agent 出现时问题不大但未来会变成100个Agent 1000个Agent 10000个Agent例如客服Agent 销售Agent 财务Agent 开发Agent 运营Agent这时候最难的问题已经不是Agent聪不聪明而是Agent怎么协作例如scheduler.dispatch()scheduler.sync()scheduler.retry()需要统一调度否则会出现重复执行 资源竞争 状态冲突所以未来会出现越来越多的系统Agent Runtime Agent Scheduler Agent OS八、AI 基建真正决定成本很多企业部署 AI 后最先感受到的不是智能而是账单例如推理成本 存储成本 网络成本 GPU成本如果系统设计不好可能出现GPU利用率20%但企业却支付100%的费用所以未来越来越重要的是KV Cache Batch Scheduling Memory Pool例如cache.hit()batch.execute()memory.reuse()这些优化因为未来竞争不只是谁最聪明还包括谁最便宜九、鸿蒙给 AI 基建带来的启发如果观察鸿蒙的发展会发现一个很明显的特点统一能力 统一状态 统一调度例如手机 平板 PC 车机共享同一个生态AI 世界其实也在走相同路线。过去模型孤立 工具孤立 数据孤立未来统一Runtime 统一Memory 统一Agent网络越来越重要因为未来 AI 需要面对的是跨设备 跨系统 跨组织的复杂环境。十、未来最大的公司可能不是模型公司回顾互联网历史真正改变世界的往往不是某个应用而是基础设施平台例如云计算平台 移动操作系统 数据库平台AI 时代同样如此未来真正有可能建立壁垒的。未必是模型提供商而可能是Runtime平台 Memory平台 Agent平台 数据平台因为这些东西一旦进入企业就会成为数字基础设施很难被替换。十一、AI 正在进入“基建竞争时代”如果回顾 AI 发展路径会发现行业正在经历三个阶段第一阶段模型竞争核心问题能不能推理第二阶段Agent竞争核心问题能不能执行第三阶段基础设施竞争核心问题能不能长期运行因为未来限制 AI 的已经不只是模型能力而是数据流动能力 资源调度能力 状态管理能力 生态协同能力这些全部属于Infrastructure总结很多人现在谈 AI讨论的还是参数规模 推理能力 上下文长度但真正进入产业以后企业最关心的问题往往变成怎么接系统 怎么管数据 怎么控成本 怎么长期运行这些问题几乎都和模型无关而属于AI 基建所以未来 AI 行业的发展方向很可能是第一阶段大模型革命第二阶段Agent革命第三阶段基础设施革命而未来真正改变世界的也许不只是那个最聪明的模型而是那个能够连接数据、调度资源、管理 Agent、支撑亿万任务运行的系统。因为 AI 的终局可能不是一场模型战争。而是一场基础设施战争。
