一、什么是世界模型世界模型World Models 是人工智能领域的一个核心概念简单来说它是智能体Agent在内部构建的、关于外部世界如何运作的“模拟器”或“心理表征”。就像人类在大脑中拥有一个对物理世界、因果关系和社会规则的“直觉模型”一样世界模型让AI能够在不与环境进行实际交互的情况下在“脑海”中预测未来、规划行动并进行推理。1. 核心定义从技术角度看世界模型是一个能够预测未来状态的系统。输入当前的观测数据和采取的动作。输出对未来时刻世界状态的预测。本质它学习了世界的动态规律Dynamics、物理常识和因果结构。2. 为什么需要世界模型在传统的AI如早期的强化学习或单纯的监督学习中智能体往往通过大量的“试错”来学习或者只能对当前输入做出反应刺激-反应模式。世界模型解决了以下关键问题样本效率Sample Efficiency、规划与推理Planning Reasoning、处理长时序任务、填补信息缺失。3. 世界模型 vs. 大语言模型 (LLM)这是一个常见的混淆点LLM主要基于统计概率预测下一个词Token。虽然它们隐含了一些世界知识但它们并不显式地模拟物理世界的动态演变容易产生“幻觉”且难以进行精确的多步物理规划。世界模型专注于预测状态的变化和因果逻辑。真正的世界模型不仅知道“猫”这个词后面常跟着“喵”还知道“如果把猫推下桌子它会掉下去”。趋势目前的趋势是将两者结合利用LLM的推理能力指导世界模型的规划或利用世界模型为LLM提供 grounded的物理常识。二、世界模型的六大流派图灵奖得主杨立昆YannLeCun从Meta离职后其担任执行主席的AMILabs今天官宣融资10.3亿美金做世界模型。而就在前不久李飞飞的WorldLabs也官宣了10亿美金的融资。目前这个赛道的主流选手要么是大厂要么是最有影响力的学者带队的超高融资startup借着这个机会浅浅盘点一下世界模型的不同流派1.联合嵌入预测架构流派 (JEPA )这篇介绍的很好https://zhuanlan.zhihu.com/p/1921300496779568394JEPA由LeCun于2022年提出它的创新在于:不在像素空间做预测而在抽象表示空间做预测。普通的生成式AI试图预测“未来的每一个像素”这在一个充满不确定性的物理世界里是注定失败的没有人能够精确预测风吹树叶的每一个细节。JEPA的思路是:我不需要预测细节我只需要在更高维度的表现上来理解“会发生什么”它是LeCun心中构建世界模型World Models和通往自主机器智能AGI的核心技术路径。与目前主流的生成式AI如Sora、Midjourney不同JEPA不追求生成像素级的逼真内容而是致力于让AI在抽象的潜在空间Latent Space中理解世界的运作规律。就像人类看完天气预报去理解“明天天气会怎样”时我们并不会在脑子里生成一张逐像素的图而是形成“大概会下雨气温偏低”这样的抽拿预期。PA的核心思想是放弃像素级的重建在更高维度的抽象表征空间中进行预测。它由三大件构成两个编码器和一个预测器有时还会引入一个隐变量 来增加预测的灵活性。其工作流程如下给定一个上下文输入 如图像的一部分和一个需要预测的目标 如图像被遮挡的另一部分。编码器 (Encoder) 分别将 和 编码为抽象表征 和 。预测器 (Predictor) 基于 和一个可选的隐变量 来预测 的表征得到 。目标 调整模型参数使得预测表征与真实表征之间的距离或能量 最小化。其优化目标可以写作这个公式的精髓在于找到一个最优的隐变量z使得通过x的表征 和z预测出的y的表征与y真实的表征 之间的差异或称为能量最小化。LeCun为JEPA的优雅设计设定了四大黄金原则让表征Sx包含关于x 的尽可能多的信息。让表征 Sy 包含关于 y 的尽可能多的信息。让 x 能够很容易地从 y 预测出来。让用于预测的隐变量 z 包含的信息尽可能少。第四点尤为关键它约束了预测的复杂度。这里可以用一个绝妙的比喻来理解隐变量空间z的大小学习两位数乘法。如果隐变量空间太大 模型会像一个笨学生死记硬背下所有“两位数×两位数”的答案。它能给出正确结果但什么也没学会无法泛化到三位数乘法。这对应于整个空间的能量都相同模型没有学到结构。如果隐变量空间太小 模型容量不足连九九乘法表和列竖式的规则都记不住可能只能去暴力相加不满足让 能够很容易地从 预测出来。如果隐变量空间大小适中 模型会被迫学习最高效的解法——记住九九乘法表和列竖式计算的通用规则。这才是真正的“理解”。通过这种方式JEPA放弃了生成像素的能力但收获了更宝贵的东西一种捕捉多模态输入输出之间底层依赖关系的强大能力。LeCun相信真正的符号推理能力最终会从这种对世界抽象结构的有效学习中涌现出来。2.空间智能3D world model空间智能流派Spatial Intelligence 是当前世界模型研究中极具前瞻性和颠覆性的一个方向。该流派的核心观点是真正的智能必须建立在对三维物理世界的深刻理解之上而不仅仅是处理二维的像素或文本序列。这一流派的领军人物是图灵奖得主、斯坦福大学教授 李飞飞Fei-Fei Li。她在2024年联合创立了初创公司 World Labs并明确提出了“空间智能”作为AI的下一个前沿。空间智能流派的技术路线与传统的视频生成有显著不同3D原生架构 (3D-Native)不再单纯依赖2D卷积或Transformer处理像素序列而是引入3D表示方法如NeRF神经辐射场、3D Gaussian Splatting高斯泼溅、体素网格、隐式神经表示等作为模型的内部表征。模型学习的是物体的几何形状和纹理场而不仅仅是像素分布。多视角一致性 (Multi-view Consistency)训练数据通常包含同一场景的多角度视图。模型被强制要求无论从哪个角度观察生成的场景物体的结构和纹理必须保持一致。这解决了传统视频模型中常见的“物体变形”问题。可交互性与自由度 (Interactivity 6-DoF)生成的不仅仅是一段固定的视频而是一个可探索的3D场景。用户可以自由改变摄像机视角上下左右移动、旋转甚至与场景中的物体进行交互推、拉、抓取场景会根据物理规律实时渲染出新的画面而不是播放预设的动画。物理引擎融合许多空间智能模型尝试将深度学习与传统的物理引擎如刚体动力学、流体模拟结合或者让神经网络直接学习物理规律如重力、碰撞、摩擦力确保生成的动态符合物理常识。空间智能与JEPA的区别是?空间智能Spatial Intelligence与 JEPA联合嵌入预测架构 并不是非此即彼的对立关系而是目标/领域与方法/架构的关系。即①空间智能是“要解决什么问题”让AI理解3D物理世界。②JEPA是“用什么方法解决”通过在抽象特征空间进行预测来学习世界规律。3.生成式视频交互仿真派这一流派的核心愿景是“世界即视频动作即提示”。这条路线的逻辑是:如果你能生成一个物理上自治的、可交互的世界AI就在这个过程中学会了世界的运作规律。他们主张不需要显式地构建3D几何模型或物理引擎而是通过训练超大规模的视频生成模型直接从海量视频数据中学习世界的动态规律。只要模型足够大、数据足够多它就能在像素层面“涌现”出对物理世界、因果关系和3D一致性的理解从而成为一个可交互的通用世界模拟器。如果说“空间智能派”是试图重建一个精确的3D数字孪生世界那么“交互仿真派”则是试图训练一个能够以假乱真的“梦境模拟器”——在这个梦里你做什么动作世界就会给出符合逻辑的反馈。1. 核心理念从“观看”到“ playable (可玩)”世界模型即视频生成器该流派认为视频是描述世界动态最丰富的数据形式。如果一个模型能完美预测下一帧视频它就隐含地理解了物理规律重力、碰撞、流体。隐式学习物理与3D不同于空间智能派显式地建模3D网格或神经辐射场NeRF这一派相信“尺度定律”Scaling Laws。只要视频数据量够大、模型参数量够大神经网络会自动在潜空间Latent Space中学习到3D结构和物理规则无需人工设计这些约束。动作作为条件Action-Conditioned这是与传统视频生成如Sora早期版本最大的区别。传统模型是“文本-视频”被动观看而交互仿真派是“(当前状态 动作) - 下一状态”。输入当前画面 “向右移动”指令。输出模拟出向右移动后的新画面。这使得模型变成了一个可玩的游戏引擎或机器人训练场。代表作Google DeepMind: Genie 系列 (Generative Interactive Environments)Genie 3发布于2025年8月这是业界第一个实时交互的通用World Model能以24fps生成可持续导航的3D环境。Genie 3没有硬编码的物理引擎(比如Unity或Unreal Engine那种硬编码的碰撞检测、重力逻辑)模型通过训练自行习。https://deepmind.google/models/genie/4.物理AI基础设施仿真平台派这一流派的核心观点是“通用世界模型不能只存在于云端或视频中它必须扎根于物理现实的精确模拟中并服务于实体机器。”与前三派JEPA、空间智能、生成式视频主要关注算法架构或模型能力不同这一流派更侧重于工程化落地和生态系统构建。他们认为要训练出能在真实世界工作的机器人Physical AI必须有一个高保真、物理准确、可扩展的超级仿真平台作为基础设施。NVIDIA Cosmos 是这一流派的集大成者它不仅仅是一个模型而是一个“物理AI的世界工厂”。https://www.nvidia.com/zh-tw/ai/cosmos/5.潜空间强化学习这一流派的核心哲学是“智能体不应在混乱的像素世界中盲目试错而应在压缩的、抽象的‘梦境’潜空间中进行规划和思考。”如果说前四个流派更多关注“世界是什么样子的”3D结构、视频生成、物理仿真那么潜空间RL流派关注的则是“智能体如何利用对世界的理解来做出最优决策”。它是连接感知世界模型与行动强化学习的最高效桥梁。代表模型与技术演进DeepMind Dreamer 系列代表模型 Dreamer (V1-V4) 和 MuZero 证明了只要模型能在内部构建一个准确的“世界模拟器”它就可以在这个模拟器里通过“做梦”想象未来来练习技能而无需在真实世界中承担失败的成本。6.主动推断代表:VERSESAI(Karl Friston)这是最小众的路线来自神经科学和贝叶斯认知理论。这一路线的核心思想来自Karl Friston的“自由能原理”:大脑不是被动地处理感知信号而是主动地生成对世界的预测并持续最小化预测误差也就是说真正的智能不应该只是对刺激做出反应而是能够去主动地建构对世界的模型并不断地验证和迭代。VERSES AI将这一理论工程化推出了AXIOM系统这个系统用“槽位化”对象建模每个对象都带有属性通过主动推断来推测未来行动。这条路线在学术界比较受关注但距离大规模商业落地有比较大的距离。
什么是世界模型？----世界模型浅析
发布时间：2026/7/13 18:34:51
一、什么是世界模型世界模型World Models 是人工智能领域的一个核心概念简单来说它是智能体Agent在内部构建的、关于外部世界如何运作的“模拟器”或“心理表征”。就像人类在大脑中拥有一个对物理世界、因果关系和社会规则的“直觉模型”一样世界模型让AI能够在不与环境进行实际交互的情况下在“脑海”中预测未来、规划行动并进行推理。1. 核心定义从技术角度看世界模型是一个能够预测未来状态的系统。输入当前的观测数据和采取的动作。输出对未来时刻世界状态的预测。本质它学习了世界的动态规律Dynamics、物理常识和因果结构。2. 为什么需要世界模型在传统的AI如早期的强化学习或单纯的监督学习中智能体往往通过大量的“试错”来学习或者只能对当前输入做出反应刺激-反应模式。世界模型解决了以下关键问题样本效率Sample Efficiency、规划与推理Planning Reasoning、处理长时序任务、填补信息缺失。3. 世界模型 vs. 大语言模型 (LLM)这是一个常见的混淆点LLM主要基于统计概率预测下一个词Token。虽然它们隐含了一些世界知识但它们并不显式地模拟物理世界的动态演变容易产生“幻觉”且难以进行精确的多步物理规划。世界模型专注于预测状态的变化和因果逻辑。真正的世界模型不仅知道“猫”这个词后面常跟着“喵”还知道“如果把猫推下桌子它会掉下去”。趋势目前的趋势是将两者结合利用LLM的推理能力指导世界模型的规划或利用世界模型为LLM提供 grounded的物理常识。二、世界模型的六大流派图灵奖得主杨立昆YannLeCun从Meta离职后其担任执行主席的AMILabs今天官宣融资10.3亿美金做世界模型。而就在前不久李飞飞的WorldLabs也官宣了10亿美金的融资。目前这个赛道的主流选手要么是大厂要么是最有影响力的学者带队的超高融资startup借着这个机会浅浅盘点一下世界模型的不同流派1.联合嵌入预测架构流派 (JEPA )这篇介绍的很好https://zhuanlan.zhihu.com/p/1921300496779568394JEPA由LeCun于2022年提出它的创新在于:不在像素空间做预测而在抽象表示空间做预测。普通的生成式AI试图预测“未来的每一个像素”这在一个充满不确定性的物理世界里是注定失败的没有人能够精确预测风吹树叶的每一个细节。JEPA的思路是:我不需要预测细节我只需要在更高维度的表现上来理解“会发生什么”它是LeCun心中构建世界模型World Models和通往自主机器智能AGI的核心技术路径。与目前主流的生成式AI如Sora、Midjourney不同JEPA不追求生成像素级的逼真内容而是致力于让AI在抽象的潜在空间Latent Space中理解世界的运作规律。就像人类看完天气预报去理解“明天天气会怎样”时我们并不会在脑子里生成一张逐像素的图而是形成“大概会下雨气温偏低”这样的抽拿预期。PA的核心思想是放弃像素级的重建在更高维度的抽象表征空间中进行预测。它由三大件构成两个编码器和一个预测器有时还会引入一个隐变量 来增加预测的灵活性。其工作流程如下给定一个上下文输入 如图像的一部分和一个需要预测的目标 如图像被遮挡的另一部分。编码器 (Encoder) 分别将 和 编码为抽象表征 和 。预测器 (Predictor) 基于 和一个可选的隐变量 来预测 的表征得到 。目标 调整模型参数使得预测表征与真实表征之间的距离或能量 最小化。其优化目标可以写作这个公式的精髓在于找到一个最优的隐变量z使得通过x的表征 和z预测出的y的表征与y真实的表征 之间的差异或称为能量最小化。LeCun为JEPA的优雅设计设定了四大黄金原则让表征Sx包含关于x 的尽可能多的信息。让表征 Sy 包含关于 y 的尽可能多的信息。让 x 能够很容易地从 y 预测出来。让用于预测的隐变量 z 包含的信息尽可能少。第四点尤为关键它约束了预测的复杂度。这里可以用一个绝妙的比喻来理解隐变量空间z的大小学习两位数乘法。如果隐变量空间太大 模型会像一个笨学生死记硬背下所有“两位数×两位数”的答案。它能给出正确结果但什么也没学会无法泛化到三位数乘法。这对应于整个空间的能量都相同模型没有学到结构。如果隐变量空间太小 模型容量不足连九九乘法表和列竖式的规则都记不住可能只能去暴力相加不满足让 能够很容易地从 预测出来。如果隐变量空间大小适中 模型会被迫学习最高效的解法——记住九九乘法表和列竖式计算的通用规则。这才是真正的“理解”。通过这种方式JEPA放弃了生成像素的能力但收获了更宝贵的东西一种捕捉多模态输入输出之间底层依赖关系的强大能力。LeCun相信真正的符号推理能力最终会从这种对世界抽象结构的有效学习中涌现出来。2.空间智能3D world model空间智能流派Spatial Intelligence 是当前世界模型研究中极具前瞻性和颠覆性的一个方向。该流派的核心观点是真正的智能必须建立在对三维物理世界的深刻理解之上而不仅仅是处理二维的像素或文本序列。这一流派的领军人物是图灵奖得主、斯坦福大学教授 李飞飞Fei-Fei Li。她在2024年联合创立了初创公司 World Labs并明确提出了“空间智能”作为AI的下一个前沿。空间智能流派的技术路线与传统的视频生成有显著不同3D原生架构 (3D-Native)不再单纯依赖2D卷积或Transformer处理像素序列而是引入3D表示方法如NeRF神经辐射场、3D Gaussian Splatting高斯泼溅、体素网格、隐式神经表示等作为模型的内部表征。模型学习的是物体的几何形状和纹理场而不仅仅是像素分布。多视角一致性 (Multi-view Consistency)训练数据通常包含同一场景的多角度视图。模型被强制要求无论从哪个角度观察生成的场景物体的结构和纹理必须保持一致。这解决了传统视频模型中常见的“物体变形”问题。可交互性与自由度 (Interactivity 6-DoF)生成的不仅仅是一段固定的视频而是一个可探索的3D场景。用户可以自由改变摄像机视角上下左右移动、旋转甚至与场景中的物体进行交互推、拉、抓取场景会根据物理规律实时渲染出新的画面而不是播放预设的动画。物理引擎融合许多空间智能模型尝试将深度学习与传统的物理引擎如刚体动力学、流体模拟结合或者让神经网络直接学习物理规律如重力、碰撞、摩擦力确保生成的动态符合物理常识。空间智能与JEPA的区别是?空间智能Spatial Intelligence与 JEPA联合嵌入预测架构 并不是非此即彼的对立关系而是目标/领域与方法/架构的关系。即①空间智能是“要解决什么问题”让AI理解3D物理世界。②JEPA是“用什么方法解决”通过在抽象特征空间进行预测来学习世界规律。3.生成式视频交互仿真派这一流派的核心愿景是“世界即视频动作即提示”。这条路线的逻辑是:如果你能生成一个物理上自治的、可交互的世界AI就在这个过程中学会了世界的运作规律。他们主张不需要显式地构建3D几何模型或物理引擎而是通过训练超大规模的视频生成模型直接从海量视频数据中学习世界的动态规律。只要模型足够大、数据足够多它就能在像素层面“涌现”出对物理世界、因果关系和3D一致性的理解从而成为一个可交互的通用世界模拟器。如果说“空间智能派”是试图重建一个精确的3D数字孪生世界那么“交互仿真派”则是试图训练一个能够以假乱真的“梦境模拟器”——在这个梦里你做什么动作世界就会给出符合逻辑的反馈。1. 核心理念从“观看”到“ playable (可玩)”世界模型即视频生成器该流派认为视频是描述世界动态最丰富的数据形式。如果一个模型能完美预测下一帧视频它就隐含地理解了物理规律重力、碰撞、流体。隐式学习物理与3D不同于空间智能派显式地建模3D网格或神经辐射场NeRF这一派相信“尺度定律”Scaling Laws。只要视频数据量够大、模型参数量够大神经网络会自动在潜空间Latent Space中学习到3D结构和物理规则无需人工设计这些约束。动作作为条件Action-Conditioned这是与传统视频生成如Sora早期版本最大的区别。传统模型是“文本-视频”被动观看而交互仿真派是“(当前状态 动作) - 下一状态”。输入当前画面 “向右移动”指令。输出模拟出向右移动后的新画面。这使得模型变成了一个可玩的游戏引擎或机器人训练场。代表作Google DeepMind: Genie 系列 (Generative Interactive Environments)Genie 3发布于2025年8月这是业界第一个实时交互的通用World Model能以24fps生成可持续导航的3D环境。Genie 3没有硬编码的物理引擎(比如Unity或Unreal Engine那种硬编码的碰撞检测、重力逻辑)模型通过训练自行习。https://deepmind.google/models/genie/4.物理AI基础设施仿真平台派这一流派的核心观点是“通用世界模型不能只存在于云端或视频中它必须扎根于物理现实的精确模拟中并服务于实体机器。”与前三派JEPA、空间智能、生成式视频主要关注算法架构或模型能力不同这一流派更侧重于工程化落地和生态系统构建。他们认为要训练出能在真实世界工作的机器人Physical AI必须有一个高保真、物理准确、可扩展的超级仿真平台作为基础设施。NVIDIA Cosmos 是这一流派的集大成者它不仅仅是一个模型而是一个“物理AI的世界工厂”。https://www.nvidia.com/zh-tw/ai/cosmos/5.潜空间强化学习这一流派的核心哲学是“智能体不应在混乱的像素世界中盲目试错而应在压缩的、抽象的‘梦境’潜空间中进行规划和思考。”如果说前四个流派更多关注“世界是什么样子的”3D结构、视频生成、物理仿真那么潜空间RL流派关注的则是“智能体如何利用对世界的理解来做出最优决策”。它是连接感知世界模型与行动强化学习的最高效桥梁。代表模型与技术演进DeepMind Dreamer 系列代表模型 Dreamer (V1-V4) 和 MuZero 证明了只要模型能在内部构建一个准确的“世界模拟器”它就可以在这个模拟器里通过“做梦”想象未来来练习技能而无需在真实世界中承担失败的成本。6.主动推断代表:VERSESAI(Karl Friston)这是最小众的路线来自神经科学和贝叶斯认知理论。这一路线的核心思想来自Karl Friston的“自由能原理”:大脑不是被动地处理感知信号而是主动地生成对世界的预测并持续最小化预测误差也就是说真正的智能不应该只是对刺激做出反应而是能够去主动地建构对世界的模型并不断地验证和迭代。VERSES AI将这一理论工程化推出了AXIOM系统这个系统用“槽位化”对象建模每个对象都带有属性通过主动推断来推测未来行动。这条路线在学术界比较受关注但距离大规模商业落地有比较大的距离。
