1. 从“预测下一帧”到“创造世界”为什么我们需要Agent-Authored World Modeling如果你玩过开放世界游戏比如《塞尔达传说旷野之息》你大概能理解一个“好世界”的魅力。林克站在初始台地你可以选择去爬山、砍树、烹饪甚至什么都不做只是看风景。这个世界之所以迷人不仅仅是因为它“看起来”真实更是因为它有一套内在的、自洽的物理与化学规则以及无数个等待被触发的“可能性”。你的每一个动作——投掷炸弹、点燃草丛、用磁力吸起铁箱——都会在这个规则框架内引发一连串可预测又充满惊喜的连锁反应。这就是一个高度拟真的“世界模型”World Model在起作用。现在让我们把视角从海拉鲁大陆拉回到人工智能领域特别是那些旨在完成复杂任务的智能体Agent。长久以来训练一个AI智能体的核心范式之一就是“下一观测预测”Next-Observation Prediction。简单说就是给智能体看一段历史比如之前的游戏画面和操作让它猜接下来屏幕会显示什么。猜得越准就认为它对世界的理解越深。这很像让一个小孩通过看天气预报录像来学习天气规律。然而这个范式存在一个根本性的局限它本质上是在学习“观测的统计相关性”而非“世界的因果机制”。举个例子一个通过海量游戏录像训练出来的“下一帧预测”模型或许能非常逼真地预测出马里奥跳起来后落地的画面。但它可能完全无法理解“跳跃”这个动作本身的意义、时机选择背后的策略比如为了避开敌人还是顶碎砖块、以及如果跳跃失败会触发“生命减少”这一系列因果链。它学到了表象但没学到规则。当环境发生轻微变化比如砖块颜色变了、重力参数调整了或者需要完成一个从未见过的长链条任务时这种基于统计的模型就会显得非常脆弱。这正是“Agent-Authored World Modeling”智能体自建世界模型这一概念试图突破的边界。它不再满足于让智能体做一个被动的“观测预言家”而是鼓励它成为一个主动的“世界建筑师”。智能体需要基于自身的交互经验去推断、构建并不断修正一个关于环境如何运作的内部模型。这个模型不仅包含“接下来可能会看到什么”更重要的是包含“如果我采取行动A世界状态会如何变化并最终导致结果B”。这相当于从学习“天气录像”升级到了学习“大气物理、海洋环流和地理知识”从而能够真正理解并推理天气现象。近年来随着大型语言模型LLMs在代码生成、逻辑推理和常识理解上展现出的惊人能力一个激动人心的方向出现了利用LLM作为核心“推理引擎”来赋能智能体构建和运用这种因果式的、可解释的世界模型。LLM本身就像一个压缩了海量人类知识和逻辑的“大脑”当它与环境交互数据结合时就有可能演绎出支配环境的基本规则。这就是为什么“LLM-powered autonomous agents”会成为当前的研究热点。我们正在见证智能体从“基于模式匹配的反应者”向“基于模型推理的规划者”的深刻转变。这篇内容就是想和你深入聊聊这个转变背后的“为什么”、“是什么”以及“怎么做”。2. 拆解核心什么是真正的“世界模型”在深入探讨“自建”之前我们必须先厘清“世界模型”这个概念。它听起来很宏大但在计算领域我们可以给它一个更精确的定义世界模型是智能体对外部环境动态的、内部化的、可计算的表现形式。它能够模拟环境在智能体动作影响下的状态转移过程。这个定义里有几个关键词动态的模型不是静态的地图它必须能刻画世界如何随时间变化。内部化的它存在于智能体的“心智”中是智能体进行“思考”的素材。可计算的智能体可以像运行模拟器一样在自己的脑海里“运行”这个模型进行前向预测或反向推理。状态转移核心是描述“在状态S_t下执行动作A_t会导致状态S_{t1}”的映射关系。传统的“下一观测预测”模型可以看作是一种极其简化的、专注于表层感官输入像素、声音的世界模型。而“Agent-Authored”所追求的世界模型则更接近人类认知中的“心智模型”或科学家口中的“理论模型”。它通常包含以下几个层次2.1 实体与关系图谱世界的“静态骨架”智能体首先需要识别环境中有哪些“东西”实体以及这些东西之间有什么关系。在一个房间清扫任务中实体可能是“机器人”、“灰尘”、“充电桩”、“障碍物”、“房间边界”。关系可能是“灰尘位于地板上”、“充电桩靠在墙边”、“机器人与障碍物碰撞”。注意这里的实体和关系不是预先定义的标签而是智能体从原始观测如图像、激光雷达点云中通过感知模块抽象出来的符号化或向量化表示。LLM在这里可以发挥巨大作用它能将模糊的感知输入“画面左下角有一团灰色的东西”关联到语义概念“那是一堆积尘”并推断出潜在关系“积尘通常附着在平面上”。2.2 动力学与因果规则世界的“运转法则”这是世界模型的核心。它定义了实体和关系如何随时间变化特别是智能体的动作如何影响它们。这包括物理动力学比如“推动一个物体它会沿受力方向移动”“松开手中的球它会下落”。在模拟环境中这可能对应着牛顿力学方程的近似。对象特有属性比如“电池电量会随着移动而减少”“拾取物品后物品会从环境中消失并出现在智能体的库存中”。因果约束比如“必须拥有钥匙才能打开门”“必须先点击‘登录’按钮才能输入密码”。这些规则往往带有逻辑前提条件。LLM在学习和表达这类规则上具有天然优势。它可以从交互历史中总结出如“IF [机器人执行清扫动作] AND [位置存在灰尘] THEN [灰尘被清除]”这样的规则。更强大的是LLM能够利用其先验知识进行“常识推理”补全未被直接观察到的规则。例如即使它从未见过“水杯被打翻”它也能基于“液体”、“重力”、“容器倾斜”等常识推测出水会洒出来。2.3 抽象与分层从具体到一般一个强大的世界模型不能只记忆具体的场景实例它需要学会抽象。例如智能体在不同房间清扫时不应该学习成“在客厅清扫灰尘A”和“在卧室清扫灰尘B”两个独立规则而应该抽象出“在任何房间对任何灰尘颗粒执行清扫动作都能清除它”的通用规则。LLM的泛化能力使其非常擅长从具体例子中归纳出高级别的概念和模式。2.4 与“基于模型的强化学习”的区别你可能会想到经典的“基于模型的强化学习”Model-Based RL。它们有相似之处都关注学习环境模型。但关键区别在于模型的表示形式和用途传统MBRL学习的模型通常是一个黑盒的动态函数如神经网络输入当前状态和动作输出下一个状态的预测往往是连续向量。这个模型主要用于轨迹采样和规划以加速策略学习。模型本身通常不具备可解释性我们不知道它内部代表了什么规则。Agent-Authored World Modeling (特别是LLM驱动的)其目标是学习一个符号化、结构化、可解释的模型这个模型更像是一组用自然语言或逻辑语言表述的规则。它不仅用于规划更用于理解、解释和推理。智能体可以用自然语言“回答”关于环境的问题“为什么我打不开这扇门”或者进行反事实推理“如果我刚才先拿了钥匙会怎样”。简而言之传统MBRL的模型是“用于计算的引擎”而Agent-Authored的模型是“用于理解的理论”。后者对实现更高级的认知功能如迁移学习、零样本任务适应和人机协作解释至关重要。3. 实现路径如何让智能体“撰写”自己的世界模型理论很美好但如何落地呢让一个智能体尤其是LLM驱动的智能体自己去构建世界模型并不是一蹴而就的。这是一个从交互中学习、假设、验证、修正的循环过程。我们可以将其拆解为几个关键环节。3.1 感知与符号接地从像素到概念智能体首先通过传感器摄像头、激光雷达等获得原始观测O_t。对于LLM驱动的智能体我们需要将这些观测转化为LLM能够处理的格式。常见的方法包括视觉描述生成使用一个视觉语言模型VLM如GPT-4V、LLaVA等将当前画面O_t转化为一段详细的自然语言描述D_t。例如“你正面对一个厨房。中央有一个木质桌子桌面上有一个红色的苹果和一个空盘子。左边是水槽右边是关着的橱柜。”结构化信息提取更进一步可以设计提示词让VLM或后续的LLM从描述中提取出结构化的实体列表和关系。这可以表示为一个知识图谱的雏形。状态向量化对于更偏重控制的任务可能需要将观测编码成一个低维的状态向量s_t但同时保留其与自然语言描述的关联以便LLM进行推理。这个过程被称为“符号接地”即把物理世界的信号“接地”到智能体内部可操作的符号语言描述上。这是所有后续高级认知的基础。3.2 交互、观察与假设生成智能体开始尝试动作。它执行一个动作A_t如“拿起苹果”然后获得新的观测O_{t1}和可能的奖励R_t。关键步骤来了LLM需要对比动作执行前后的世界描述D_t和D_{t1}并推断出可能发生的因果规则。例如动作前 (D_t)“桌面上有一个红色的苹果。”动作 (A_t)“执行‘拿起’苹果的操作。”动作后 (D_{t1)“桌面上没有苹果。你的手中拿着一个红色的苹果。”LLM的推理“‘拿起’动作导致了一个物体从原始位置转移到执行者手中。条件是执行者与物体距离足够近且物体是可拿起的。”LLM会基于这个具体的交互实例结合其庞大的常识库生成一个或多个可能的世界规则假设。例如假设H1Pickup(obj)-Holding(obj)ANDnot OnSurface(obj)。假设H2Grasp(obj)-InHand(obj)。3.3 模型验证与迭代修正单个例子不足以确定一条规则。智能体需要主动设计“实验”来验证或证伪这些假设。这引出了探索策略的重要性。一个仅追求奖励的智能体可能会重复已知有效的动作而一个致力于构建精确世界模型的智能体则会有意尝试那些能最大程度减少模型不确定性的动作。例如为了验证“拿起”规则智能体可能会故意尝试边界条件测试尝试拿起一个明显太大如桌子或太远的东西观察规则是否失效。泛化测试尝试拿起另一个物体如盘子看规则是否通用。干扰项测试在拿起苹果前先尝试“推”一下苹果看是否影响拿起操作。通过一系列主动探索LLM可以收集到支持或反对各个假设的证据。它需要维护一个世界模型的版本这个版本可能是一组带置信度的逻辑规则也可能是一个可以模拟状态转移的神经符号系统。当新证据与现有模型冲突时LLM需要触发模型的修正——可能细化规则的前提条件也可能引入全新的规则或实体。3.4 基于模型的规划与决策当世界模型具有一定可信度后智能体就可以利用它进行“离线”的思维推理也就是基于模型的规划。它不再需要完全依赖昂贵的真实环境交互而是可以在自己的“脑海”即世界模型中模拟各种行动序列的后果。这个过程可以描述为目标分解LLM将高层目标如“准备一顿早餐”分解为子目标序列“拿到苹果” - “清洗苹果” - “找到盘子”。前向模拟对于每个子目标LLM使用当前的世界模型从当前状态开始模拟执行一系列动作预测是否能达到子目标状态。这类似于人在脑中预演一个计划。冲突检测与重规划如果模拟发现动作序列不可行例如模拟中打开空橱柜找不到盘子LLM会检测到规划与模型预测的冲突并回溯尝试其他路径例如先去别处找盘子。动作执行最终选择一个在模拟中成功率高、成本低的动作序列在真实环境中执行。这种“先想后做”的方式极大地提高了决策的样本效率减少真实试错和安全性在脑中排除危险选项。LLM强大的序列建模和推理能力使其非常适合进行这种长链条的思维模拟。4. 实战挑战与应对策略理想与现实的差距将上述蓝图付诸实践我们会遇到一系列严峻的挑战。理解这些挑战是设计有效系统的前提。4.1 幻觉与模型偏差当LLM的“常识”误导现实LLM的先验知识是一把双刃剑。它既能帮助快速建立假设也可能导致严重的“幻觉”——即LLM坚信其知识库中的某个规则在当下环境中成立而实际上环境规则可能不同。例如在一个物理模拟器中LLM可能基于常识认为“轻推球一下球会缓慢滚动”但该模拟器可能设定了极高的摩擦系数导致球根本不动。如果LLM过于相信自己的先验它可能会忽略真实的观测数据或将不一致归咎于观测噪声从而无法学习到真实的环境动力学。应对策略设置先验置信度为LLM从知识库中提取的规则赋予一个初始的、中等偏低的置信度明确将其视为“假设”而非“真理”。证据优先原则设计决策逻辑让从真实交互中归纳出的规则其置信度提升速度远高于纯先验规则。当先验规则与多次观测证据冲突时应果断降低其置信度或将其推翻。设计证伪实验主动设计实验去挑战那些高置信度的先验规则而不是仅仅用它们去验证已知的东西。4.2 状态表示与信息损失语言描述的局限性用自然语言描述复杂、高维的观测如一整幅RGB图像必然存在信息损失。描述可能遗漏对任务至关重要的细节如物体的精确位置、纹理、光照阴影。此外语言描述是离散和符号化的而许多底层动力学如物理运动是连续的。如何将连续的物理变化准确映射到离散的语言规则更新是一个难题。应对策略多模态融合不单独依赖语言描述。将VLM生成的语言描述与原始观测的低维特征向量来自CNN等编码器结合起来共同作为“状态”输入给规划模块。语言部分用于高层逻辑推理向量部分用于细粒度匹配和连续控制。分层状态表示建立分层模型。底层使用神经网络学习连续状态向量的转移动力学类似传统MBRL用于短期精确预测高层使用LLM维护符号化的实体和规则用于长期任务规划和解释。两者通过注意力等机制进行交互。精炼描述提示词精心设计给VLM的提示词要求其关注与任务相关的特定属性。例如在机械臂抓取任务中提示词应强调物体的3D朝向、抓取点的位置等。4.3 探索与利用的权衡为学习模型而探索在强化学习中探索尝试新动作以获取信息和利用执行已知的好动作以获取奖励需要平衡。在构建世界模型的语境下探索的目标更明确最大化模型信息增益。我们需要设计一种内在激励鼓励智能体去探索那些能最大程度减少世界模型不确定性的状态和动作。应对策略基于不确定性的内在奖励计算世界模型对下一个状态预测的“不确定性”例如集成多个模型预测的方差或计算预测概率分布的熵。将不确定性高的状态-动作对赋予额外的“好奇心”奖励驱动智能体去探索它们。LLM驱动的目标生成让LLM根据当前模型的知识缺口主动提出探索性目标。例如LLM发现“打开橱柜”的规则从未被验证过它可以自主生成一个子任务“现在去探索打开橱柜会发生什么”并将其插入到任务队列中。信息论规划在基于模型的规划中不仅评估动作序列的预期奖励也评估其预期信息增益。选择那些能平衡任务回报和模型学习收益的动作序列。4.4 可扩展性与组合爆炸规则的数量会失控吗随着交互的深入智能体可能会学习到成千上万条具体的规则。如何管理、检索和应用这些规则避免组合爆炸如何将具体规则抽象成通用规则以应对新的物体和场景应对策略规则归纳与抽象定期让LLM对收集到的具体规则进行“归纳总结”。例如从Pickup(apple)-Holding(apple),Pickup(plate)-Holding(plate)归纳出Pickup(X)-Holding(X), where X is Graspable。这能极大压缩模型规模。分层规则库建立规则的分层结构。顶层是通用物理和逻辑定律中层是对象类别的通用交互规则底层是特定对象的特殊属性。新遇到一个物体时先尝试应用中高层规则如果失败再学习其特殊规则。向量化规则检索将规则或其主要前提和结论编码成向量。当处于某个状态需要规划时通过向量相似度快速检索出最相关的几条规则进行推理而不是遍历整个规则库。5. 案例剖析在虚拟家庭环境中构建一个“常识管家”为了让你对上述概念有更具体的感知我们设想一个实验环境一个用AI2-THOR或Habitat等平台搭建的虚拟公寓。智能体的任务是完成一些日常家务如“把客厅里散落的玩具放进储物箱”。初始阶段感知与困惑智能体由LLM驱动被置于客厅。VLM将画面描述为“这是一个客厅。地板上有一个红色的积木和一个蓝色的毛绒熊。远处有一个绿色的半透明储物箱。沙发靠着墙。” LLM接收到目标“将散落的玩具放入储物箱。”它首先需要理解“玩具”指什么。基于常识它假设积木和毛绒熊可能是玩具。但它不确定储物箱是否是“容器”以及“放入”操作如何生效。此时它的世界模型里几乎没有关于这个环境的具体规则。首次交互与假设生成智能体决定先尝试“拿起红色积木”。它移动到积木旁发出抓取指令。成功。状态更新为“手中持有红色积木”。LLM记录下一条具体规则Grasp(red_block) at close range - Holding(red_block)。 接着它走向储物箱尝试“放入”。成功。状态更新为“手中无物红色积木在储物箱内”。LLM生成新假设While Holding(obj) AND close_to(container) AND Execute(put_in) - not Holding(obj) AND Inside(obj, container)。主动探索与模型修正为了验证“放入”规则的通用性智能体去“拿起毛绒熊”但发现抓取指令失败可能因为毛绒熊是软物体需要不同的交互参数。LLM遇到了矛盾Grasp动作并非对所有物体都有效。它需要修正规则增加前提条件。通过进一步探索尝试“按压”、“抓取不同部位”它可能学习到Grasp对小型刚性物体有效而对毛绒熊需要PressAndGrasp。 同时为了验证“容器”属性它可能会尝试把积木“放入”沙发或地板发现动作无效从而强化了规则中container必须具有“可容纳”属性这一条件。基于模型的复杂规划现在任务更新为“把牛奶从厨房冰箱拿到客厅茶几上”。这是一个多步骤任务。智能体的世界模型里已经有关于“拿起”、“放入”、“容器”、“门”等基础规则但没有关于“冰箱”、“牛奶”、“厨房”的具体知识。目标分解LLM将其分解为导航到厨房-打开冰箱门-拿起牛奶-导航到客厅-将牛奶放在茶几上。前向模拟LLM使用现有模型进行模拟。模拟到“打开冰箱门”时它发现模型中没有“门”的打开规则但它有“门是可打开的容器入口”这个常识。它预测这个动作可能可行。真实执行与学习在真实环境中智能体导航到厨房找到冰箱执行“打开”动作。成功。模型新增规则Execute(open) on door-like object - is_open(door)。它看到冰箱内的牛奶成功拿起。后续步骤依此类推。处理意外如果模拟中“将牛奶放在茶几上”成功但现实中茶几表面是倾斜的牛奶放上去滑落摔碎了。这又是一个模型错误。LLM需要记录“放置表面需要是水平的”这一新约束。通过这个循环智能体逐步从一个对家庭物理规律一无所知的“新生儿”成长为一个拥有丰富、可解释的家务操作模型的“常识管家”。它学到的不是像素变化的模式而是“物体”、“容器”、“支撑面”、“打开”、“放入”等概念及其之间的因果联系。这使得它能够快速适应新的家庭布局迁移学习并向人类解释它的计划“我要先打开冰箱门因为牛奶在里面”。6. 未来展望从游戏世界到现实世界的漫漫长路Agent-Authored World Modeling 为我们勾勒了一个激动人心的未来拥有“常识”和“物理直觉”的通用智能体。它们不再是为单一游戏训练的“专家”而是能够通过自主交互快速理解任何新环境基本规则的“终身学习者”。LLM作为推理核心为这一愿景提供了强大的知识先验和符号推理能力。然而通向现实世界的道路依然布满荆棘。当前的研究大多集中在受限的虚拟环境如Minecraft、Aloha厨房模拟器中。将这些方法扩展到复杂、非结构化、部分可观测的真实世界如真正的家庭、工厂车间面临着感知不确定性更大、动作维度极高、安全要求严苛、数据稀缺等巨大挑战。一个可行的演进路径可能是“仿真到现实”Sim2Real的变体先在高度拟真的虚拟环境中如NVIDIA的Omniverse让智能体大规模地构建和验证其世界模型学习基础的物理和交互常识。然后通过少量真实世界的交互数据对模型进行微调和校准并引入安全约束模块。另一个方向是发展更高效的模型学习算法例如利用LLM的代码生成能力直接将学习到的规则编写成小段的可执行代码如Python函数作为环境模拟器的一部分从而实现更精确和快速的“思维模拟”。无论如何超越简单的“下一观测预测”让智能体主动构建可解释、可推理的世界模型无疑是实现更高级人工智能的必由之路。这不仅仅是一个技术问题也促使我们重新思考智能的本质智能或许不在于预测的准确度而在于构建一个内部模型用以理解、解释并最终塑造我们所处的世界。这条路很长但每一步都让我们离真正“智能”的伙伴更近一些。