30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度今天来看一个可能改变AI行业走向的研究——Orca论文。这篇由北京智源人工智能研究院BAAI57位作者联合署名的论文提出了一个颠覆性观点当前所有AI模型都在预测下一个Token/帧/动作的范式上走错了方向真正的智能应该是预测下一个状态。Orca论文全称The World is in Your Mind于2026年6月发布。它挑战了从GPT到Sora再到机器人模型的整个AI行业基础范式。最核心的突破在于通过125,000小时视频训练Orca在没有使用任何动作标签的情况下在真实机器人任务上达到了36.6%的成功率比专业基线模型高出近10个百分点。这篇文章将深入分析Orca的核心思想、技术实现路径、对现有AI范式的挑战以及它对开发者、研究者和投资人的实际意义。我们会重点拆解状态预测与Token预测的本质区别探讨这种新范式在机器人学习、视频生成和语言理解中的应用潜力。1. 核心能力速览能力项说明项目类型研究论文 基础模型框架发布机构北京智源人工智能研究院BAAI核心创新用预测下一个状态替代预测下一个Token/帧/动作训练规模125,000小时视频 1.6亿事件标注 1,150万VQA样本模型规模Orca-4B40亿参数多模态能力文本生成、图像预测、机器人动作控制关键技术婴儿式学习无意识有意识学习、世界状态建模验证结果机器人OOD测试36.6%成功率多任务视频基准51.8分开源状态论文已发布代码和权重计划待公布2. Orca的核心思想从表面预测到本质理解当前主流AI模型存在一个根本性问题它们都在预测输出界面的下一个单元而不是理解世界的本质状态。GPT预测下一个词本质上是统计模仿。给它今天天气它输出真好不是因为它理解天气而是训练数据中这个组合出现频率高。Sora预测下一帧本质是像素插值只是在做图像的平滑过渡。机器人预测下一个动作本质是模式匹配看到杯子就输出抓取因为它见过类似场景。Orca论文尖锐指出智能不应该仅仅是能做Next-Token-Prediction的模型、能生成高质量视频的Next-Frame-Prediction模型或者能生成高质量动作的Next-Action-Prediction模型。它应该被定义为构建世界状态并支持多样化下游任务的能力。2.1 状态预测的数学框架Orca提出了一个清晰的状态预测框架。世界的状态S随时间演化变化受两部分因素驱动隐式动力学z物理规律、对象属性、场景动态、环境力场显式条件c人类指令、事件描述、任务目标当Δ大于0时预测未来状态Δ小于0时回溯过去状态。举个例子一个球在空中状态包含它的位置、速度、重力影响、空气阻力而不仅仅是球在画面中间这个像素信息。2.2 婴儿式学习范式Orca的学习框架模仿人类认知发展路径分为无意识学习和有意识学习无意识学习直接从连续视频中学习物理规律不需要任何标注标签。就像婴儿观察世界一样通过125,000小时视频捕获密集的物理状态转换——每一帧之间的变化每个物体的运动轨迹每次碰撞的因果关系。有意识学习则用语言描述的事件和视觉问答来组织因果结构。比如球落地了、门被打开了等有意义的语义事件将无意识经验转化为可推理的因果模式。这种设计让Orca不仅是一个更好的视频或语言模型而是试图构建通用世界基础模型general world foundation model能够同时处理语言、视觉和行动的共享世界表征。3. 技术突破零动作监督学会机器人行动Orca论文最令人震惊的发现是在机器人任务上的表现。在预训练阶段Orca没有使用任何动作标签完全零动作监督。它只是观看了125,000小时的视频来理解世界如何运转。当接入轻量级动作解码器进行真实机器人测试时结果令人侧目在真实机器人分布外OOD测试中Orca-4B达到36.6%的成功率同等规模的专业机器人基线模型π₀.5只有27.6%差距接近10个百分点且是在没有动作标签预训练的前提下这意味着传统机器人学习需要昂贵动作标注的时代可能结束。机器人公司不再需要雇佣标注员为每一帧视频打上动作标签只需要让模型看电视就能隐式学会行动策略。3.1 多任务基准测试表现除了机器人任务Orca在多任务视频基准测试中也表现出色MVBench、TemporalBench、3DSRBench和SWITCH四个基准平均得分51.8同等规模的Qwen3.5-4B只有46.7显示出在视频理解和推理方面的优势这种跨模态的强泛化能力证明了状态预测相比Token预测的优越性。模型真正理解了物理世界的运作规律而不是简单地记忆表面模式。4. 对现有AI范式的挑战Orca的提出对当前AI行业的基础设施投资逻辑构成了根本性挑战。4.1 对大型语言模型的挑战如果预测下一状态真的比预测下一个Token更接近理解的本质那么OpenAI、Google、Meta等巨头万亿美元级别的算力投资可能需要重新审视。当前的大模型竞赛集中在更大参数、更多Token、更多算力的方向上。但Orca暗示真正的智能可能不需要无穷大的参数而是需要对物理世界的高效建模。这对于专注于语言模型的DeepSeek、Qwen等玩家意味着需要重新思考语言模型的边界——语言只是世界状态的一种读出口而不是世界的全部。4.2 对机器人学习的革命对于机器人领域Orca提供了一个更激进的未来方向。传统的监督学习需要大量精确的动作标注成本高昂且泛化能力有限。Orca证明理解物理世界本身就隐含了行动能力。当模型真正理解了抓这个动作的物理含义——手的形状、力的方向、物体的重量、接触面的摩擦——它自然就知道怎么抓了不需要显式的动作指令。这将大幅降低机器人学习的门槛和成本。4.3 对视频生成模型的启示虽然Sora已被关停但视频生成模型的核心问题依然存在它们是在插值像素还是在理解场景物理Orca的状态预测框架为视频生成提供了新思路——不是预测下一帧像素而是预测场景的物理状态变化。这种基于物理理解的生成方式可能产生更符合现实规律的视频内容避免当前视频模型中常见的物理规律违反问题。5. 实际应用场景分析5.1 机器人技能学习Orca的零动作监督学习为机器人技能学习开辟了新路径。传统方法需要为每个任务收集大量示范数据并精确标注而Orca式的学习只需要让机器人观看相关场景的视频。应用场景包括家庭服务机器人通过观看人类日常活动视频学习家务技能工业机器人观察工人操作学习装配和搬运任务医疗机器人观看手术视频学习精细操作技能5.2 视频内容理解与生成基于状态预测的视频理解能够更深入地分析视频内容不仅识别物体和动作还能理解物理过程和因果关系。具体应用智能视频监控不仅检测异常行为还能预测行为后果视频内容生成生成符合物理规律的动画和特效教育视频分析理解实验过程和科学原理5.3 物理推理与仿真Orca的状态预测框架为物理仿真提供了新思路。传统的物理引擎基于明确的物理公式而Orca可以通过观察学习隐式的物理规律。潜在应用游戏物理引擎更自然真实的物理效果工程仿真基于真实数据的学习型仿真自动驾驶仿真更真实的车辙和环境交互6. 技术实现路径与挑战6.1 训练数据要求Orca的成功建立在125,000小时高质量视频数据的基础上。这要求大规模、多样化的视频数据集密集的事件标注和VQA样本跨场景、跨时间的连续性数据对于想要复现Orca的研究团队数据收集和标注将是首要挑战。6.2 计算资源需求虽然Orca-4B相比当前千亿参数模型规模较小但训练过程中的计算需求仍然可观视频数据处理和特征提取多模态对齐和融合长序列的状态建模实际部署时需要平衡模型规模与计算效率。6.3 验证与评估体系建立适合状态预测模型的评估体系是关键挑战。传统基于准确率、BLEU分数等的评估方法可能不再适用需要开发新的评估指标来度量模型的世界理解能力。7. 与其他技术路线的对比7.1 与多Token预测对比Vedant等学者提出的多Token预测技术试图通过同时预测多个后续Token来强迫模型学习更高层结构。这与Orca的方向有相似之处但Orca走得更远——不是预测更多表面单元而是直接预测本质状态。7.2 与经典世界模型对比Google DeepMind的世界模型专注于规划和控制NVIDIA的Cosmos平台试图构建物理世界的基础模型。Orca的独特之处在于将状态预测作为统一框架同时覆盖语言、视觉和行动模态。7.3 与具身AI对比具身AI强调智能体与环境的交互学习而Orca通过被动观察就能获得行动能力。这为样本效率低的具身学习提供了新思路。8. 开发与研究方向建议8.1 对于AI研究者探索状态预测在其他模态的应用研究更高效的状态表示学习方法开发适合状态预测的评估基准研究小规模状态预测模型的可行性8.2 对于工程师和开发者关注Orca代码和权重的发布进度准备多模态数据处理管道学习状态预测相关的数学工具探索在现有系统中的集成方案8.3 对于技术决策者重新评估AI技术路线图关注世界模型方向的投资机会平衡短期应用与长期技术布局建立多模态数据收集能力9. 实际部署考虑因素9.1 硬件要求虽然Orca-4B参数规模相对较小但实际部署时需要考虑GPU内存至少16GB用于推理更大内存支持批量处理CPU要求多核处理器用于数据预处理存储空间大型模型权重和多模态数据集网络带宽远程API调用时的延迟要求9.2 软件环境深度学习框架PyTorch或TensorFlow多模态处理库视频解码、图像处理等分布式训练支持多GPU或跨节点训练部署工具ONNX、TensorRT等优化工具9.3 数据准备成功应用Orca范式需要精心准备训练数据视频质量高分辨率、稳定的视频源标注质量准确的事件描述和VQA标注数据多样性覆盖不同场景、光照、角度时序连续性保证视频片段的连贯性10. 潜在风险与限制10.1 技术风险复现难度论文细节可能不足以完全复现计算成本训练过程仍然需要大量资源泛化能力在未见领域的效果待验证评估困难缺乏成熟的状态预测评估标准10.2 应用风险数据偏见训练数据中的偏见会影响模型表现安全考虑在关键任务中的应用需要谨慎验证伦理问题生成内容的真实性和责任归属版权问题训练数据的版权清理和合规使用10.3 商业化挑战技术成熟度从论文到产品的距离市场竞争现有技术路线的替代压力用户接受度新范式需要时间被市场接受生态系统配套工具和社区的支持程度11. 未来发展方向Orca为AI发展指明了几个重要方向11.1 理论发展状态预测的数学理论基础完善与世界模型、因果推理等理论的融合小样本学习和迁移学习能力的提升对意识、理解等认知概念的建模11.2 技术演进更高效的状态表示和压缩方法跨模态状态预测的统一框架实时状态预测和决策系统状态预测与强化学习的结合11.3 应用拓展在科学发现中的应用物理、化学、生物等领域在创意产业中的应用艺术、设计、写作等在教育领域的应用个性化学习和智能辅导在医疗健康中的应用诊断辅助和手术规划Orca论文的价值不仅在于提出了一个新的技术方案更在于它促使整个AI行业重新思考智能的本质。在当前所有AI都在预测下一个Token、下一帧、下一个动作的时候Orca提醒我们真正的理解可能在于预测世界的下一个状态。这种范式的转变如果被验证有效将影响从算法设计到硬件架构的整个AI技术栈。对于从业者来说现在正是关注这一方向、积累相关技术能力的关键时期。建议密切关注Orca后续的代码发布和社区发展同时开始思考如何将状态预测的思想应用到自己的项目中。 30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度
Orca论文：从Token预测到状态预测的AI范式革命
发布时间：2026/7/9 5:07:04
30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度今天来看一个可能改变AI行业走向的研究——Orca论文。这篇由北京智源人工智能研究院BAAI57位作者联合署名的论文提出了一个颠覆性观点当前所有AI模型都在预测下一个Token/帧/动作的范式上走错了方向真正的智能应该是预测下一个状态。Orca论文全称The World is in Your Mind于2026年6月发布。它挑战了从GPT到Sora再到机器人模型的整个AI行业基础范式。最核心的突破在于通过125,000小时视频训练Orca在没有使用任何动作标签的情况下在真实机器人任务上达到了36.6%的成功率比专业基线模型高出近10个百分点。这篇文章将深入分析Orca的核心思想、技术实现路径、对现有AI范式的挑战以及它对开发者、研究者和投资人的实际意义。我们会重点拆解状态预测与Token预测的本质区别探讨这种新范式在机器人学习、视频生成和语言理解中的应用潜力。1. 核心能力速览能力项说明项目类型研究论文 基础模型框架发布机构北京智源人工智能研究院BAAI核心创新用预测下一个状态替代预测下一个Token/帧/动作训练规模125,000小时视频 1.6亿事件标注 1,150万VQA样本模型规模Orca-4B40亿参数多模态能力文本生成、图像预测、机器人动作控制关键技术婴儿式学习无意识有意识学习、世界状态建模验证结果机器人OOD测试36.6%成功率多任务视频基准51.8分开源状态论文已发布代码和权重计划待公布2. Orca的核心思想从表面预测到本质理解当前主流AI模型存在一个根本性问题它们都在预测输出界面的下一个单元而不是理解世界的本质状态。GPT预测下一个词本质上是统计模仿。给它今天天气它输出真好不是因为它理解天气而是训练数据中这个组合出现频率高。Sora预测下一帧本质是像素插值只是在做图像的平滑过渡。机器人预测下一个动作本质是模式匹配看到杯子就输出抓取因为它见过类似场景。Orca论文尖锐指出智能不应该仅仅是能做Next-Token-Prediction的模型、能生成高质量视频的Next-Frame-Prediction模型或者能生成高质量动作的Next-Action-Prediction模型。它应该被定义为构建世界状态并支持多样化下游任务的能力。2.1 状态预测的数学框架Orca提出了一个清晰的状态预测框架。世界的状态S随时间演化变化受两部分因素驱动隐式动力学z物理规律、对象属性、场景动态、环境力场显式条件c人类指令、事件描述、任务目标当Δ大于0时预测未来状态Δ小于0时回溯过去状态。举个例子一个球在空中状态包含它的位置、速度、重力影响、空气阻力而不仅仅是球在画面中间这个像素信息。2.2 婴儿式学习范式Orca的学习框架模仿人类认知发展路径分为无意识学习和有意识学习无意识学习直接从连续视频中学习物理规律不需要任何标注标签。就像婴儿观察世界一样通过125,000小时视频捕获密集的物理状态转换——每一帧之间的变化每个物体的运动轨迹每次碰撞的因果关系。有意识学习则用语言描述的事件和视觉问答来组织因果结构。比如球落地了、门被打开了等有意义的语义事件将无意识经验转化为可推理的因果模式。这种设计让Orca不仅是一个更好的视频或语言模型而是试图构建通用世界基础模型general world foundation model能够同时处理语言、视觉和行动的共享世界表征。3. 技术突破零动作监督学会机器人行动Orca论文最令人震惊的发现是在机器人任务上的表现。在预训练阶段Orca没有使用任何动作标签完全零动作监督。它只是观看了125,000小时的视频来理解世界如何运转。当接入轻量级动作解码器进行真实机器人测试时结果令人侧目在真实机器人分布外OOD测试中Orca-4B达到36.6%的成功率同等规模的专业机器人基线模型π₀.5只有27.6%差距接近10个百分点且是在没有动作标签预训练的前提下这意味着传统机器人学习需要昂贵动作标注的时代可能结束。机器人公司不再需要雇佣标注员为每一帧视频打上动作标签只需要让模型看电视就能隐式学会行动策略。3.1 多任务基准测试表现除了机器人任务Orca在多任务视频基准测试中也表现出色MVBench、TemporalBench、3DSRBench和SWITCH四个基准平均得分51.8同等规模的Qwen3.5-4B只有46.7显示出在视频理解和推理方面的优势这种跨模态的强泛化能力证明了状态预测相比Token预测的优越性。模型真正理解了物理世界的运作规律而不是简单地记忆表面模式。4. 对现有AI范式的挑战Orca的提出对当前AI行业的基础设施投资逻辑构成了根本性挑战。4.1 对大型语言模型的挑战如果预测下一状态真的比预测下一个Token更接近理解的本质那么OpenAI、Google、Meta等巨头万亿美元级别的算力投资可能需要重新审视。当前的大模型竞赛集中在更大参数、更多Token、更多算力的方向上。但Orca暗示真正的智能可能不需要无穷大的参数而是需要对物理世界的高效建模。这对于专注于语言模型的DeepSeek、Qwen等玩家意味着需要重新思考语言模型的边界——语言只是世界状态的一种读出口而不是世界的全部。4.2 对机器人学习的革命对于机器人领域Orca提供了一个更激进的未来方向。传统的监督学习需要大量精确的动作标注成本高昂且泛化能力有限。Orca证明理解物理世界本身就隐含了行动能力。当模型真正理解了抓这个动作的物理含义——手的形状、力的方向、物体的重量、接触面的摩擦——它自然就知道怎么抓了不需要显式的动作指令。这将大幅降低机器人学习的门槛和成本。4.3 对视频生成模型的启示虽然Sora已被关停但视频生成模型的核心问题依然存在它们是在插值像素还是在理解场景物理Orca的状态预测框架为视频生成提供了新思路——不是预测下一帧像素而是预测场景的物理状态变化。这种基于物理理解的生成方式可能产生更符合现实规律的视频内容避免当前视频模型中常见的物理规律违反问题。5. 实际应用场景分析5.1 机器人技能学习Orca的零动作监督学习为机器人技能学习开辟了新路径。传统方法需要为每个任务收集大量示范数据并精确标注而Orca式的学习只需要让机器人观看相关场景的视频。应用场景包括家庭服务机器人通过观看人类日常活动视频学习家务技能工业机器人观察工人操作学习装配和搬运任务医疗机器人观看手术视频学习精细操作技能5.2 视频内容理解与生成基于状态预测的视频理解能够更深入地分析视频内容不仅识别物体和动作还能理解物理过程和因果关系。具体应用智能视频监控不仅检测异常行为还能预测行为后果视频内容生成生成符合物理规律的动画和特效教育视频分析理解实验过程和科学原理5.3 物理推理与仿真Orca的状态预测框架为物理仿真提供了新思路。传统的物理引擎基于明确的物理公式而Orca可以通过观察学习隐式的物理规律。潜在应用游戏物理引擎更自然真实的物理效果工程仿真基于真实数据的学习型仿真自动驾驶仿真更真实的车辙和环境交互6. 技术实现路径与挑战6.1 训练数据要求Orca的成功建立在125,000小时高质量视频数据的基础上。这要求大规模、多样化的视频数据集密集的事件标注和VQA样本跨场景、跨时间的连续性数据对于想要复现Orca的研究团队数据收集和标注将是首要挑战。6.2 计算资源需求虽然Orca-4B相比当前千亿参数模型规模较小但训练过程中的计算需求仍然可观视频数据处理和特征提取多模态对齐和融合长序列的状态建模实际部署时需要平衡模型规模与计算效率。6.3 验证与评估体系建立适合状态预测模型的评估体系是关键挑战。传统基于准确率、BLEU分数等的评估方法可能不再适用需要开发新的评估指标来度量模型的世界理解能力。7. 与其他技术路线的对比7.1 与多Token预测对比Vedant等学者提出的多Token预测技术试图通过同时预测多个后续Token来强迫模型学习更高层结构。这与Orca的方向有相似之处但Orca走得更远——不是预测更多表面单元而是直接预测本质状态。7.2 与经典世界模型对比Google DeepMind的世界模型专注于规划和控制NVIDIA的Cosmos平台试图构建物理世界的基础模型。Orca的独特之处在于将状态预测作为统一框架同时覆盖语言、视觉和行动模态。7.3 与具身AI对比具身AI强调智能体与环境的交互学习而Orca通过被动观察就能获得行动能力。这为样本效率低的具身学习提供了新思路。8. 开发与研究方向建议8.1 对于AI研究者探索状态预测在其他模态的应用研究更高效的状态表示学习方法开发适合状态预测的评估基准研究小规模状态预测模型的可行性8.2 对于工程师和开发者关注Orca代码和权重的发布进度准备多模态数据处理管道学习状态预测相关的数学工具探索在现有系统中的集成方案8.3 对于技术决策者重新评估AI技术路线图关注世界模型方向的投资机会平衡短期应用与长期技术布局建立多模态数据收集能力9. 实际部署考虑因素9.1 硬件要求虽然Orca-4B参数规模相对较小但实际部署时需要考虑GPU内存至少16GB用于推理更大内存支持批量处理CPU要求多核处理器用于数据预处理存储空间大型模型权重和多模态数据集网络带宽远程API调用时的延迟要求9.2 软件环境深度学习框架PyTorch或TensorFlow多模态处理库视频解码、图像处理等分布式训练支持多GPU或跨节点训练部署工具ONNX、TensorRT等优化工具9.3 数据准备成功应用Orca范式需要精心准备训练数据视频质量高分辨率、稳定的视频源标注质量准确的事件描述和VQA标注数据多样性覆盖不同场景、光照、角度时序连续性保证视频片段的连贯性10. 潜在风险与限制10.1 技术风险复现难度论文细节可能不足以完全复现计算成本训练过程仍然需要大量资源泛化能力在未见领域的效果待验证评估困难缺乏成熟的状态预测评估标准10.2 应用风险数据偏见训练数据中的偏见会影响模型表现安全考虑在关键任务中的应用需要谨慎验证伦理问题生成内容的真实性和责任归属版权问题训练数据的版权清理和合规使用10.3 商业化挑战技术成熟度从论文到产品的距离市场竞争现有技术路线的替代压力用户接受度新范式需要时间被市场接受生态系统配套工具和社区的支持程度11. 未来发展方向Orca为AI发展指明了几个重要方向11.1 理论发展状态预测的数学理论基础完善与世界模型、因果推理等理论的融合小样本学习和迁移学习能力的提升对意识、理解等认知概念的建模11.2 技术演进更高效的状态表示和压缩方法跨模态状态预测的统一框架实时状态预测和决策系统状态预测与强化学习的结合11.3 应用拓展在科学发现中的应用物理、化学、生物等领域在创意产业中的应用艺术、设计、写作等在教育领域的应用个性化学习和智能辅导在医疗健康中的应用诊断辅助和手术规划Orca论文的价值不仅在于提出了一个新的技术方案更在于它促使整个AI行业重新思考智能的本质。在当前所有AI都在预测下一个Token、下一帧、下一个动作的时候Orca提醒我们真正的理解可能在于预测世界的下一个状态。这种范式的转变如果被验证有效将影响从算法设计到硬件架构的整个AI技术栈。对于从业者来说现在正是关注这一方向、积累相关技术能力的关键时期。建议密切关注Orca后续的代码发布和社区发展同时开始思考如何将状态预测的思想应用到自己的项目中。 30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度
