在图表问答、网页理解这类任务里图像资源通常并不稀缺稀缺的是高质量的多步推理数据。模型要先识别图中的数值或对象再完成比较、计数、计算甚至趋势推断其中任意一步出错最终答案就会偏离。人工标注这样的训练数据成本很高而只在测试时让模型临时拆解问题又容易造成中间步骤误差累积。ICLR 2026 的 COGS 正是针对这个问题它提出从少量种子问题中分解出基础推理能力再生成带中间步骤的合成数据并通过过程奖励进行强化学习训练。论文题目Composition-Grounded Data Synthesis for Visual Reasoning作者Xinyi Gu、Jiayuan Mao、Zhang-Wei Hong 等机构MIT、University of Wisconsin-Madison、MIT-IBM Watson AI Lab会议ICLR 2026项目页与代码数据地址cogsynthesis.github.io推荐理由这篇论文最值得推荐的地方是它把数据生成单位从“完整问题”换成了“推理因子”。比如一道“两个国家某项指标相差多少”的图表题背后其实有几步先读国家 A 的数值再读国家 B 的数值最后计算差值。传统数据增强往往围绕整道题改写COGS 则先把这些步骤拆出来再换图重组。图 1 是 COGS 的架构图。它从少量需要复杂推理的初始问题开始将这些问题分解为基本的感知和推理要素。随后这些要素会与新的图像信息相结合从而生成新的问答对。这一过程能够显著增加推理的类型和数量使其超越最初的初始问题。核心方法图 2 展示了一个具体的示例。COGS 的框架包含三个阶段初始问题分解、因素重组以及模型微调。1 初始问题分解COGS把复杂问题拆成一组factors因子。这些因子既包括视觉感知也包括后续推理。常见因子包括Identification识别或读取图里的数值、对象、文本Comparison比较Counting计数Calculation计算Extrapolation趋势外推Fact Checking事实判断Spatial Relation空间关系。具体来说作者让一个 MLLM 看图和问题再输出“这道题需要哪些步骤”。例如一个差值问题可能被拆成读取对象 A 的数值读取对象 B 的数值计算两者的绝对差。这些结果会汇总成一个factor pool因子池。它可以理解为一盒零件每个零件带着能力标签也带着一些示例子问题。这里有个细节很重要论文并不鼓励把每道题硬拆得很碎。对于只需要简单识别的问题prompt 会要求不要做多余分解。目标是找出真正必要的步骤而不是制造看起来很长的推理链。2 因素重组有了因子池之后COGS 会拿一张新图从池里抽取若干 factors让生成模型围绕这张图重新出题。它不是只生成一个“问题-答案”对而是生成整套结构其中是图像是最终复杂问题是最终答案是涉及的因子是每个子问题的中间答案。简单说模型要先生成并回答子问题再把子问题拼成最终问题。后面的推理还必须依赖前面已经找出的信息不能跳步直接猜答案。在图表场景中作者还会使用底层表格等 metadata 来提高答案精度。这意味着 COGS 在图表数据生成时并不完全依赖纯视觉读取结构化数据也参与了合成过程。3 模型微调兼顾答案和过程传统 RL 微调常常只问一件事最终答案对不对但视觉推理题里模型答错可能有很多原因数字读错了、对象找错了、比较方向错了或者算错了。只看最终答案训练信号太粗。COGS 因为保存了子问题和子答案所以可以给中间步骤打分。论文定义子问题命中率其中 是子问题数 表示第 个子问题是否答对。作者比较了三种奖励StandardRM只看最终答案ProcessRM-sum最终答案奖励和过程奖励直接相加ProcessRM-max取最终答案奖励和过程奖励中的较大值。论文最终更推荐ProcessRM-max直觉很简单最终答案正确奖励就是最高最终答案错误即使过程部分正确也只能拿到有限奖励。这样可以避免“过程写得像对的但最后答案错了”的输出得到太高回报。实验结果主实验ChartQAPro在 ChartQAPro 上Qwen2.5-VL-7B 的基础准确率是47.36%COGS 提升到52.02%绝对提升4.66 个百分点。多数据集混合因子层混合更稳在 ChartQAPro 和 MMC-Bench 上作者比较了两种做法先各自生成数据再拼起来先合并因子池再重新生成数据。合并因子池在两个数据集上都超过了直接拼数据的方式。不过在 MMC 上单独训练 MMC 的结果是 88.10%仍略高于 factor-level mix 的 87.55%。哪类题提升最明显论文的分析显示问题包含的 factor 越多COGS 的收益通常越明显。按因子类型看提升包括Count4.25Compare4.47Calculation3.04Extrapolation7.62Fact Check1.44。这和方法逻辑一致COGS 最擅长的不是单次读图而是让模型更稳定地把多个步骤串起来。奖励消融过程奖励确实有用但不能乱加从这组结果看直接相加的过程奖励没有带来提升反而略降ProcessRM-max最好。这至少说明过程监督不是越多越好怎样避免中间步骤的噪声误导训练是这类方法的关键。网页任务初步证明能跨出图表领域在 VisualWebBench 的 WebQA 上COGS 比基础模型高 2.39 个点也是表中最好的开源模型。这说明它不只适合图表数值推理也有能力处理网页里的文本、位置和结构关系。但目前只测了 chart 和 webpage 两类场景能否泛化到文档、多页 UI 或长上下文视觉任务还需要更多证据。4. 这篇论文真正带来的启示第一做视觉推理数据不该只看样本量也要看“能力组合量”。一堆单步读图题未必能训练出多步推理能力。后续做数据集时更值得统计的是覆盖了哪些感知动作、推理操作以及这些操作有没有真正组合起来。第二多数据集混合不能只靠把样本拼在一起。图表、网页、文档表面不同但底层可能共享识别、比较、计数、定位等能力。先在能力层对齐再生成新组合可能比直接混数据更有效。第三过程监督的目标不是奖励“会写推理过程”而是帮助模型更可靠地走到正确答案。COGS 的ProcessRM-max提醒我们中间步骤应该提供辅助信号但最终答案仍然必须是最高优先级。5. 总结COGS 解决的是一个很现实的问题模型不缺视觉数据但缺少复杂推理标注。它的做法可以浓缩成三步先把少量种子题拆成感知和推理因子再拿这些因子去新图像上组合出新题最后把中间步骤变成强化学习中的过程奖励。COGS 最有价值的地方不是简单的数据生成而是拆解了数据生成的思路。
ICLR 2026 | 用少量标注构造多步推理数据：COGS 用合成数据和过程奖励增强多模态大模型
发布时间：2026/7/8 10:41:00
在图表问答、网页理解这类任务里图像资源通常并不稀缺稀缺的是高质量的多步推理数据。模型要先识别图中的数值或对象再完成比较、计数、计算甚至趋势推断其中任意一步出错最终答案就会偏离。人工标注这样的训练数据成本很高而只在测试时让模型临时拆解问题又容易造成中间步骤误差累积。ICLR 2026 的 COGS 正是针对这个问题它提出从少量种子问题中分解出基础推理能力再生成带中间步骤的合成数据并通过过程奖励进行强化学习训练。论文题目Composition-Grounded Data Synthesis for Visual Reasoning作者Xinyi Gu、Jiayuan Mao、Zhang-Wei Hong 等机构MIT、University of Wisconsin-Madison、MIT-IBM Watson AI Lab会议ICLR 2026项目页与代码数据地址cogsynthesis.github.io推荐理由这篇论文最值得推荐的地方是它把数据生成单位从“完整问题”换成了“推理因子”。比如一道“两个国家某项指标相差多少”的图表题背后其实有几步先读国家 A 的数值再读国家 B 的数值最后计算差值。传统数据增强往往围绕整道题改写COGS 则先把这些步骤拆出来再换图重组。图 1 是 COGS 的架构图。它从少量需要复杂推理的初始问题开始将这些问题分解为基本的感知和推理要素。随后这些要素会与新的图像信息相结合从而生成新的问答对。这一过程能够显著增加推理的类型和数量使其超越最初的初始问题。核心方法图 2 展示了一个具体的示例。COGS 的框架包含三个阶段初始问题分解、因素重组以及模型微调。1 初始问题分解COGS把复杂问题拆成一组factors因子。这些因子既包括视觉感知也包括后续推理。常见因子包括Identification识别或读取图里的数值、对象、文本Comparison比较Counting计数Calculation计算Extrapolation趋势外推Fact Checking事实判断Spatial Relation空间关系。具体来说作者让一个 MLLM 看图和问题再输出“这道题需要哪些步骤”。例如一个差值问题可能被拆成读取对象 A 的数值读取对象 B 的数值计算两者的绝对差。这些结果会汇总成一个factor pool因子池。它可以理解为一盒零件每个零件带着能力标签也带着一些示例子问题。这里有个细节很重要论文并不鼓励把每道题硬拆得很碎。对于只需要简单识别的问题prompt 会要求不要做多余分解。目标是找出真正必要的步骤而不是制造看起来很长的推理链。2 因素重组有了因子池之后COGS 会拿一张新图从池里抽取若干 factors让生成模型围绕这张图重新出题。它不是只生成一个“问题-答案”对而是生成整套结构其中是图像是最终复杂问题是最终答案是涉及的因子是每个子问题的中间答案。简单说模型要先生成并回答子问题再把子问题拼成最终问题。后面的推理还必须依赖前面已经找出的信息不能跳步直接猜答案。在图表场景中作者还会使用底层表格等 metadata 来提高答案精度。这意味着 COGS 在图表数据生成时并不完全依赖纯视觉读取结构化数据也参与了合成过程。3 模型微调兼顾答案和过程传统 RL 微调常常只问一件事最终答案对不对但视觉推理题里模型答错可能有很多原因数字读错了、对象找错了、比较方向错了或者算错了。只看最终答案训练信号太粗。COGS 因为保存了子问题和子答案所以可以给中间步骤打分。论文定义子问题命中率其中 是子问题数 表示第 个子问题是否答对。作者比较了三种奖励StandardRM只看最终答案ProcessRM-sum最终答案奖励和过程奖励直接相加ProcessRM-max取最终答案奖励和过程奖励中的较大值。论文最终更推荐ProcessRM-max直觉很简单最终答案正确奖励就是最高最终答案错误即使过程部分正确也只能拿到有限奖励。这样可以避免“过程写得像对的但最后答案错了”的输出得到太高回报。实验结果主实验ChartQAPro在 ChartQAPro 上Qwen2.5-VL-7B 的基础准确率是47.36%COGS 提升到52.02%绝对提升4.66 个百分点。多数据集混合因子层混合更稳在 ChartQAPro 和 MMC-Bench 上作者比较了两种做法先各自生成数据再拼起来先合并因子池再重新生成数据。合并因子池在两个数据集上都超过了直接拼数据的方式。不过在 MMC 上单独训练 MMC 的结果是 88.10%仍略高于 factor-level mix 的 87.55%。哪类题提升最明显论文的分析显示问题包含的 factor 越多COGS 的收益通常越明显。按因子类型看提升包括Count4.25Compare4.47Calculation3.04Extrapolation7.62Fact Check1.44。这和方法逻辑一致COGS 最擅长的不是单次读图而是让模型更稳定地把多个步骤串起来。奖励消融过程奖励确实有用但不能乱加从这组结果看直接相加的过程奖励没有带来提升反而略降ProcessRM-max最好。这至少说明过程监督不是越多越好怎样避免中间步骤的噪声误导训练是这类方法的关键。网页任务初步证明能跨出图表领域在 VisualWebBench 的 WebQA 上COGS 比基础模型高 2.39 个点也是表中最好的开源模型。这说明它不只适合图表数值推理也有能力处理网页里的文本、位置和结构关系。但目前只测了 chart 和 webpage 两类场景能否泛化到文档、多页 UI 或长上下文视觉任务还需要更多证据。4. 这篇论文真正带来的启示第一做视觉推理数据不该只看样本量也要看“能力组合量”。一堆单步读图题未必能训练出多步推理能力。后续做数据集时更值得统计的是覆盖了哪些感知动作、推理操作以及这些操作有没有真正组合起来。第二多数据集混合不能只靠把样本拼在一起。图表、网页、文档表面不同但底层可能共享识别、比较、计数、定位等能力。先在能力层对齐再生成新组合可能比直接混数据更有效。第三过程监督的目标不是奖励“会写推理过程”而是帮助模型更可靠地走到正确答案。COGS 的ProcessRM-max提醒我们中间步骤应该提供辅助信号但最终答案仍然必须是最高优先级。5. 总结COGS 解决的是一个很现实的问题模型不缺视觉数据但缺少复杂推理标注。它的做法可以浓缩成三步先把少量种子题拆成感知和推理因子再拿这些因子去新图像上组合出新题最后把中间步骤变成强化学习中的过程奖励。COGS 最有价值的地方不是简单的数据生成而是拆解了数据生成的思路。
