这项由香港大学计算与数据科学学院、字节跳动Seed团队、深圳环湾区具身AI与计算机视觉研究中心以及香港中文大学联合完成的研究于2026年4月30日以预印本形式发布在arXiv平台论文编号为arXiv:2604.27505v1。感兴趣的读者可以通过这个编号直接检索原文。一、图片改坏了也不自知——AI图像编辑面临的核心困境每次你用手机修图软件说把背景换成海边软件不仅把背景换了还顺手把你的脸色也调成了沙滩黄这种令人哭笑不得的经历其实折射出一个深层的技术难题AI怎么判断自己改得好不好在当今的AI世界里文字生成图片Text-to-Image已经相当成熟。研究者们有一套叫做人类反馈强化学习RLHF的训练方法简单说就是让AI根据人类的喜好进行奖惩式学习——做得好就加分做得差就扣分。这套机制让文生图AI越来越懂得怎样讨人喜欢。然而图像编辑这件事比凭空画一张图要复杂得多。编辑一张图不仅要求AI画出指令要求的内容还要求它保留不该动的地方同时还得整体看起来自然不别扭。这三个要求同时满足难度远超简单的图片生成。更糟糕的是现有的AI图像编辑系统缺乏一个靠谱的审查员。大多数系统要么用一个通用的AI打一个总分就好比让一个不懂音乐的人给交响乐演奏打分——他可能只会说听起来挺响亮的却完全无法区分哪个乐手跑调了。这种笼统的评分方式导致AI拿到的反馈信号模糊不清自然也就学不到真正有价值的东西。面对这个困境来自港大和字节跳动的研究团队提出了一个核心洞见与其用一个只会打总分的裁判不如培养一个会逐条对账的核查员。他们将这套系统命名为Edit-R1其中最关键的组件叫做推理奖励模型Reasoning Reward Model简称RRM。二、从打分员到核查员——Edit-R1的核心思路Edit-R1的核心哲学可以用一个生活场景来理解装修验收。当你的新房装修完成一个不靠谱的验收员可能只是站在门口看了一眼说感觉还不错给85分。但一个专业的验收员会拿着清单逐项检查墙面有没有开裂插座位置对不对水管压力达标了吗地板铺设是否平整每一项都有明确的判断标准最终的综合评价建立在每个细节都核查过的基础上。Edit-R1要打造的正是这样一个专业验收员。具体来说当AI编辑完一张图这个验收员会先把编辑指令拆解成若干条具体原则然后逐条比对编辑后的图片最后把所有单项结果汇总成一个有依据的综合得分。这种方式被研究团队称为链式思考Chain-of-Thought简称CoT验证。链式思考并不是什么神秘技术本质上就是让AI在给出结论之前先把思考过程一步步写出来就像数学考试要求写解题过程一样。这样做的好处是AI给出的每个判断都有迹可循而不是从黑箱里突然蹦出一个数字。这套验证体系把每次图像编辑分解为三类原则第一类是保留原则即哪些东西应该保持原样比如人物的面部特征、背景中的特定元素第二类是执行原则即编辑指令要求改变的内容是否确实完成了比如颜色是否变了、风格是否转换了第三类是质量原则即编辑后的图片整体视觉效果是否自然、有没有出现奇怪的瑕疵。三、两阶段训练先模仿高手再自我打磨知道了要做什么接下来的问题是怎么训练出这样一个核查员。研究团队设计了一套两阶段的训练流程第一阶段打好基础第二阶段精益求精。第一阶段叫做冷启动监督微调Cold-Start SFT。顾名思义就像汽车在冬天需要先预热才能顺畅行驶AI也需要一个冷启动过程。研究团队首先准备了一个规模庞大的训练数据集——从公开的图像编辑基准数据集中精选了20万个样本。这20万个样本被分成两部分前10万个是随机抽取的代表各种常见的编辑任务后10万个是专门筛选出来的硬核案例这些案例往往需要多步骤的视觉修改、精细的细节处理或者需要理解隐含的语义信息总之就是那些容易让AI犯错的棘手情况。为了生成训练数据研究团队调用了多个图像编辑模型包括Flux-Kontext、Bagel、SeedEdit3.0等对这些样本进行编辑生成了约200万个四元组数据每个四元组包含原始图片、编辑指令、分解后的原则集合以及一张编辑后的图片。接下来他们用多个大型视觉语言模型对这些四元组进行链式思考打分通过改变提示词、调整采样温度、使用不同的AI变体等方式为每个四元组生成多个不同的思考评分候选版本。关键的一步在于如何筛选出质量最高的训练样本。研究团队引入了另一个AI充当质量控制官——由SeedVLM-1.5担任对每个候选的推理链条进行独立验证计算出每条推理链对各个原则的判断准确率然后选取准确率最高的那个版本作为最终的训练数据。这个过程就好比组织一次作文竞赛多位学生针对同一道题写解题过程然后由老师批改选出逻辑最严密、答案最准确的那篇作为范文供其他人学习。经过第一阶段训练的模型已经具备了相当不错的推理和评分能力但研究团队发现它还有明显的局限性有时候会产生幻觉——比如明明一个物体只是略微移动了一点点它却声称指令已经完全完成有时候又会过于主观判断结果与人类的真实偏好存在偏差。于是第二阶段登场了这就是研究团队提出的全新算法——群体对比偏好优化Group Contrastive Preference Optimization简称GCPO。四、GCPO用擂台赛积分制来训练AI的审美观GCPO的设计思路可以用一个体育赛事来理解——不妨把它想象成一场乒乓球循环赛的积分制度。在传统的AI训练中人类标注员会给出两张图片说这张比那张好AB。这种一对一比较的数据很常见但它有一个内在的麻烦这个核查员AI本身是一个按步骤思考然后给出评分的系统每次评分都会带有一定的随机性同一张图片两次打分可能稍有不同。如何把这种每次打分结果不完全一样的特性与人类提供的A比B好这种确定性判断协调起来这是一个技术难题。GCPO的解法是对每张图片进行多次独立打分然后通过跨组竞争来计算每次打分的奖励信号。具体操作是这样的研究团队准备了约1万组由人工标注的偏好对即人类判断哪张编辑得更好。对于每一对图片让核查员AI分别对两张图片各生成N个打分结果。然后进行一场循环赛把更好那张图的每一个打分结果都和更差那张图的每一个打分结果进行比较统计更好那张图的打分比更差那张图高的比例这个比例就是这次打分的胜率奖励。对称地更差那张图的每次打分能比更好那张图低的比例就是它的败率奖励。有了这些奖励数值之后再在各自的打分组内部计算相对表现——比如在对更好图片的N次打分中某次打分如果高于平均水平就给正向激励低于平均水平就给负向抑制。这个组内相对表现就是所谓的优势值Advantage。这套机制的精妙之处在于它巧妙地将哪张图比较好的人类判断转化成了对AI核查员自身推理过程的直接训练信号同时通过多次采样平均掉了单次打分的随机噪声。整个过程只需要1万组人类标注数据还不到第一阶段训练数据量的1%却能带来显著的性能提升。从训练过程的曲线来看经过GCPO训练的核查员AI会逐渐养成一个有趣的习惯对于正确的判断它会生成更长的推理链条把证据分析得更仔细这从某种意义上说明AI学会了谨慎——不轻易下结论而是把每个细节都想清楚再给分。五、把核查员变成教练——用奖励模型来提升编辑模型有了一个靠谱的核查员之后第二个大问题随之而来怎么用它来提升负责编辑图片的AI这里有一个技术上的难点传统的某些训练方法如REFL要求奖励模型的打分过程对训练过程透明可微就好比教练不仅要告诉运动员你跳高没跳过去还要能精确指出你起跳时左脚用力角度差了2度——需要能够精确计算影响因子。然而Edit-RRM是一个先思考再打分的系统其推理过程是通过逐字生成文本来实现的这个过程在数学上是不可微分的就像你没法对写日记这个过程求导数一样。研究团队因此采用了一种叫做GRPOGroup Relative Policy Optimization群体相对策略优化的强化学习算法这套方法不需要奖励信号可微只需要它能输出一个数字就够了。训练过程是这样运作的编辑模型在面对一个图像编辑任务时会同时生成一批不同的编辑结果研究中设置为24张。核查员对每张结果进行评分然后计算每张结果的相对排名——在这批24张图中某张图的分数高于平均就得到正向激励低于平均就受到负向约束。与此同时还设置了一个KL散度惩罚项防止编辑模型的输出风格变化过大就好比给运动员训练时设置了一个不能偏离基本姿势太远的约束避免过度优化反而走形。研究团队将Edit-R1应用到了两个当前最先进的开源图像编辑模型上FLUX.Kontext和Qwen-Image-Edit以此验证这套框架的实际效果。六、实验结果核查员越严格编辑效果越好研究团队从两个角度评估了Edit-R1的效果一是核查员本身的准确性二是被核查员训练过的编辑模型的实际水平。在核查员的评估上研究团队构建了一个内部测试基准包含5000个经过人工标注偏好的图像编辑对。测试结果显示完整训练出来的7B参数70亿参数版本核查员达到了82.22%的准确率这意味着在100次人类评判中这个核查员能与人类意见吻合超过82次。这个成绩明显超过了Seed-1.5-VL79.3%和Seed-1.6-VL77.2%这两个强大的商用API——值得注意的是这两个都是字节跳动自家的强力视觉语言模型能超过它们实属不易。在公开的独立测试基准EditRewardBench上这种优势依然存在。竞品EditScore-7B的准确率是65.9%即便使用推理扩展技术也只能达到72.7%而Edit-RRM仅凭第一阶段的监督微调就达到了73.3%加入GCPO后进一步提升到78.2%。由于EditRewardBench是独立构建的与研究团队的内部流程完全不相关这个结果可以有效排除内部测试偏向的质疑。研究团队还发现了一个有意义的规律核查员规模越大效果越好——3B参数版本和7B参数版本之间存在明显的性能差距展示出清晰的参数规模扩展效益。在训练动态上有一个反直觉的现象值得一提经过GCPO训练的核查员RL-RRM在给编辑模型训练时提供的训练奖励反而比未经GCPO训练的版本SFT-RRM更低但测试奖励却更高。这说明GCPO把核查员训练得更加严格它不会随随便便给高分——正是这种严格反而倒逼编辑模型做得更好。在对编辑模型的提升效果上以FLUX.Kontext为例经过Edit-R1框架训练后其综合得分Overall Score从5.77提升到了6.24语义一致性得分Semantic Consistency从6.27跃升至6.86。在最具挑战性的动作变化类别如让静止的猫变成奔跑状态上相对提升幅度达到了15.2%从4.01提升到4.62。在人工评测中使用了Edit-R1框架训练的FLUX.Kontext的GSB得分达到了23.2意味着人类评审认为它明显优于原始版本。对于已经相当强大的Qwen-Edit模型整体提升幅度较小综合得分从7.45提升到7.50这主要是因为该模型本身已经受益于大量的Best-of-N采样优化。但即便如此在动作变化这类难度极高的任务上Edit-R1依然带来了显著改善。定性结果同样令人印象深刻。在颜色更改任务中Edit-R1能够精确地只修改目标物体的颜色而不会引发全图的色调变化在物体添加/删除任务中基线模型往往无法准确理解指令而Edit-R1训练过的模型能够正确执行在材质替换比如把小狗变成粘土质感和动作变更比如让飞机处于起飞状态等复杂任务上改进效果尤为明显。七、一个具体案例RRM如何抓住帽子颜色走偏的错误研究团队在论文中展示了一个生动的失败矫正案例可以直观地理解Edit-R1整个系统的运作逻辑。任务是给一个卡通小女孩的短袖上衣改成红色同时保留她的蓝色帽子、双麻花辫、浅棕色下装以及背景中的绿色叶片和石头。在仅使用第一阶段监督微调的SFT模型输出中有一张失败样本上衣确实变成了红色但帽子也跟着变成了红色——属于典型的属性扩散错误改了不该改的东西。核查员AIRRM对这张失败图片逐条进行了原则核查在检查帽子是否保留了原来的浅蓝色风格这一条时给出了0分未通过并在推理过程中明确指出了这个问题。这个精确的扣分信号通过强化学习传导给了编辑模型使其在后续训练中学会了只改上衣颜色不影响帽子颜色。经过强化学习训练后该模型的成功样本完美地完成了任务上衣变红帽子依然是蓝色其他所有细节都保持原样。RRM对这张图片的每一条原则都给出了1分通过最终得出满意的综合评价。这个案例清晰地展示了从笼统打分到逐条核查的范式转变带来的实际价值——正是那一条针对帽子颜色的精确扣分让AI学会了区分该改的和不该改的。说到底Edit-R1做的事情就是给AI图像编辑系统安装了一套逐条对账的质检系统而不是简单地看一眼打个分。这套质检系统不仅自己越来越准超过了商用大模型API的判断准确率还能有效地督促负责编辑图片的AI做得更好。这对于普通用户意味着什么短期来看受益于这类研究图像编辑软件会变得更听话——你让它只改颜色它就只改颜色你让它换背景它就不会顺手动你的脸。长期来看这种把大任务拆成小任务逐条核查的思路可能会成为让AI在各类复杂任务中做得更精确的通用方法论。值得思考的是当AI拥有了越来越精准的自我评判能力我们是否需要重新考虑什么叫做一张编辑得好的照片毕竟AI的判断标准来自于人类的标注数据而人类的审美本身也在不断变化。感兴趣的读者可以通过arXiv上的论文编号2604.27505进一步探索这个研究的技术细节。QAQ1Edit-RRM和普通打分AI有什么区别A普通打分AI通常只看一眼图片就输出一个总分无法说明哪里好哪里不好。Edit-RRM则会先把编辑指令拆解成若干条具体原则比如颜色是否改变了、背景是否保留了、整体质量是否自然逐条核查后再综合出最终分数这样每个判断都有明确依据评分结果也更接近人类的真实判断。Q2GCPO算法为什么只需要1万条人类标注数据就能有效果AGCPO的核心是对每张图片生成多次独立评分然后通过跨组比较把人类的偏好判断A比B好转化成具体的奖励信号。多次采样平均掉了单次打分的随机性使得每条人类标注数据能提供更丰富的训练信号。因此哪怕只有1万条数据也能有效精准地调整模型的判断偏好。Q3Edit-R1框架可以用在哪些图像编辑软件上AEdit-R1是一个通用的训练框架研究团队已经成功将其应用于FLUX.Kontext和Qwen-Image-Edit两个开源图像编辑模型均取得了明显改进。理论上任何基于流匹配或扩散模型的图像编辑系统都可以接入这套框架只要其生成过程支持GRPO算法所需的采样和优化操作即可。