导读———————————————————————————————————————————用多模态大模型LMM做工业异常检测不只是有没有缺陷的二分类——还需要回答是什么类型的缺陷缺陷在哪里为什么会出现这个缺陷。但现有 LMM 缺乏工业领域的专门知识直接用 CoT 推理甚至会让异常判别准确率从 71.39% 掉到 61.90%——不懂领域就推理越推越错。JudoJuxtaposed Domain-oriented Multimodal Reasoner提出了一个三阶段渐进训练方案先通过正常-缺陷图像对比学习建立视觉领域感知再通过SFT 注入领域知识最后用多奖励 GRPO 强化学习统一视觉定位和领域推理。基于 Qwen2.5-VL-7BJudo 在 MMAD 基准上达到81.20%的平均准确率超越 GPT-4o 和基线 Qwen2.5-VL-7B72.56%。本文将拆解 Judo 的三阶段训练设计和实验结果。论文信息———————————————————————————————————————————标题Judo: A Juxtaposed Domain-oriented Multimodal Reasoner for Industrial Anomaly QA机构成均馆大学、首尔国立大学发表ICLR 2026Conference PaperOpenReviewhttps://openreview.net/forum?idXW4mROtaVb代码https://github.com/woodavid31/JUDO模型https://huggingface.co/woodavid31/JUDO骨干模型Qwen2.5-VL-7B一、直接用 LMM 做工业异常 QA为什么不够———————————————————————————————————————————工业异常检测的问答不只是有没有缺陷MMAD 基准定义了四类任务任务说明异常判别二分类样本是否有缺陷缺陷分类判断缺陷类型缺陷定位确定缺陷的精确位置缺陷描述描述缺陷的视觉特征缺陷分析分析缺陷的潜在影响物体分类判断产品品类物体分析分析产品整体状态通用 LMM 在这些任务上有两个核心问题问题一缺乏领域知识。通用模型不知道电缆的走线方式是否偏离标准布局也不知道连接器的对齐状态是否属于正常装配公差范围。问题二CoT 推理可能适得其反。一个反直觉的发现是在没有领域知识支撑的情况下让模型做 Chain-of-Thought 推理异常判别准确率反而从 71.39% 降到 **61.90%**。模型在推理过程中引入了错误的领域假设越推越偏。现有方法要么通过提示prompt外部注入领域知识没有内化效果不稳定要么直接用 GRPO 做强化学习缺乏领域基础收益有限。二、三阶段渐进训练从视觉对比到领域推理———————————————————————————————————————————Judo 的核心设计是三阶段渐进学习每个阶段解决一个特定问题阶段一并置分割学习SegJux目标建立领域视觉感知能力。核心思路是让模型学会用正常图像作为参考来识别缺陷。训练时模型同时接收一张待检图像和一张对应的正常图像通过对比两者的差异来定位缺陷区域。这个设计的价值在于正常样本包含了丰富的什么是正常的领域信息每类产品的正常外观、纹理、颜色分布之前的方法大多只在推理时才用正常样本做参考而 Judo 在训练阶段就利用这些信息。效果缺陷定位准确率从基线的61.17% 提升到 73.01%。训练 8 个 epoch。阶段二领域知识注入DomInj目标将工业领域知识内化到模型参数中。通过监督微调SFT将品类特定的工业知识缺陷类型、特征、后果等注入模型。与通过 prompt 外部注入不同SFT 将知识写入模型权重使其成为模型的内在能力。训练 2 个 epoch。根据论文消融实验在 GRPO 基础上加入领域知识注入后平均准确率从 77.29% 提升到 79.82%比单纯用 RAG检索增强生成外部注入76.29%高出 3.5 个百分点验证了将领域知识内化到模型参数比推理时外挂更有效。阶段三领域导向 GRPOGRPOdom目标统一视觉定位和领域推理。使用多奖励函数的 Group Relative Policy Optimization论文设计了三个奖励组件领域推理奖励Domain Reasoning Reward通过余弦相似度衡量模型生成的推理过程与伪领域理据pseudo-domain rationale由 GPT-4o 基于完整上下文生成的语义一致性。关键在于不只要求答案正确还要求推理过程与领域知识一致分割奖励Segmentation Reward通过 F1 score 评估模型输出的缺陷区域坐标与真实标注的重合度选择与结构对齐奖励Choice and Structural Alignment Reward包含选择正确性、输出格式规范性、推理结构合理性三个子奖励确保模型输出可解析且逻辑连贯训练 14 个 epoch。完成后平均准确率达到 81.20%。为什么三阶段顺序不能打乱从消融实验可以看出渐进设计的必要性直接用 vanilla GRPO相当于 AnomalyR1 的做法只能达到 77.29%加入领域知识注入DomInj提升到 79.82%再加入并置分割SegJux提升到 80.35%最后换成领域导向的 GRPO^dom 达到 81.20%。每个阶段都有可度量的贡献。三、MMAD 基准39,672 个问题、38 类产品———————————————————————————————————————————MMADMultimodal Large Language Models in Industrial Anomaly Detection是当前工业异常 QA 的主要基准维度数据问题总数39,672图像总数8,366产品类别38数据来源MVTec AD、MVTec LOCO AD、VisA、GoodsAD任务类型7 个子任务异常判别、缺陷分类、缺陷定位、缺陷描述、缺陷分析、物体分类、物体分析四、实验结果7B 模型超越 GPT-4o———————————————————————————————————————————各阶段的渐进提升配置平均准确率Qwen2.5-VL-7B基线72.56% GRPOvanilla无领域阶段77.29% GRPO DomInj加入领域知识注入79.82% GRPO SegJux DomInj加入并置分割80.35% GRPO^dom SegJux DomInj完整 Judo81.20%与其他模型的对比论文实验结果显示在 MMAD 的 7 个子任务上Judo81.20%超越了 GPT-4o 和 Qwen2.5-VL-7B 基线72.56%。Judo 的优势集中在缺陷分类、定位、描述和分析四个需要领域知识的子任务上。论文同时指出在相对简单的异常判别二分类任务上Judo65.04%并不占优Kimi-VL 等更大规模的模型在这个子任务上表现更好。这说明 Judo 的提升主要来自领域推理能力而非通用视觉感知。CoT 推理的双刃剑效应设置异常判别准确率直接回答无 CoT71.39%CoT 推理无领域知识61.90%-9.49%Judo CoT 推理有领域知识提升没有领域支撑的 CoT 推理让准确率暴跌 9.5%——模型在推理过程中引入了不靠谱的假设。Judo 通过领域知识注入和领域推理奖励解决了这个问题。五、总结与思考———————————————————————————————————————————Judo 的核心贡献是用三阶段渐进训练将领域知识系统性地注入 LMM阶段一建立视觉对比能力正常 vs 缺陷阶段二内化领域知识到模型参数阶段三用多奖励 GRPO 统一视觉和推理最有价值的发现是CoT 推理在没有领域知识时会适得其反-9.5%这对试图用 LMM 做工业检测的工作有警示意义不是给模型加上 CoT 就能提升领域知识是前提。与同期工作的关系论文提到 AnomalyR1 和 OmniAD 是同方向的近期工作。AnomalyR1 首次将 GRPO 引入异常检测OmniAD 统一了异常分割和推理。Judo 在此基础上增加了领域知识的系统性内化。
ICLR 2026 | Judo: 7B小模型工业缺陷问答超越GPT-4o，用对比学习+强化学习注入领域知识
发布时间：2026/7/6 2:57:50
导读———————————————————————————————————————————用多模态大模型LMM做工业异常检测不只是有没有缺陷的二分类——还需要回答是什么类型的缺陷缺陷在哪里为什么会出现这个缺陷。但现有 LMM 缺乏工业领域的专门知识直接用 CoT 推理甚至会让异常判别准确率从 71.39% 掉到 61.90%——不懂领域就推理越推越错。JudoJuxtaposed Domain-oriented Multimodal Reasoner提出了一个三阶段渐进训练方案先通过正常-缺陷图像对比学习建立视觉领域感知再通过SFT 注入领域知识最后用多奖励 GRPO 强化学习统一视觉定位和领域推理。基于 Qwen2.5-VL-7BJudo 在 MMAD 基准上达到81.20%的平均准确率超越 GPT-4o 和基线 Qwen2.5-VL-7B72.56%。本文将拆解 Judo 的三阶段训练设计和实验结果。论文信息———————————————————————————————————————————标题Judo: A Juxtaposed Domain-oriented Multimodal Reasoner for Industrial Anomaly QA机构成均馆大学、首尔国立大学发表ICLR 2026Conference PaperOpenReviewhttps://openreview.net/forum?idXW4mROtaVb代码https://github.com/woodavid31/JUDO模型https://huggingface.co/woodavid31/JUDO骨干模型Qwen2.5-VL-7B一、直接用 LMM 做工业异常 QA为什么不够———————————————————————————————————————————工业异常检测的问答不只是有没有缺陷MMAD 基准定义了四类任务任务说明异常判别二分类样本是否有缺陷缺陷分类判断缺陷类型缺陷定位确定缺陷的精确位置缺陷描述描述缺陷的视觉特征缺陷分析分析缺陷的潜在影响物体分类判断产品品类物体分析分析产品整体状态通用 LMM 在这些任务上有两个核心问题问题一缺乏领域知识。通用模型不知道电缆的走线方式是否偏离标准布局也不知道连接器的对齐状态是否属于正常装配公差范围。问题二CoT 推理可能适得其反。一个反直觉的发现是在没有领域知识支撑的情况下让模型做 Chain-of-Thought 推理异常判别准确率反而从 71.39% 降到 **61.90%**。模型在推理过程中引入了错误的领域假设越推越偏。现有方法要么通过提示prompt外部注入领域知识没有内化效果不稳定要么直接用 GRPO 做强化学习缺乏领域基础收益有限。二、三阶段渐进训练从视觉对比到领域推理———————————————————————————————————————————Judo 的核心设计是三阶段渐进学习每个阶段解决一个特定问题阶段一并置分割学习SegJux目标建立领域视觉感知能力。核心思路是让模型学会用正常图像作为参考来识别缺陷。训练时模型同时接收一张待检图像和一张对应的正常图像通过对比两者的差异来定位缺陷区域。这个设计的价值在于正常样本包含了丰富的什么是正常的领域信息每类产品的正常外观、纹理、颜色分布之前的方法大多只在推理时才用正常样本做参考而 Judo 在训练阶段就利用这些信息。效果缺陷定位准确率从基线的61.17% 提升到 73.01%。训练 8 个 epoch。阶段二领域知识注入DomInj目标将工业领域知识内化到模型参数中。通过监督微调SFT将品类特定的工业知识缺陷类型、特征、后果等注入模型。与通过 prompt 外部注入不同SFT 将知识写入模型权重使其成为模型的内在能力。训练 2 个 epoch。根据论文消融实验在 GRPO 基础上加入领域知识注入后平均准确率从 77.29% 提升到 79.82%比单纯用 RAG检索增强生成外部注入76.29%高出 3.5 个百分点验证了将领域知识内化到模型参数比推理时外挂更有效。阶段三领域导向 GRPOGRPOdom目标统一视觉定位和领域推理。使用多奖励函数的 Group Relative Policy Optimization论文设计了三个奖励组件领域推理奖励Domain Reasoning Reward通过余弦相似度衡量模型生成的推理过程与伪领域理据pseudo-domain rationale由 GPT-4o 基于完整上下文生成的语义一致性。关键在于不只要求答案正确还要求推理过程与领域知识一致分割奖励Segmentation Reward通过 F1 score 评估模型输出的缺陷区域坐标与真实标注的重合度选择与结构对齐奖励Choice and Structural Alignment Reward包含选择正确性、输出格式规范性、推理结构合理性三个子奖励确保模型输出可解析且逻辑连贯训练 14 个 epoch。完成后平均准确率达到 81.20%。为什么三阶段顺序不能打乱从消融实验可以看出渐进设计的必要性直接用 vanilla GRPO相当于 AnomalyR1 的做法只能达到 77.29%加入领域知识注入DomInj提升到 79.82%再加入并置分割SegJux提升到 80.35%最后换成领域导向的 GRPO^dom 达到 81.20%。每个阶段都有可度量的贡献。三、MMAD 基准39,672 个问题、38 类产品———————————————————————————————————————————MMADMultimodal Large Language Models in Industrial Anomaly Detection是当前工业异常 QA 的主要基准维度数据问题总数39,672图像总数8,366产品类别38数据来源MVTec AD、MVTec LOCO AD、VisA、GoodsAD任务类型7 个子任务异常判别、缺陷分类、缺陷定位、缺陷描述、缺陷分析、物体分类、物体分析四、实验结果7B 模型超越 GPT-4o———————————————————————————————————————————各阶段的渐进提升配置平均准确率Qwen2.5-VL-7B基线72.56% GRPOvanilla无领域阶段77.29% GRPO DomInj加入领域知识注入79.82% GRPO SegJux DomInj加入并置分割80.35% GRPO^dom SegJux DomInj完整 Judo81.20%与其他模型的对比论文实验结果显示在 MMAD 的 7 个子任务上Judo81.20%超越了 GPT-4o 和 Qwen2.5-VL-7B 基线72.56%。Judo 的优势集中在缺陷分类、定位、描述和分析四个需要领域知识的子任务上。论文同时指出在相对简单的异常判别二分类任务上Judo65.04%并不占优Kimi-VL 等更大规模的模型在这个子任务上表现更好。这说明 Judo 的提升主要来自领域推理能力而非通用视觉感知。CoT 推理的双刃剑效应设置异常判别准确率直接回答无 CoT71.39%CoT 推理无领域知识61.90%-9.49%Judo CoT 推理有领域知识提升没有领域支撑的 CoT 推理让准确率暴跌 9.5%——模型在推理过程中引入了不靠谱的假设。Judo 通过领域知识注入和领域推理奖励解决了这个问题。五、总结与思考———————————————————————————————————————————Judo 的核心贡献是用三阶段渐进训练将领域知识系统性地注入 LMM阶段一建立视觉对比能力正常 vs 缺陷阶段二内化领域知识到模型参数阶段三用多奖励 GRPO 统一视觉和推理最有价值的发现是CoT 推理在没有领域知识时会适得其反-9.5%这对试图用 LMM 做工业检测的工作有警示意义不是给模型加上 CoT 就能提升领域知识是前提。与同期工作的关系论文提到 AnomalyR1 和 OmniAD 是同方向的近期工作。AnomalyR1 首次将 GRPO 引入异常检测OmniAD 统一了异常分割和推理。Judo 在此基础上增加了领域知识的系统性内化。
