这项由意大利摩德纳-雷焦艾米利亚大学联合比萨大学及AMD Silo AI研究机构共同完成的研究于2026年6月以预印本形式发布论文编号为arXiv:2606.23885。感兴趣的读者可以通过该编号在arXiv平台上查阅完整论文。一、AI的视觉短路它看见了却没真正理解你有没有遇到过这样的尴尬把一张照片发给身边的朋友对方不戴眼镜就评论说的全是自己的想象而不是图片里真正发生的事这恰恰是今天许多顶级AI系统的真实处境。现代的多模态大型语言模型Multimodal Large Language Models简称MLLMs是一种能同时看图又说话的AI。这种系统通常由两个部分协作完成任务一个专门负责看图的视觉编码器以及一个负责思考和说话的语言大模型。它们的分工乍看合理却在实际中暴露出严重裂痕——AI经常对着图片说些想当然的话把路边的停车场当成停车费用的新闻把实际上只有一辆巴士的场景说成是两辆或者压根分不清物体的空间位置关系。这类问题统称为视觉幻觉也就是AI说出了它脑补出来而非真正看见的内容。这背后的根源是语言模型太习惯于依赖文字经验了——它在海量文字数据上被训练得极为强大以至于即使视觉信息不支持它也会倾向于按照语言逻辑给出听起来合理的答案。摩德纳-雷焦艾米利亚大学的研究团队意识到要解决这个问题不能只是简单地给AI多喂点图片而是需要真正打通视觉和语言在AI大脑内部的连接方式。他们提出了一种名为头部智慧表征对齐Head-Wise Representation Alignment简称HeRA的全新方法其核心思路令人意外不是让AI的整个大脑都向视觉学习而是精准找出那些最不擅长理解视觉的神经节点专门对它们动手术。二、AI大脑的格局语言模型内部藏着什么秘密要理解HeRA在做什么先要了解语言大模型的内部构造。语言模型的大脑不是铁板一块而更像一栋多层写字楼每一层都有许多独立的小办公室每个办公室负责处理不同类型的信息——有的专门关注句子的语法结构有的擅长捕捉词语之间的逻辑关系有的负责归纳上下文。这些小办公室在AI界被称为注意力头Attention Head。长期以来研究者在尝试让语言大模型视觉化的时候通常采用一种粗放的做法找到写字楼的某一整层——比如正中间那一层或最上层——然后强制要求这一整层的所有办公室都向外界的视觉老师学习把自己的工作方式调整得更像视觉处理器。这就好比公司突然宣布不管你是做财务的还是做设计的三楼所有人今天统一接受烹饪培训——培训结果可想而知只会让本来各司其职的人手忙脚乱。这种整层对齐的方式带来了明显的副作用强行改变那些已经擅长语言推理的节点往往会破坏模型原有的语言能力而且不同的语言大模型内部结构各不相同选哪一层作为对齐目标完全靠人工经验猜测缺乏系统依据。摩德纳团队决定打破这个定式走进写字楼逐间办公室地检查找出那些真正需要进修视觉课程的注意力头。三、拓扑对齐AI的视觉和语言之间藏着一张邻居关系地图研究团队的思路建立在一个叫做柏拉图式表征假设Platonic Representation HypothesisPRH的理论基础上。这个理论听起来哲学味浓厚其实指向一个朴素的直觉真正聪明的表征系统不管是用视觉还是用语言来理解世界对相似事物的描述方式应该是相近的。换句话说如果给AI展示一只金毛犬和一只拉布拉多犬这两张图一个合格的视觉系统会认为这两张图在语义空间里很近同样地如果给AI读金毛犬的描述文字和拉布拉多犬的描述文字一个合格的语言系统也应该觉得这两段文字很近。但更关键的是同一个金毛犬在视觉系统里的邻居应当和在语言系统里的邻居大体一致——图片找到的近邻跟文字找到的近邻应该是同一批对象。这种邻居关系的一致性被称为拓扑对齐用来量化它的指标叫做互相K近邻Mutual K-Nearest NeighborMKNN。MKNN分数越高说明视觉系统和语言系统对同一批样本的邻里关系判断越吻合。麻省理工学院的研究者此前发现MKNN分数越高的语言模型在下游任务中往往表现更好说明这种拓扑一致性确实有意义。然而之前没有人研究过如果在训练AI的过程中主动强制提升这个MKNN分数AI的视觉理解能力会不会真的提升摩德纳团队决定用实验来验证这个因果关系。四、最差生法则反直觉的奇妙发现在正式训练之前研究团队做了一件很有意思的事他们拿着MKNN这把尺子对语言大模型内部几百个注意力头逐一打分看哪些头的视觉-语言拓扑对齐分数高哪些低。结果非常有趣。他们发现在同一个模型里有少数注意力头天生就拥有极高的MKNN分数——它们对视觉和语言的邻里关系判断已经高度一致。更令人惊喜的是这些顶尖头的分数远远高于模型任何一整层的平均分数。这意味着粗放地选某一整层来对齐不但遗漏了那些天才头还拖累了那些在其他方面表现优秀的普通头。接下来团队面临一个选择应该强化那些本来就擅长视觉对齐的优等生头还是去补强那些最差、最不擅长视觉对齐的后进生头凭直觉来看强化优等生应该更容易见效——毕竟起点高应该事半功倍。但实验结果完全打脸了这个直觉强化后进生的效果远远优于强化优等生。对于Qwen2.5-3B模型选择最差的5个头进行对齐训练比选择最好的5个头在视觉任务上多提升了1.4分。对于Qwen3-4B模型这个差距更大达到2.3分。为什么会这样研究团队给出了一个清晰的解释那些本来就擅长视觉对齐的头已经在自然学习中发展出了合理的结构强行干预它们不仅收益有限还可能打乱已有的平衡。而那些对齐最差的头恰恰是AI视觉短路的主要来源——把它们补强相当于把整个系统的最薄弱环节修好了而这并不会损害那些本来就好的头。实验数据印证了这一点用HeRA训练后那5个最差的头的MKNN分数大幅提升而那5个最好的头的分数几乎没有变化双方相安无事。五、拓扑对比学习HeRA的核心手术方案确定了要手术的目标之后摩德纳团队设计了具体的手术方案。他们的做法分为两个层次就像一套精密的导航系统。第一层研究团队引入了一个外部的视觉老师——DINOv2一种不依赖文字标注、完全通过图像自监督训练的视觉编码器。这位老师的工作就是提供一张视觉邻里地图对于每一批训练图像它都会标出哪些图像在视觉语义上互为近邻。第二层研究团队设计了一个对比学习目标基于InfoNCE损失函数的多目标变体。简单来说这个目标要求当语言大模型处理某张图片对应的文字时它在那5个后进生注意力头上产生的表征应该靠近那些在视觉老师眼中属于同一邻居圈的样本远离其他不相关样本。这就好比告诉那些原本近视的办公室你们在处理狗这个概念的文字时产生的内部表示应该和处理猫的距离远一些和处理犬科动物的距离近一些——而这个远近标准是由视觉老师的判断来提供的。重要的是这个方案并不要求语言头和视觉编码器的表征在数值上精确匹配——那种像素级对齐的方式往往和语言建模目标相冲突。HeRA只要求两者的邻里关系一致也就是拓扑结构对齐而不是强迫双方的特征向量变得相似。这种宽松的对齐要求让视觉监督信号能够自然融入语言建模训练不会造成两者之间的内耗。技术实现上研究团队充分利用了Transformer模型注意力层的线性分解性质每个多头注意力层的输出等于各注意力头输出的加权求和因此可以把每个头的贡献单独拆分出来独立施加对比学习损失而不影响其他头的正常工作。HeRA的最终训练目标就是标准的语言建模损失加上对选定注意力头的拓扑对齐损失两者通过一个超参数λ设为0.01平衡权重。六、实验考场18个基准测试的全面检验摩德纳团队的测试规模相当庞大覆盖了9个不同的语言大模型包括Vicuna、LLaMA3、Qwen2.5、Qwen3家族参数规模从30亿到140亿不等评测在18个标准基准测试上展开涵盖通用视觉问答、知识推理、文字识别OCR以及最难的视觉核心任务如空间关系判断、目标定位、MMVP等。在所有被测试的模型上HeRA都带来了视觉任务的提升平均涨幅从0.7分到3.6分不等且在最难的视觉核心任务上提升最为显著。以Qwen3-8B为例加入HeRA后视觉任务平均分从55.9跳升至59.5涨了3.6分是所有模型中最大的单项提升。Qwen2.5-14B的知识类任务也从50.7升至52.8通用任务从75.6升至77.4。更难得的是在提升视觉能力的同时HeRA并没有损害模型的语言和推理能力。通用问答、知识问答、OCR等类别的分数在绝大多数模型上要么保持不变要么有所提升。这说明那种精准手术的思路确实有效——只改动最需要改动的部分其余一概不碰。在与同类方法的直接对比中HeRA也占据明显优势。同样在Qwen3-8B上评测ROSS方法只带来了0.3分的视觉提升VIRAL方法甚至让视觉表现下降了1.7分JARVIS带来了2.8分的提升CMAR带来了1分的提升而HeRA的提升是3.6分位列第一。VIRAL的下降印证了强制精确特征匹配的危险性——当视觉监督目标和语言建模目标激烈冲突时模型会两头受损。幻觉抑制方面HeRA的效果同样正面。在CHAIR-MSCOCO测试集上大多数经HeRA训练的模型降低了句子级和词级幻觉率。在AMBER测试集中HeRA不仅减少了幻觉还同时保持了认知覆盖分数——这个分数衡量的是模型能不能像人一样合理地理解图片内容如果模型为了避免幻觉而变得极度保守什么都说不确定这个分数会下降。HeRA的表现说明它减少的是真正的幻觉而不是通过保守回避来掩盖问题。在HallusionBench这个专门测试AI是否会被视觉误导的测试集上绝大多数HeRA训练的模型也都记录了正面的提升。七、更换视觉老师谁来教视觉同样关键研究团队还专门测试了换用不同视觉老师的效果。实验发现使用SigLIP2一种通过图文配对数据训练的视觉编码器作为老师几乎没有效果这印证了一个重要规律靠文字监督训练出来的视觉编码器不适合作为拓扑对齐的老师因为它的表征空间本身就和语言空间有深度耦合提供不了额外的视觉信息。反而是DINOv2这类完全不依赖文字标注、靠图像自监督学习的视觉老师效果最好即使只用参数量较小的DINOv2-B也能带来稳定提升。有趣的是使用参数量超大的DINOv2-g十亿级参数并没有带来更好的效果表明在拓扑对齐这个任务上老师的视觉纯度比体量更重要。研究团队还探索了对HeRA施加在两个训练阶段阶段一仅训练连接器阶段二联合微调语言模型和连接器上的效果。结果表明两个阶段都施加HeRA损失时效果最好无论是在Qwen2.5-3B还是Qwen3-4B上都如此尽管不同模型在单独只用某一阶段时的表现略有差异。此外研究团队还发现了一个实用结论HeRA不增加训练时间MKNN对齐分数的预计算可以完全离线完成在单卡GPU上对一个70亿参数的模型完成所有头的评分不到一小时。这意味着HeRA是一个几乎零成本加入现有训练流程的改进方案。八、局限与未来还有什么没解决研究团队坦诚地指出了HeRA目前的局限性。所有主要实验都在LLaVA训练框架下进行这是一个相对基础的多模态训练方案计算资源要求可控。更复杂、更前沿的训练方案如InternVL、Qwen3-VL等还没有被全面探索。不过为了展示HeRA在更现代架构上的潜力研究团队做了一个初步实验将HeRA应用于Qwen3-VL-4B一个原生多模态模型在83k样本上进行微调。结果令人鼓舞——相比单纯的标准微调HeRA在视觉核心任务上的提升幅度明显更大而且标准微调会导致通用类任务下降HeRA则不会。这意味着HeRA的核心思路有望迁移到更复杂的系统上。HeRA在视觉精细任务上仍有失误比如准确数清大量相似小目标、识别模糊的材质与形状、以及判断杂乱场景中的精确空间关系。这些依然是多模态AI领域的公认难题HeRA没有声称完全解决它们。归根结底HeRA的价值在于证明了一件事不是只有堆数据、扩规模才能改善AI的视觉能力通过精准理解AI内部结构、选择性地强化最薄弱的环节同样可以带来实质性的提升。而且这种手术非常温和不会破坏AI已有的语言和推理能力。从这个角度看HeRA更像是一种帮助AI大脑自我完善的方法论而不仅仅是某个具体的技巧。QAQ1HeRA方法为什么要选最差的注意力头而不是最好的AHeRA的实验发现那些在视觉-语言对齐上本来就很弱的注意力头才是AI视觉理解能力的瓶颈所在。强化最差的头能大幅补强系统的薄弱环节而且不会影响其他表现好的头。反过来强化本来就好的头效果非常有限还可能打乱已有的平衡结构。Q2HeRA需要重新训练整个语言大模型吗代价很大吗A不需要从头训练。HeRA是在原有的多模态训练流程里加入一个额外的拓扑对齐损失训练时间几乎没有增加。而且选定哪些注意力头需要对齐这一步可以提前在训练开始前完成对一个70亿参数的模型只需在单张GPU上跑不到一小时。Q3MKNN拓扑对齐和普通的特征匹配有什么区别A普通特征匹配如VIRAL要求AI的内部表征在数值上接近视觉编码器的输出这往往和语言建模目标激烈冲突导致两头受损。MKNN拓扑对齐只要求两者对相同样本的邻里关系判断一致并不要求特征向量本身相似因此对语言能力的干扰要小得多也更容易和语言建模目标共存。
摩德纳大学：AI的“眼睛“和“大脑“为什么总是鸡同鸭讲？
发布时间：2026/7/7 9:14:34
这项由意大利摩德纳-雷焦艾米利亚大学联合比萨大学及AMD Silo AI研究机构共同完成的研究于2026年6月以预印本形式发布论文编号为arXiv:2606.23885。感兴趣的读者可以通过该编号在arXiv平台上查阅完整论文。一、AI的视觉短路它看见了却没真正理解你有没有遇到过这样的尴尬把一张照片发给身边的朋友对方不戴眼镜就评论说的全是自己的想象而不是图片里真正发生的事这恰恰是今天许多顶级AI系统的真实处境。现代的多模态大型语言模型Multimodal Large Language Models简称MLLMs是一种能同时看图又说话的AI。这种系统通常由两个部分协作完成任务一个专门负责看图的视觉编码器以及一个负责思考和说话的语言大模型。它们的分工乍看合理却在实际中暴露出严重裂痕——AI经常对着图片说些想当然的话把路边的停车场当成停车费用的新闻把实际上只有一辆巴士的场景说成是两辆或者压根分不清物体的空间位置关系。这类问题统称为视觉幻觉也就是AI说出了它脑补出来而非真正看见的内容。这背后的根源是语言模型太习惯于依赖文字经验了——它在海量文字数据上被训练得极为强大以至于即使视觉信息不支持它也会倾向于按照语言逻辑给出听起来合理的答案。摩德纳-雷焦艾米利亚大学的研究团队意识到要解决这个问题不能只是简单地给AI多喂点图片而是需要真正打通视觉和语言在AI大脑内部的连接方式。他们提出了一种名为头部智慧表征对齐Head-Wise Representation Alignment简称HeRA的全新方法其核心思路令人意外不是让AI的整个大脑都向视觉学习而是精准找出那些最不擅长理解视觉的神经节点专门对它们动手术。二、AI大脑的格局语言模型内部藏着什么秘密要理解HeRA在做什么先要了解语言大模型的内部构造。语言模型的大脑不是铁板一块而更像一栋多层写字楼每一层都有许多独立的小办公室每个办公室负责处理不同类型的信息——有的专门关注句子的语法结构有的擅长捕捉词语之间的逻辑关系有的负责归纳上下文。这些小办公室在AI界被称为注意力头Attention Head。长期以来研究者在尝试让语言大模型视觉化的时候通常采用一种粗放的做法找到写字楼的某一整层——比如正中间那一层或最上层——然后强制要求这一整层的所有办公室都向外界的视觉老师学习把自己的工作方式调整得更像视觉处理器。这就好比公司突然宣布不管你是做财务的还是做设计的三楼所有人今天统一接受烹饪培训——培训结果可想而知只会让本来各司其职的人手忙脚乱。这种整层对齐的方式带来了明显的副作用强行改变那些已经擅长语言推理的节点往往会破坏模型原有的语言能力而且不同的语言大模型内部结构各不相同选哪一层作为对齐目标完全靠人工经验猜测缺乏系统依据。摩德纳团队决定打破这个定式走进写字楼逐间办公室地检查找出那些真正需要进修视觉课程的注意力头。三、拓扑对齐AI的视觉和语言之间藏着一张邻居关系地图研究团队的思路建立在一个叫做柏拉图式表征假设Platonic Representation HypothesisPRH的理论基础上。这个理论听起来哲学味浓厚其实指向一个朴素的直觉真正聪明的表征系统不管是用视觉还是用语言来理解世界对相似事物的描述方式应该是相近的。换句话说如果给AI展示一只金毛犬和一只拉布拉多犬这两张图一个合格的视觉系统会认为这两张图在语义空间里很近同样地如果给AI读金毛犬的描述文字和拉布拉多犬的描述文字一个合格的语言系统也应该觉得这两段文字很近。但更关键的是同一个金毛犬在视觉系统里的邻居应当和在语言系统里的邻居大体一致——图片找到的近邻跟文字找到的近邻应该是同一批对象。这种邻居关系的一致性被称为拓扑对齐用来量化它的指标叫做互相K近邻Mutual K-Nearest NeighborMKNN。MKNN分数越高说明视觉系统和语言系统对同一批样本的邻里关系判断越吻合。麻省理工学院的研究者此前发现MKNN分数越高的语言模型在下游任务中往往表现更好说明这种拓扑一致性确实有意义。然而之前没有人研究过如果在训练AI的过程中主动强制提升这个MKNN分数AI的视觉理解能力会不会真的提升摩德纳团队决定用实验来验证这个因果关系。四、最差生法则反直觉的奇妙发现在正式训练之前研究团队做了一件很有意思的事他们拿着MKNN这把尺子对语言大模型内部几百个注意力头逐一打分看哪些头的视觉-语言拓扑对齐分数高哪些低。结果非常有趣。他们发现在同一个模型里有少数注意力头天生就拥有极高的MKNN分数——它们对视觉和语言的邻里关系判断已经高度一致。更令人惊喜的是这些顶尖头的分数远远高于模型任何一整层的平均分数。这意味着粗放地选某一整层来对齐不但遗漏了那些天才头还拖累了那些在其他方面表现优秀的普通头。接下来团队面临一个选择应该强化那些本来就擅长视觉对齐的优等生头还是去补强那些最差、最不擅长视觉对齐的后进生头凭直觉来看强化优等生应该更容易见效——毕竟起点高应该事半功倍。但实验结果完全打脸了这个直觉强化后进生的效果远远优于强化优等生。对于Qwen2.5-3B模型选择最差的5个头进行对齐训练比选择最好的5个头在视觉任务上多提升了1.4分。对于Qwen3-4B模型这个差距更大达到2.3分。为什么会这样研究团队给出了一个清晰的解释那些本来就擅长视觉对齐的头已经在自然学习中发展出了合理的结构强行干预它们不仅收益有限还可能打乱已有的平衡。而那些对齐最差的头恰恰是AI视觉短路的主要来源——把它们补强相当于把整个系统的最薄弱环节修好了而这并不会损害那些本来就好的头。实验数据印证了这一点用HeRA训练后那5个最差的头的MKNN分数大幅提升而那5个最好的头的分数几乎没有变化双方相安无事。五、拓扑对比学习HeRA的核心手术方案确定了要手术的目标之后摩德纳团队设计了具体的手术方案。他们的做法分为两个层次就像一套精密的导航系统。第一层研究团队引入了一个外部的视觉老师——DINOv2一种不依赖文字标注、完全通过图像自监督训练的视觉编码器。这位老师的工作就是提供一张视觉邻里地图对于每一批训练图像它都会标出哪些图像在视觉语义上互为近邻。第二层研究团队设计了一个对比学习目标基于InfoNCE损失函数的多目标变体。简单来说这个目标要求当语言大模型处理某张图片对应的文字时它在那5个后进生注意力头上产生的表征应该靠近那些在视觉老师眼中属于同一邻居圈的样本远离其他不相关样本。这就好比告诉那些原本近视的办公室你们在处理狗这个概念的文字时产生的内部表示应该和处理猫的距离远一些和处理犬科动物的距离近一些——而这个远近标准是由视觉老师的判断来提供的。重要的是这个方案并不要求语言头和视觉编码器的表征在数值上精确匹配——那种像素级对齐的方式往往和语言建模目标相冲突。HeRA只要求两者的邻里关系一致也就是拓扑结构对齐而不是强迫双方的特征向量变得相似。这种宽松的对齐要求让视觉监督信号能够自然融入语言建模训练不会造成两者之间的内耗。技术实现上研究团队充分利用了Transformer模型注意力层的线性分解性质每个多头注意力层的输出等于各注意力头输出的加权求和因此可以把每个头的贡献单独拆分出来独立施加对比学习损失而不影响其他头的正常工作。HeRA的最终训练目标就是标准的语言建模损失加上对选定注意力头的拓扑对齐损失两者通过一个超参数λ设为0.01平衡权重。六、实验考场18个基准测试的全面检验摩德纳团队的测试规模相当庞大覆盖了9个不同的语言大模型包括Vicuna、LLaMA3、Qwen2.5、Qwen3家族参数规模从30亿到140亿不等评测在18个标准基准测试上展开涵盖通用视觉问答、知识推理、文字识别OCR以及最难的视觉核心任务如空间关系判断、目标定位、MMVP等。在所有被测试的模型上HeRA都带来了视觉任务的提升平均涨幅从0.7分到3.6分不等且在最难的视觉核心任务上提升最为显著。以Qwen3-8B为例加入HeRA后视觉任务平均分从55.9跳升至59.5涨了3.6分是所有模型中最大的单项提升。Qwen2.5-14B的知识类任务也从50.7升至52.8通用任务从75.6升至77.4。更难得的是在提升视觉能力的同时HeRA并没有损害模型的语言和推理能力。通用问答、知识问答、OCR等类别的分数在绝大多数模型上要么保持不变要么有所提升。这说明那种精准手术的思路确实有效——只改动最需要改动的部分其余一概不碰。在与同类方法的直接对比中HeRA也占据明显优势。同样在Qwen3-8B上评测ROSS方法只带来了0.3分的视觉提升VIRAL方法甚至让视觉表现下降了1.7分JARVIS带来了2.8分的提升CMAR带来了1分的提升而HeRA的提升是3.6分位列第一。VIRAL的下降印证了强制精确特征匹配的危险性——当视觉监督目标和语言建模目标激烈冲突时模型会两头受损。幻觉抑制方面HeRA的效果同样正面。在CHAIR-MSCOCO测试集上大多数经HeRA训练的模型降低了句子级和词级幻觉率。在AMBER测试集中HeRA不仅减少了幻觉还同时保持了认知覆盖分数——这个分数衡量的是模型能不能像人一样合理地理解图片内容如果模型为了避免幻觉而变得极度保守什么都说不确定这个分数会下降。HeRA的表现说明它减少的是真正的幻觉而不是通过保守回避来掩盖问题。在HallusionBench这个专门测试AI是否会被视觉误导的测试集上绝大多数HeRA训练的模型也都记录了正面的提升。七、更换视觉老师谁来教视觉同样关键研究团队还专门测试了换用不同视觉老师的效果。实验发现使用SigLIP2一种通过图文配对数据训练的视觉编码器作为老师几乎没有效果这印证了一个重要规律靠文字监督训练出来的视觉编码器不适合作为拓扑对齐的老师因为它的表征空间本身就和语言空间有深度耦合提供不了额外的视觉信息。反而是DINOv2这类完全不依赖文字标注、靠图像自监督学习的视觉老师效果最好即使只用参数量较小的DINOv2-B也能带来稳定提升。有趣的是使用参数量超大的DINOv2-g十亿级参数并没有带来更好的效果表明在拓扑对齐这个任务上老师的视觉纯度比体量更重要。研究团队还探索了对HeRA施加在两个训练阶段阶段一仅训练连接器阶段二联合微调语言模型和连接器上的效果。结果表明两个阶段都施加HeRA损失时效果最好无论是在Qwen2.5-3B还是Qwen3-4B上都如此尽管不同模型在单独只用某一阶段时的表现略有差异。此外研究团队还发现了一个实用结论HeRA不增加训练时间MKNN对齐分数的预计算可以完全离线完成在单卡GPU上对一个70亿参数的模型完成所有头的评分不到一小时。这意味着HeRA是一个几乎零成本加入现有训练流程的改进方案。八、局限与未来还有什么没解决研究团队坦诚地指出了HeRA目前的局限性。所有主要实验都在LLaVA训练框架下进行这是一个相对基础的多模态训练方案计算资源要求可控。更复杂、更前沿的训练方案如InternVL、Qwen3-VL等还没有被全面探索。不过为了展示HeRA在更现代架构上的潜力研究团队做了一个初步实验将HeRA应用于Qwen3-VL-4B一个原生多模态模型在83k样本上进行微调。结果令人鼓舞——相比单纯的标准微调HeRA在视觉核心任务上的提升幅度明显更大而且标准微调会导致通用类任务下降HeRA则不会。这意味着HeRA的核心思路有望迁移到更复杂的系统上。HeRA在视觉精细任务上仍有失误比如准确数清大量相似小目标、识别模糊的材质与形状、以及判断杂乱场景中的精确空间关系。这些依然是多模态AI领域的公认难题HeRA没有声称完全解决它们。归根结底HeRA的价值在于证明了一件事不是只有堆数据、扩规模才能改善AI的视觉能力通过精准理解AI内部结构、选择性地强化最薄弱的环节同样可以带来实质性的提升。而且这种手术非常温和不会破坏AI已有的语言和推理能力。从这个角度看HeRA更像是一种帮助AI大脑自我完善的方法论而不仅仅是某个具体的技巧。QAQ1HeRA方法为什么要选最差的注意力头而不是最好的AHeRA的实验发现那些在视觉-语言对齐上本来就很弱的注意力头才是AI视觉理解能力的瓶颈所在。强化最差的头能大幅补强系统的薄弱环节而且不会影响其他表现好的头。反过来强化本来就好的头效果非常有限还可能打乱已有的平衡结构。Q2HeRA需要重新训练整个语言大模型吗代价很大吗A不需要从头训练。HeRA是在原有的多模态训练流程里加入一个额外的拓扑对齐损失训练时间几乎没有增加。而且选定哪些注意力头需要对齐这一步可以提前在训练开始前完成对一个70亿参数的模型只需在单张GPU上跑不到一小时。Q3MKNN拓扑对齐和普通的特征匹配有什么区别A普通特征匹配如VIRAL要求AI的内部表征在数值上接近视觉编码器的输出这往往和语言建模目标激烈冲突导致两头受损。MKNN拓扑对齐只要求两者对相同样本的邻里关系判断一致并不要求特征向量本身相似因此对语言能力的干扰要小得多也更容易和语言建模目标共存。
 获取与实战)
