你有没有想过一个问题如果你下载了一个开源大模型改了个名字重新发布别人能不能看穿这是抄来的不是通过对比它说话的风格不是通过测试它答题的表现就是纯粹盯着那一堆权重数字看能不能看出这个模型的血统这个问题在2024年之后变得越来越棘手。开源模型的生态已经变成了一条复杂的供应链一个基础模型被微调、被量化、被剪枝、被用低秩适配器改造、被和别的模型合并然后换个名字重新发布。这些操作每一步都在生成新的后代模型但它们的血缘关系往往没有记录甚至是被故意隐藏的。这就是一篇最新论文要解决的问题**在完全不知道训练数据、不做任何前向推理、只看权重本身的情况下能不能判断两个模型是否师出同门**。现有方法为什么都不够用在深入这篇论文的方法之前得先搞清楚一件事这个问题为什么没有被顺手解决掉。如果你觉得这事应该很简单无非是对比一下两个模型的参数嘛那你可能低估了这里面的门道。先看看已经存在的几种思路,它们各自卡在了哪个坎上。密码学哈希是最直接的想法,给模型权重算个哈希值,一样就是一样,不一样就是不一样。 密码学哈希一种把任意长度数据转换成固定长度指纹的函数,哪怕原数据只改一个比特,输出的哈希值也会天差地别。问题是,模型权重只要经过一次微调,哪怕只调了一层,哈希值就彻底面目全非了。这套方案对一字不改的复制有效,对经过训练改造的复制完全失效。那模型卡(model card)和训练日志呢?这些文档理论上应该记录模型的来源。但这套机制的前提是分发者诚实。如果有人故意隐瞒血统重新包装模型,这些文档要么缺失要么被篡改,起不到任何验证作用。数字水印技术呢?这个思路是训练时就往模型里嵌入一个只有开发者知道的隐藏标记,后续可以检测出来。但水印必须在训练之前就主动植入。已经发布在外面、从来没被打过水印的海量历史模型,这套方法对它们无能为力。而且已有研究发现,没有哪种水印方案能可靠地扛过微调和剪枝这类常规操作。那用行为相似度来判断呢?比如CKA、SVCCA这类方法,通过让两个模型对同一批数据做推理,对比它们内部表示的相似程度。 CKA(Centered Kernel Alignment)和SVCCA:两种通过分析神经网络在特定输入上的内部激活模式,来衡量两个模型表示相似程度的技术,常用于神经网络可解释性研究。这类方法的根本问题在于,它测的是表现像不像,而不是是不是同一个血脉。一个从零训练、专门模仿老师模型输出的蒸馏学生模型,可以在行为上表现得和老师一模一样,但它的权重是完全独立训练出来的,压根不算是老师的后代。用行为相似度去判断血统,会把这种蒸馏关系错误地认定为真实的继承关系。而且这类方法还需要准备数据、跑推理,成本不低。还有最朴素的权重相似度比较,直接算两个模型权重的余弦相似度或者欧氏距离。这个方法在模型没被打乱过的情况下确实管用,但神经网络有个特性叫重参数化对称性:你把某一层里的神经元顺序打乱,只要相应地调整下一层的连接,模型的输出功能完全不变,但权重数值已经面目全非。稍微懂行的人只要把权重神经元顺序打乱重排,朴素的权重比较方法立刻失灵。最后是重新对齐(Re-Basin)这类方法,试图先把两个模型的神经元顺序重新排齐,再做比较。这个思路理论上更稳健,但计算成本极高,要对每一对候选模型做一次复杂度是模型维度三次方的匹配运算,速度慢得离谱。这就是这篇论文想要打破的僵局。研究者们发现了一个此前被忽视的结构性线索,藏在残差网络这个如今几乎所有大模型都在用的架构设计里。残差连接里藏着的秘密要理解这篇论文的核心发现,得先说清楚什么是残差结构。现在几乎所有的大模型,包括GPT系列、LLaMA系列,内部都是由很多个模块堆叠而成的。每个模块做的事情不是重新计算一遍整个表示,而是在原来的表示基础上加一点修正量。用公式说,就是新的表示等于旧的表示,加上这个模块算出来的一个修正项。这条直接把旧表示传下去的路径,就叫跳跃连接或者残差连接。 残差连接(skip connection):神经网络里让信息绕过某个计算模块直接传递到下一层的连接方式,由何恺明团队在2016年的ResNet论文中提出,是现代深度网络能训练得很深的关键设计。这个设计当年是为了解决网络太深训练不动的问题而发明的,但论文作者们发现,这个设计还带来了一个意外的副产品。具体来说,每个残差模块内部通常有两层线性变换,一层是输入投影,一层是输出投影。研究者把这两层权重矩阵相乘,得到一个分支乘积矩阵。神奇的地方在于:如果这两层权重是正确配对的(也就是真的来自同一个训练好的模块),这个乘积矩阵会呈现出一种很特殊的结构,矩阵的对角线上聚集了大量的能量,用数学语言说就是矩阵的迹(对角线元素之和)占整个矩阵范数的比例特别高。而如果你把两个不相关的投影矩阵硬凑在一起相乘,这个比例就会低得多,接近随机水平。论文里做了一个特别直观的实验来证明这一点。他们训练了一个真正带残差连接的网络(ResNet),同时训练了一个把跳跃连接去掉、结构完全一样的纯净网络(PlainNet),然后观察训练过程中这个对角线聚集度的变化。结果是:带残差连接的网络,这个对角线聚集的结构从训练一开始的随机状态,随着训练轮数增加越来越清晰,到训练后期几乎变成了一条明显的对角亮线;而去掉跳跃连接的纯净网络,不管训练多久,这个结构始终保持随机模样,没有任何规律浮现。这说明什么?这个对角线聚集的现象不是网络初始化时天生就有的巧合,而是训练过程本身,配合跳跃连接这个结构设计,共同孵化出来的规律。这里有个日常场景可以帮你理解这件事的分量。想象你在教两个学生做同一份练习,一个学生每次做题都要重新从头写完整的解题过程,另一个学生已经有一份标准答案在手,他只需要在标准答案上做修正批注就行。经过大量练习后,第一个学生每次写的解题步骤都天差地别,因为他每次都是从零开始组织;而第二个学生的批注会越来越集中在几个固定的易错点上,因为他反复修正的其实是同一份底稿里那几处薄弱环节。如果不让第二个学生有底稿可以批注,只让他和第一个学生一样从零写起,那这种批注集中在固定位置的规律性根本不会出现。跳跃连接扮演的正是这份底稿的角色,残差模块学的不是整个映射关系,而是围绕单位映射的一点点修正,这个修正天然会更集中、更结构化。论文作者进一步验证了这不是巧合。他们测试了七种不同的权重初始化方式,发现不管用哪种初始化,网络刚初始化的时候这个配对准确率都接近随机水平(不超过2.1%),但只要训练收敛了,准确率就能飙升到93%到100%。甚至用了一种理论上号称能让网络在初始化时就达到完美正交状态的初始化方法(dynamical isometry),初始时的配对准确率照样是0%,说明这个现象铁板钉钉是训练过程带来的,不是初始化的副作用。论文还测试了这个现象是否只在人工合成的小型MLP网络里存在,结果发现它广泛存在于六个主流语言模型家族里,包括GPT-2、BERT、LLaMA-2、Mistral、Qwen2.5、DeepSeek-R1。在这些真实的大模型里,通过匈牙利算法(一种经典的最优匹配算法)去尝试恢复每个残差模块里两层权重的正确配对关系,在标准的多层感知机路径上,准确率达到了100%,而如果用随机初始化的权重去做同样的匹配,准确率最高只有4%。这个现象甚至跨越到了视觉模型(ViT、ResNet)和语音模型(Whisper),说明这不是语言模型独有的特性,而是残差架构训练过程的一种普遍规律。光有这个信号还不够:必须剔除共性如果你以为找到了这个对角线聚集信号就大功告成,那就把问题想得太简单了。论文里非常坦诚地指出了一个关键陷阱:这个对角线聚集的结构,是所有经过充分训练的残差网络共有的特征,不管这两个网络之间有没有血缘关系。换句话说,两个完全独立训练、互不相干的模型,只要它们都用了残差结构、都训练得比较充分,它们各自的分支乘积矩阵都会呈现出这种对角线聚集的样子。这就好比你想通过这个人会不会用筷子来判断两个人是不是亲戚。如果两个人都是在同一个文化圈子里长大的,他们大概率都会用筷子,但这完全不能说明他们有血缘关系,因为会用筷子是这个文化圈子里所有人的共性,不是某个家族特有的印记。如果直接拿会不会用筷子当作亲缘鉴定的依据,你会把一整个文化圈子的陌生人全都误判成亲戚。论文用严谨的实验证实了这一点:如果只用这个原始的迹集中度信号去做血缘验证,得到的AUROC(一种衡量分类效果好坏的指标,1.0代表完美区分,0.5代表和瞎猜没区别)只有0.417,基本等同于随机瞎猜,甚至比瞎猜还差一点。这说明单靠这个信号,不但没法确认血缘,反而会引入误导。 AUROC(曲线下面积):一种衡量二分类模型区分能力的指标,数值范围从0到1,越接近1说明模型越能把两类样本正确分开,0.5则代表完全没有区分能力。那怎么办?论文的解法很巧妙:既然对角线聚集的共性部分是所有训练好的模型都有的,那就把这部分减掉,只留下每个模型独有的个性部分,再拿这个个性部分去做比较。具体的数学操作是这样的:任何一个矩阵,都可以拆分成两部分,一部分是沿着单位矩阵方向的分量(这就是造成迹集中的那个共性成分),另一部分是迹为零的剩余部分,这两部分在数学上是正交的,互不干扰。论文把第一部分剔除掉,只保留第二部分,并把它归一化成一个单位向量,称之为中心化残差签名。 中心化残差签名(centered residual signature):从残差模块的分支乘积矩阵中减去它沿单位矩阵方向的共性分量后,剩下的、经过归一化处理的个性化向量,用来捕捉每个模型独有的训练痕迹。这个操作的效果立竿见影。在GPT-2的基准测试里,论文对比了不做中心化处理和做了中心化处理两种方案下,两个完全独立训练的模型之间的伪相似度。不做中心化处理时,这个伪相似度是0.027;做了中心化处理之后,直接降到0.0015,足足降低了18倍。这说明中心化操作确实精准地剔除了那部分人人都有的共性噪声,让剩下的信号真正变成了每个模型独有的指纹。这里还有一个特别有意思的算法机制上的选择。因为每个残差模块内部具体是哪两层权重相乘,不同的网络架构可能不一样,单纯的Transformer多层感知机是两层权重相乘,而像ResNet这样的瓶颈结构需要三层权重连乘才对。论文里专门做了个对照实验:如果偷懒只用两层相乘(跳过中间那一层),在ResNet-50上的配对准确率会直接掉到随机水平;而用正确的三层连乘,配对准确率能恢复到91%到100%。这说明这套方法对分支乘积怎么算这件事非常敏感,必须严格按照每种架构的真实计算路径去还原,少一步都不行。拿到每个模块的个性签名之后,论文还要解决一个问题:两个模型各自有很多个残差模块,怎么知道哪个模块该跟哪个模块比?论文用了匈牙利算法,这是运筹学里一个经典的最优指派算法,用来在两组元素之间找到总体相似度最高的一一对应关系。对于血缘关系明确、模块顺序没被打乱的模型,这套算法应该能准确恢复出第一个模块对第一个模块、第二个模块对第二个模块这种顺序对应关系,恢复的准确性本身也成为验证这套方法有效性的一个佐证。最终,把所有匹配好的模块对之间的个性签名相似度取平均,就得到了一个介于负一到正一之间的血缘分数。这个分数越接近1,说明两个模型共享的个性化痕迹越多,越可能有血缘关系;越接近0,说明两者的个性化痕迹互不相关,大概率是独立训练出来的。为了避免研究者随手定一个阈值就说分数超过0.5就算有血缘,论文设计了一套更严谨的校准流程:拿一批已知和参考模型没有血缘关系的独立模型,计算出它们各自和参考模型的血缘分数,取这批分数里的最大值作为一个零假设阈值。只有当待验证模型的分数超过这个阈值,才判定为有血缘关系。这种做法借用了统计学里共形推断的思路,能给出一个有理论保证的置信水平。这套方法为什么能扛住洗白操作光在干净的实验条件下表现好还不够。真正的考验在于:如果有人故意想要掩盖模型的血缘关系,这套方法还灵不灵?论文设计了一整套模型洗白(checkpoint laundering)实验来测试这一点。所谓模型洗白,就是对模型做一些不改变它实际功能、但会让权重数值面目全非的操作,试图借此摆脱溯源。论文测试了两种典型的洗白手法。第一种叫逐模块神经元重排(permutation),就是把某个模块内部的神经元顺序打乱,同时调整前后连接的权重,让模型的实际计算结果完全不变,权重数值却大变样。第二种叫倒数缩放(reciprocal rescaling),对某一层的权重乘以一个缩放系数,同时对下一层的对应权重除以同一个系数,同样能保证功能不变,数值改头换面。论文测试了包括朴素权重余弦相似度、对齐后的弗罗贝尼乌斯距离、奇异值距离、以及重新对齐算法(Re-Basin)在内的多种基线方法,在这些洗白操作下的表现。结果相当有说服力。在多层感知机基准上,朴素的弗罗贝尼乌斯距离方法,在遭遇神经元重排后,AUROC从1.0直接掉到0.50,基本等于失效;遭遇强力的倒数缩放后,直接归零。奇异值距离方法在遭遇任何一种缩放操作后都彻底失效,AUROC变成0。就连表现相对稳健的权重余弦相似度,在先重排再缩放的组合攻击下也退化到0.80,而且更关键的是,它的区分度间隔(Gap-Z指标,衡量两类分数分布之间的标准化距离,数值超过3说明两类分布几乎没有重叠)从原本的76.3骤降到1.8,意味着虽然名义上还能分辨,但两类分数的分布已经几乎贴在一起,随便再加一点扰动就可能彻底翻车。而这篇论文提出的中心化残差签名方法呢?在所有这些洗白操作下,AUROC始终保持1.0不变,Gap-Z指标也始终维持在53左右的高位,几乎没有任何衰减。这背后的原因不难理解。回想一下论文的核心构造:分支乘积矩阵M本身,在神经元重排操作下具有代数不变性,因为重排本质上是给这个矩阵做了一次排列变换加逆变换,乘积结果原封不动;在倒数缩放操作下同理,缩放系数和它的倒数在矩阵乘法里正好抵消。既然分支乘积矩阵本身对这两种洗白操作天然免疫,那么建立在它基础上的中心化签名自然也免疫,不需要额外做任何对齐搜索或者匹配运算。这就是为什么这套方法在计算速度上还有巨大优势。前面提到的Re-Basin重新对齐方法虽然也能扛住这些洗白攻击,恢复出AUROC等于1.0,但它的代价是要对模型的每一对残差模块做一次复杂的匹配运算,计算复杂度是模块维度的三次方级别。而这篇论文的方法直接通过矩阵乘法计算分支乘积,不需要任何搜索或对齐步骤,复杂度低得多。实测下来,在GPT-2规模的模型上,这篇论文的方法平均每次比对只需要5.1毫秒,而Re-Basin需要387.9毫秒,速度差了整整76倍。这个对比可以想象成两种给行李贴身份标签的方式。一种是每次安检都要把行李箱打开,把里面每件衣服都拿出来仔细核对是不是这个人的(对应Re-Basin的暴力搜索式对齐),另一种是行李箱外壳本身就烙印了一个不会因为怎么颠簸、怎么倒腾内部物品都不会消失的编号(对应这篇论文利用矩阵乘积的代数不变性)。前者理论上也能查清楚,但每次都要翻箱倒柜,慢得让人抓狂;后者扫一眼编号就搞定,前提是这个编号必须设计得足够巧妙,不会因为正常的搬运颠簸就跟着变形。如果没有找到这种天然不变的编号设计,唯一的办法就只能是每次都翻箱倒柜式地重新核对,这正是Re-Basin不得不付出76倍时间代价的根本原因。论文还专门在公开发布的真实大模型上验证了这个抗洗白能力。他们拿LLaMA-2、LLaMA-3、Mistral、Qwen2.5这四个7B到8B规模的模型家族,对每个基础模型和它的官方微调衍生版本做神经元重排洗白操作,然后对比洗白前后血缘分数的变化。结果显示,这篇论文的血缘分数变化量小于十的负七次方,基本等同于完全不受影响;而朴素的权重余弦相似度在所有测试案例里都损失了超过93%的原始信号强度。拿真实的开源大模型练手方法论说得再好,终归要在真实世界里跑一跑才算数。论文做了一个特别接地气的案例研究:拿LLaMA-2-7B作为参考基准,去验证它和10个公开可下载的模型之间到底有没有血缘关系。这10个模型里,有3个是有据可查的、确实基于LLaMA-2改造而来的衍生模型:LLaMA-2-7B-Chat(官方对话微调版)、Vicuna-7B(社区基于LLaMA-2微调的知名聊天模型)、CodeLlama-7B(针对代码任务做了大量继续预训练的版本)。另外7个,是架构参数和LLaMA-2完全一样(都是32层、隐藏维度4096),但从零独立训练出来的架构克隆模型,包括OpenLLaMA、OpenLLaMA-v2、Amber、Baichuan-7B、Baichuan2-7B、InternLM-7B、Yi-6B。这些模型模仿了LLaMA-2的网络结构设计,但权重是各自团队从零训练出来的,和LLaMA-2没有任何权重层面的继承关系。结果非常干净利落。三个真实的衍生模型,血缘分数分别是0.995、0.996、0.336,都远远超过零假设阈值;而那七个独立训练的架构克隆模型,血缘分数全部低于5乘以10的负五次方,几乎为零。值得多说一句的是CodeLlama那个0.336的分数,虽然明显比另外两个衍生模型低,但依然清晰地超过了独立模型的噪声水平。这背后的原因是CodeLlama经历了大量的继续预训练(在海量代码数据上又训练了很长时间),这种高强度的后续训练会持续冲刷掉一部分原始的个性化痕迹,让血缘信号逐渐衰减,但只要没有从头重新初始化,这个信号就不会完全消失。这个现象其实也提示了这套方法的一个边界:血缘分数会随着训练强度和训练量的增加而单调衰减,但衰减到检测不出来需要相当极端的条件。和其他基线方法的正面较量前面提到的这些优势,总要有一个公平的擂台去验证。论文构建了两个受控实验的基准测试:一个是基于合成回归任务的多层感知机基准,一个是基于3千万参数、在TinyStories数据集上训练的迷你GPT-2基准。 TinyStories:一个专门为训练小型语言模型设计的合成数据集,由简单的英文小故事组成,常用于快速验证语言模型架构和训练方法。在多层感知机基准上,研究者训练了2个根模型,然后从每个根模型衍生出15个不同类型的后代:包括同任务微调、异任务微调、权重扰动、剪枝、量化,每种衍生方式还有3个变体。同时训练了8个独立初始化的对照模型和3个蒸馏学生模型作为负样本。总共构成52对样本用于测试。在GPT-2基准上,训练了8个根模型,衍生出继续预训练、LoRA合并微调、多种程度的剪枝、多种精度的量化等后代模型,再加上蒸馏学生和跨根独立模型作为负样本,构成45对测试样本。论文横向对比了七种方法:这篇论文提出的中心化残差签名、朴素权重余弦相似度、对齐后的弗罗贝尼乌斯距离、奇异值分解距离、SVCCA、CKA、以及IPGuard。下面这张表格是核心结果,数值越接近1.0代表区分能力越强:| 方法 | 是否需要数据 | MLP基准 AUROC | GPT-2基准 AUROC ||---|---|---|---|| **中心化残差签名(本文)** | 不需要 | **1.00** | **1.00** || 权重余弦相似度 | 不需要 | **1.00** | **1.00** || 对齐弗罗贝尼乌斯距离 | 不需要 | **1.00** | **1.00** || 奇异值分解距离 | 不需要 | **1.00** | 0.73 || SVCCA | 需要 | **1.00** | 0.99 || CKA | 需要 | 0.83 | 0.86 || IPGuard | 需要 | 0.70 | 0.91 |在干净、没有被刻意洗白的情况下,前四种权重空间方法几乎打成平手,都能达到完美区分。但差距在洗白攻击下才真正拉开,前面已经详细讲过了这部分对比结果。值得一提的是,IPGuard这个基于决策边界的方法在多层感知机基准上的Gap-Z是负数(负3.5),这意味着它有时候会把真正的独立模型判断得比真实的后代模型还像血缘关系,这是一种方向性的错误,比单纯分不清更糟糕。论文还专门在GPT-2基准上按照不同的后处理操作类型,把血缘分数拆开来看,结果列在下表:| 操作类型 | 平均血缘分数 | 最低血缘分数 ||---|---|---|| 量化(INT8/INT6) | 0.999 | **0.999** || LoRA低秩合并 | 0.998 | 0.996 || 微调(1个epoch) | 0.980 | 0.980 || 剪枝(30%到70%稀疏度) | 0.937 | 0.855 || 蒸馏学生(负样本) | 0.002 | 0.001 || 独立训练模型(负样本) | 0.003 | 0.000 |可以看到,即便是剪枝掉70%参数这种相当激进的操作,血缘分数最低也还有0.855,而所有负样本的分数都紧贴着零。这中间200倍左右的分数差距,构成了非常宽裕的判断安全边际。这套方法目前还做不到什么任何方法都有边界,这篇论文在这方面写得相当坦诚,值得专门讲一讲。首先,这套方法要求白盒访问,也就是必须能拿到两个模型完整的权重文件。如果对方只提供一个API接口,你只能发请求拿回答,拿不到权重本身,这套方法就完全用不上。其次,这套方法只对残差架构有效。如果是普通的前馈网络、循环神经网络(RNN)、或者近几年新兴的状态空间模型(比如Mamba这类架构),因为它们不存在跳跃连接这个结构基础,整套方法的理论根基就不成立了。 状态空间模型(State Space Model):一类近年来兴起的、试图替代Transformer注意力机制的序列建模架构,通过状态空间方程来处理序列信息,代表工作包括Mamba。再者,这套方法要求两个待比较的模型必须有完全相同的层数和隐藏维度。如果拿LLaMA系列去和GPT-2系列做跨架构比较,这套方法直接宣告不兼容,给不出任何有效判断。还有一点很关键:这套方法给出的血缘分数是对称的,也就是说它只能告诉你A和B有血缘关系,但没法告诉你到底是A衍生自B,还是B衍生自A,谁是祖先谁是后代需要额外的文档信息才能确定。另外,论文也诚实地指出了这套方法在应对专门针对它设计的对抗攻击时的脆弱程度。他们做了一个梯度优化攻击实验:让攻击者用梯度下降的方式,专门去优化一个扰动,目的是在尽量不破坏模型实际性能的前提下,把血缘分数压低到检测阈值以下。实验发现,把血缘分数压到刚好等于零假设阈值的水平,只需要牺牲1.5%的模型性能;但如果想把分数可靠地压到阈值以下留有安全边际,则需要牺牲12%的性能。这说明这套指纹机制并非坚不可摧,面对有备而来、专门针对这套算法设计对抗样本的攻击者,它有被绕过的可能,只是需要付出实实在在的性能代价作为交换。最后一个值得留意的边界是关于神经网络里另一种对称性,叫正交旋转。理论上,如果把残差流(网络内部信息传递的主干道)整体做一次正交旋转变换,分支乘积矩阵的迹是保持不变的,但这套方法赖以生存的中心化剩余部分却会被这次旋转彻底打乱,导致跨模型的相似度检测失效。好在论文分析指出,对于目前主流的、使用了LayerNorm或者RMSNorm这类带有可学习缩放参数的归一化模块的模型架构(几乎涵盖了GPT-2、BERT、LLaMA、Mistral等所有主流大模型),这种正交旋转操作本身就不是功能保持的,也就是说旋转之后模型的实际输出会发生变化,等于旋转操作本身要付出破坏模型功能的代价,这在实际的洗白场景里没有太大的可操作性。只有那种使用完全没有可学习缩放参数的、纯粹的RMS归一化的模型才会真正暴露在这种攻击之下,但论文作者表示,他们目前没有发现有任何广泛部署的主流模型属于这一类。写在后面读完这篇论文,最让我意外的一点其实是那个梯度耦合的解释机制。研究者提出了一个假说:残差模块里两层权重之所以会形成对角线聚集,是因为跳跃连接改变了梯度反向传播的路径,让这两层权重的更新方向天然地被绑在了一起,而不是各自独立乱走。他们专门做了一个打乱梯度的消融实验来验证这个假说:如果人为把输出层的梯度更新在不同模块之间打乱重排,最终形成的指纹强度会衰减68%。这个实验设计本身很聪明,它没有停留在观察到现象的层面,而是真的动手去拆解现象背后的因果链条。论文里还有一个细节让我印象很深:训练好的Transformer模型,雅可比矩阵的正交程度居然比随机初始化时还要低5到12倍。这和一种叫动态等距的理论直觉是矛盾的,那套理论本以为训练会让网络趋向于更接近正交变换。这说明对角线聚集这个现象背后的机制,和大家过去以为的某些神经网络训练理论直觉是不一致的,这本身就是个值得深挖的反常现象。这篇论文让我联想到的一件事是,很多看似生成式模型的产物(权重矩阵)其实携带着大量过程性的痕迹,这些痕迹并不是模型设计者刻意植入的,而是训练动力学本身自然沉淀下来的副产品,就像树的年轮记录着它经历过的每一个季节。这提出了一个很值得继续追问的问题:除了残差连接之外,现代深度学习里还有哪些看似只是工程技巧的设计,其实也在悄悄留下类似的、可以被反向挖掘出来的训练痕迹?QAQ1中心化残差签名是用来做什么的A它是一种从模型权重本身判断两个大模型是否有共同祖先的方法不需要训练数据也不需要跑推理只看权重结构里残留的训练痕迹就能判断血缘关系。Q2这套方法能不能防住把模型洗白重新发布的行为A能。哪怕有人把模型内部神经元顺序打乱或者做数值缩放来掩盖来源这套方法的分数依然保持不变而大多数传统的权重比较方法在这种情况下会失效或者大幅掉分。Q3这套方法对所有模型都适用吗A不是。它只对带跳跃连接的残差网络架构有效而且要求两个模型层数和隐藏维度完全一致另外它只能判断是否相关判断不出谁是祖先谁是后代。