1. 从一次组会争论说起模组化到底是不是神经网络的“天性”第一次认真琢磨“神经网络为什么会呈现模组化”这个问题是在一次组会上。当时我们正在讨论一个视觉分类模型的内部表征有人把某层神经元的响应模式可视化出来发现它们并不是均匀地、弥散地响应所有输入而是自发地聚成了几簇一簇对纹理敏感一簇对轮廓敏感还有一簇对特定朝向的边缘敏感。争论随之而来——这到底是训练数据分布导致的偶然现象还是网络结构本身就有一种“倾向于分工”的偏好这个问题看起来抽象其实非常具体。它直接关系到我们怎么理解深度模型的可解释性、怎么做模型压缩、怎么设计更高效的架构甚至关系到我们怎么判断一个模型是不是“学到了真正有用的东西”。后来我们把这条线索一路做下去最终形成了发表在 Nature Machine Intelligence 上的那篇工作。这篇博文不打算复述论文的公式推导而是想把背后的思考过程、实验设计里的取舍、以及踩过的坑用从业者能直接上手的方式讲清楚。如果你正在做模型可解释性、表征分析、网络结构设计或者只是单纯好奇“神经网络内部到底在干什么”这篇内容应该能给你一些可复用的思路。我会尽量避开空泛的哲学讨论把重点放在模组化现象怎么观测、怎么量化、为什么会发生、以及这件事对实际建模有什么指导意义。2. 先把“模组化”这个词说清楚它到底指什么2.1 模组化的三种常见含义别混着用“模组化”这个词在不同语境下含义差别很大如果不先对齐定义讨论很容易变成各说各话。根据我的经验至少有三层意思需要区分开。第一层是结构模组化指的是网络在物理结构上被显式地划分成若干子模块比如多分支网络、混合专家模型MoE、或者把不同模态交给不同子网处理。这种模组化是设计出来的是人为规定的。第二层是功能模组化指的是网络虽然没有显式分块但不同神经元或神经元群在功能上承担了不同职责。比如卷积神经网络里浅层负责边缘检测、深层负责语义组合这就是功能上的分工。第三层是表征模组化指的是在表示空间里不同概念或特征被编码到相对独立的子空间中彼此之间干扰很小。这层最微妙因为它不依赖结构也不完全等同于功能而是描述表征的几何和统计性质。我们论文里讨论的“模组化”主要落在第二层和第三层的交叉地带网络在没有被显式分块的前提下为什么会自发地形成功能上可区分、表征上相对独立的单元。这个现象如果成立就意味着模组化不是我们强加给网络的而是某种更底层的机制在起作用。2.2 为什么这个问题值得认真对待有人可能会问网络内部怎么分工重要吗只要预测准不就行了这个想法在工程上可以理解但在很多场景下会出问题。是做模型压缩和剪枝的时候。如果网络是高度冗余、功能弥散的剪掉一部分权重可能影响不大但如果网络已经形成了功能模块剪掉某个模块就会导致特定能力直接丧失。不理解模组化剪枝就是盲剪。第二是做迁移学习和持续学习的时候。模组化程度高的网络往往更容易做知识隔离学新任务时不容易把旧任务冲掉。反过来如果表征是高度纠缠的灾难性遗忘就会特别严重。第三是做可解释性和安全评估的时候。如果某个功能对应一个相对独立的模块我们就能定位、干预、验证如果功能弥散在整个网络里解释就无从下手。所以这个问题不是学术趣味而是直接关系到我们能不能对模型做精细操作。3. 我们是怎么观测到模组化的从可视化到量化指标3.1 可视化只能给直觉不能给结论最开始我们也是从可视化入手的。把卷积核权重画出来、把特征图激活画出来、把神经元响应做降维投影这些手段都能让人“感觉”到模组化存在。但可视化有个致命问题它太容易受到主观解释的影响。同一张激活图有人说看到了分工有人说只是噪声争论不出结果。所以可视化只能用来生成假设不能用来验证假设。我们很快意识到必须把“模组化”变成一个可计算、可比较、可统计检验的量。3.2 用功能相似度矩阵来刻画分工我们采用的核心思路是如果两个神经元或两个通道在功能上属于同一模块那么它们在不同输入下的响应模式应该高度相关如果属于不同模块相关性就应该很低。于是可以构造一个功能相似度矩阵然后看这个矩阵有没有明显的块状结构。具体操作上我们会在一个验证集上跑大量样本记录每个通道的激活向量然后计算通道两两之间的相关系数。得到矩阵后用聚类或社区发现算法去检测是否存在稳定的分组。如果分组稳定且在不同随机种子下可复现就说明模组化是真实存在的而不是训练噪声。这里有个细节很重要相似度度量选什么。我们试过余弦相似度、皮尔逊相关系数、互信息结论是皮尔逊相关系数在大多数情况下最稳因为它对激活的绝对幅度不敏感更关注响应模式是否同步。余弦相似度在激活稀疏时会不稳定互信息则对离散化方式太敏感。3.3 用干预实验来验证模块的功能独立性光有相关性还不够因为相关不等于因果。两个通道响应相关可能是因为它们真的属于同一模块也可能只是因为它们都受同一个上游信号驱动。为了区分这两种情况我们做了干预实验人为抑制某个通道群的活动看哪些能力会受损。如果模组化假设成立那么抑制一个模块应该主要影响某一类任务或某一类输入而对其他任务影响较小。实验结果确实支持这一点在视觉任务里抑制某些通道群会显著降低对纹理敏感任务的准确率但对形状敏感任务影响不大反之亦然。这种双重分离是功能模组化的有力证据。4. 模组化为什么会自发出现三个层面的机制解释4.1 从优化角度看模组化降低了任务间的干扰最直接的解释来自优化理论。神经网络的训练目标通常是最小化一个全局损失但不同样本、不同任务对参数更新的“诉求”并不一致。如果所有参数都共享那么一个任务需要的更新可能会破坏另一个任务已经学好的表征这就是梯度干扰。模组化提供了一种自然的解耦方式不同模块负责不同子任务梯度更新被限制在局部干扰就被抑制了。从损失曲面的角度看模组化相当于把一个大而平坦、容易互相干扰的盆地拆成若干个小而稳定的盆地。训练过程会自发地倾向于这种结构因为它能让损失下降得更稳。这也解释了一个现象任务越多样、数据分布越异质模组化就越明显。如果训练集非常单一网络没必要分工模组化程度就会低很多。4.2 从表征学习角度看稀疏性和独立性是天然目标另一个角度来自表征学习。一个好的表征应该满足两个条件一是充分性能保留预测所需的信息二是独立性不同特征之间尽量不冗余。独立性越强表征越紧凑泛化越好。模组化正好对应独立性同一模块内的神经元编码相似信息模块之间编码不同信息。网络在训练中会隐式地追求这种结构因为独立表征能降低有效维度减少过拟合风险。我们做的消融实验也支持这一点当我们在损失里显式加入鼓励独立性的正则项时模组化程度会提高泛化性能也往往更好。4.3 从生物合理性角度看分工是资源约束下的必然还有一个更宏观的视角。生物神经系统在进化中形成了高度模组化的结构比如视觉通路分腹侧流和背侧流分别处理“是什么”和“在哪里”。这种分工不是偶然的而是在能量约束、布线成本、学习效率等多重压力下形成的。人工神经网络虽然不受同样的生物约束但它面临类似的計算资源约束。模组化能让网络用更少的参数完成更多样的任务因为它避免了每个任务都重新学一套完整表征。从这个意义上说模组化是一种效率优化的结果而不是某种神秘涌现。5. 实操层面怎么在自己的模型里观测和分析模组化5.1 准备阶段选对层、选对数据、选对度量如果你也想在自己的模型上做类似分析第一步不是写代码而是想清楚分析哪一层。根据我们的经验中间层往往模组化最明显因为浅层还比较通用深层已经过度特化。以 ResNet 为例stage2 和 stage3 通常是最有分析价值的。数据方面验证集要足够大且多样否则相似度估计会不稳定。我们一般用至少几千个样本如果任务本身样本少就要靠数据增强来补。度量方面前面说过皮尔逊相关系数是比较稳的默认选择。5.2 计算流程从激活收集到模块检测整个流程可以拆成四步。第一步注册前向钩子收集目标层的激活。第二步把激活展平成样本乘通道的矩阵。第三步计算通道间相关系数矩阵。第四步对相关矩阵做聚类常用的是层次聚类或谱聚类。这里有个容易踩的坑激活的批量归一化或层归一化会影响相关性。如果目标层后面紧跟归一化最好在归一化之前收集激活否则归一化会抹掉一部分幅度信息虽然对模式相关性影响不大但会让结果解释起来更绕。5.3 结果解读什么样的块状结构才算显著得到聚类结果后不能只看图好不好看要做统计检验。我们常用的做法是置换检验把通道顺序随机打乱重新计算聚类质量指标重复上千次看真实数据的指标是否显著高于随机基线。只有显著高于基线才能说模组化是真实存在的。另外模块数量不要预设。我们试过用轮廓系数或间隙统计量来自动确定但更稳的做法是看不同聚类数下指标的变化曲线找拐点。拐点往往对应网络真实的模块数。6. 常见问题与排查分析模组化时最容易翻车的几个点6.1 模块不稳定换个随机种子就变了这是最常见的问题。原因通常有三个数据量不够、层选得不对、或者网络本身就没形成稳定模组。排查顺序是先加数据再换层最后考虑换模型。如果换了几个种子模块结构都完全不同那大概率是这个模型在这个任务上本来就没有明显模组化不必强求。6.2 相关矩阵看起来有块但聚类结果很碎这往往是因为阈值选得不好。相关系数矩阵里块内相关可能只有 0.3 到 0.5块间相关也有 0.1 到 0.2差距不够大。这时候不要硬聚类可以先做软阈值或者用加权网络社区发现算法。另外可以先把相关性低的通道过滤掉只保留高响应通道再分析信噪比会好很多。6.3 干预实验效果不明显抑制了也没影响如果抑制某个模块后性能几乎不变有两种可能一是这个模块确实冗余网络有备份通路二是抑制强度不够。我们一般会做剂量扫描从弱到强逐步抑制看性能下降曲线。如果曲线一直很平那说明这个模块不是关键路径或者网络用了分布式编码来补偿。6.4 不同任务下模组化程度差异很大怎么解释这其实是好事说明模组化是任务依赖的。多任务学习、异质数据、长尾分布通常模组化更强单任务、同质数据模组化更弱。如果你在做多任务模型模组化分析可以帮助你判断任务之间是否真的共享了表征还是各学各的。7. 这件事对实际建模的指导意义7.1 架构设计别过度追求显式模块化既然模组化会自发出现那我们在设计网络时就不必强行把结构切得太碎。过度显式的模块划分反而可能限制网络自己找到更优的分工方式。我们的建议是给网络足够的容量和适度的结构先验然后让训练过程自己去组织。当然这不是说结构设计不重要而是说结构应该提供“可能性”而不是规定“答案”。7.2 剪枝与压缩按模块剪而不是按权重剪传统剪枝往往按权重绝对值大小来剪但模组化分析告诉我们权重小不代表不重要可能只是它所在的模块整体幅度低。更稳的做法是先识别模块然后按模块做结构化剪枝。这样剪出来的模型性能下降更可控也更容易在硬件上加速。7.3 持续学习用模块隔离来对抗遗忘如果你在做持续学习可以利用模组化来做知识隔离。具体做法是学新任务时先分析哪些模块对旧任务关键然后冻结或低学习率更新这些模块把新任务尽量分配给未充分利用的模块。这样比全局微调更不容易遗忘也比完全冻结更灵活。7.4 可解释性模块可以作为解释的基本单元与其去解释单个神经元不如解释模块。模块的功能通常更稳定、更语义化也更容易和人类概念对齐。我们在论文里展示过某些模块可以对应到“纹理”“颜色”“局部形状”这样的中层概念这比单个神经元的解释性要强得多。8. 一些实操心得和踩坑记录最后分享几个我在这个方向上的个人经验都是文档里不会写的。第一分析模组化最好在训练完成后做不要在训练中途做。训练中途表征还在剧烈变化模块结构不稳定分析结果没有意义。等模型收敛后再分析结论才可靠。第二不同初始化下模组化程度可能不同。我们试过 Xavier 和 Kaiming 初始化发现 Kaiming 初始化下模组化往往更明显可能是因为它更好地保持了前向传播的方差让不同通道更容易分化。这个观察不一定普适但值得你在自己模型上验证一下。第三模组化不是越强越好。过度模组化可能导致模块之间缺乏协作遇到需要跨模块组合的任务时表现反而差。我们见过一些模型模块分得很干净但在需要综合信息的任务上不如模组化程度适中的模型。所以模组化是一个需要平衡的性质不是单一优化目标。第四如果你要复现我们的分析流程建议先从一个小模型、小数据集开始把整个 pipeline 跑通再上大模型。我们最开始直接在 ResNet-50 和 ImageNet 上做光激活收集就花了很久调试成本很高。后来换成 CIFAR-10 上的小 ResNet迭代速度快了十倍很多问题在小规模上就能暴露出来。第五相关矩阵的计算可以用 GPU 加速但要注意显存。通道数上千时相关矩阵是上千乘上千加上样本维度显存占用不小。可以分批计算或者先做通道降维再算相关。我们一般先用 PCA 降到几百维再算相关结果和全量算差别很小但速度快很多。这个方向还有很多开放问题比如模组化在不同模态、不同架构下是否遵循同样的规律模组化程度能不能作为模型质量的一个指标以及能不能在训练中主动引导模组化来提升特定性能。这些问题我也没有确定答案但至少现在我们知道模组化不是幻觉而是一个可以被观测、被量化、被利用的真实现象。 神经网络模组化：从自发分工到模型压缩与可解释性
1. 从一次组会争论说起模组化到底是不是神经网络的“天性”第一次认真琢磨“神经网络为什么会呈现模组化”这个问题是在一次组会上。当时我们正在讨论一个视觉分类模型的内部表征有人把某层神经元的响应模式可视化出来发现它们并不是均匀地、弥散地响应所有输入而是自发地聚成了几簇一簇对纹理敏感一簇对轮廓敏感还有一簇对特定朝向的边缘敏感。争论随之而来——这到底是训练数据分布导致的偶然现象还是网络结构本身就有一种“倾向于分工”的偏好这个问题看起来抽象其实非常具体。它直接关系到我们怎么理解深度模型的可解释性、怎么做模型压缩、怎么设计更高效的架构甚至关系到我们怎么判断一个模型是不是“学到了真正有用的东西”。后来我们把这条线索一路做下去最终形成了发表在 Nature Machine Intelligence 上的那篇工作。这篇博文不打算复述论文的公式推导而是想把背后的思考过程、实验设计里的取舍、以及踩过的坑用从业者能直接上手的方式讲清楚。如果你正在做模型可解释性、表征分析、网络结构设计或者只是单纯好奇“神经网络内部到底在干什么”这篇内容应该能给你一些可复用的思路。我会尽量避开空泛的哲学讨论把重点放在模组化现象怎么观测、怎么量化、为什么会发生、以及这件事对实际建模有什么指导意义。2. 先把“模组化”这个词说清楚它到底指什么2.1 模组化的三种常见含义别混着用“模组化”这个词在不同语境下含义差别很大如果不先对齐定义讨论很容易变成各说各话。根据我的经验至少有三层意思需要区分开。第一层是结构模组化指的是网络在物理结构上被显式地划分成若干子模块比如多分支网络、混合专家模型MoE、或者把不同模态交给不同子网处理。这种模组化是设计出来的是人为规定的。第二层是功能模组化指的是网络虽然没有显式分块但不同神经元或神经元群在功能上承担了不同职责。比如卷积神经网络里浅层负责边缘检测、深层负责语义组合这就是功能上的分工。第三层是表征模组化指的是在表示空间里不同概念或特征被编码到相对独立的子空间中彼此之间干扰很小。这层最微妙因为它不依赖结构也不完全等同于功能而是描述表征的几何和统计性质。我们论文里讨论的“模组化”主要落在第二层和第三层的交叉地带网络在没有被显式分块的前提下为什么会自发地形成功能上可区分、表征上相对独立的单元。这个现象如果成立就意味着模组化不是我们强加给网络的而是某种更底层的机制在起作用。2.2 为什么这个问题值得认真对待有人可能会问网络内部怎么分工重要吗只要预测准不就行了这个想法在工程上可以理解但在很多场景下会出问题。是做模型压缩和剪枝的时候。如果网络是高度冗余、功能弥散的剪掉一部分权重可能影响不大但如果网络已经形成了功能模块剪掉某个模块就会导致特定能力直接丧失。不理解模组化剪枝就是盲剪。第二是做迁移学习和持续学习的时候。模组化程度高的网络往往更容易做知识隔离学新任务时不容易把旧任务冲掉。反过来如果表征是高度纠缠的灾难性遗忘就会特别严重。第三是做可解释性和安全评估的时候。如果某个功能对应一个相对独立的模块我们就能定位、干预、验证如果功能弥散在整个网络里解释就无从下手。所以这个问题不是学术趣味而是直接关系到我们能不能对模型做精细操作。3. 我们是怎么观测到模组化的从可视化到量化指标3.1 可视化只能给直觉不能给结论最开始我们也是从可视化入手的。把卷积核权重画出来、把特征图激活画出来、把神经元响应做降维投影这些手段都能让人“感觉”到模组化存在。但可视化有个致命问题它太容易受到主观解释的影响。同一张激活图有人说看到了分工有人说只是噪声争论不出结果。所以可视化只能用来生成假设不能用来验证假设。我们很快意识到必须把“模组化”变成一个可计算、可比较、可统计检验的量。3.2 用功能相似度矩阵来刻画分工我们采用的核心思路是如果两个神经元或两个通道在功能上属于同一模块那么它们在不同输入下的响应模式应该高度相关如果属于不同模块相关性就应该很低。于是可以构造一个功能相似度矩阵然后看这个矩阵有没有明显的块状结构。具体操作上我们会在一个验证集上跑大量样本记录每个通道的激活向量然后计算通道两两之间的相关系数。得到矩阵后用聚类或社区发现算法去检测是否存在稳定的分组。如果分组稳定且在不同随机种子下可复现就说明模组化是真实存在的而不是训练噪声。这里有个细节很重要相似度度量选什么。我们试过余弦相似度、皮尔逊相关系数、互信息结论是皮尔逊相关系数在大多数情况下最稳因为它对激活的绝对幅度不敏感更关注响应模式是否同步。余弦相似度在激活稀疏时会不稳定互信息则对离散化方式太敏感。3.3 用干预实验来验证模块的功能独立性光有相关性还不够因为相关不等于因果。两个通道响应相关可能是因为它们真的属于同一模块也可能只是因为它们都受同一个上游信号驱动。为了区分这两种情况我们做了干预实验人为抑制某个通道群的活动看哪些能力会受损。如果模组化假设成立那么抑制一个模块应该主要影响某一类任务或某一类输入而对其他任务影响较小。实验结果确实支持这一点在视觉任务里抑制某些通道群会显著降低对纹理敏感任务的准确率但对形状敏感任务影响不大反之亦然。这种双重分离是功能模组化的有力证据。4. 模组化为什么会自发出现三个层面的机制解释4.1 从优化角度看模组化降低了任务间的干扰最直接的解释来自优化理论。神经网络的训练目标通常是最小化一个全局损失但不同样本、不同任务对参数更新的“诉求”并不一致。如果所有参数都共享那么一个任务需要的更新可能会破坏另一个任务已经学好的表征这就是梯度干扰。模组化提供了一种自然的解耦方式不同模块负责不同子任务梯度更新被限制在局部干扰就被抑制了。从损失曲面的角度看模组化相当于把一个大而平坦、容易互相干扰的盆地拆成若干个小而稳定的盆地。训练过程会自发地倾向于这种结构因为它能让损失下降得更稳。这也解释了一个现象任务越多样、数据分布越异质模组化就越明显。如果训练集非常单一网络没必要分工模组化程度就会低很多。4.2 从表征学习角度看稀疏性和独立性是天然目标另一个角度来自表征学习。一个好的表征应该满足两个条件一是充分性能保留预测所需的信息二是独立性不同特征之间尽量不冗余。独立性越强表征越紧凑泛化越好。模组化正好对应独立性同一模块内的神经元编码相似信息模块之间编码不同信息。网络在训练中会隐式地追求这种结构因为独立表征能降低有效维度减少过拟合风险。我们做的消融实验也支持这一点当我们在损失里显式加入鼓励独立性的正则项时模组化程度会提高泛化性能也往往更好。4.3 从生物合理性角度看分工是资源约束下的必然还有一个更宏观的视角。生物神经系统在进化中形成了高度模组化的结构比如视觉通路分腹侧流和背侧流分别处理“是什么”和“在哪里”。这种分工不是偶然的而是在能量约束、布线成本、学习效率等多重压力下形成的。人工神经网络虽然不受同样的生物约束但它面临类似的計算资源约束。模组化能让网络用更少的参数完成更多样的任务因为它避免了每个任务都重新学一套完整表征。从这个意义上说模组化是一种效率优化的结果而不是某种神秘涌现。5. 实操层面怎么在自己的模型里观测和分析模组化5.1 准备阶段选对层、选对数据、选对度量如果你也想在自己的模型上做类似分析第一步不是写代码而是想清楚分析哪一层。根据我们的经验中间层往往模组化最明显因为浅层还比较通用深层已经过度特化。以 ResNet 为例stage2 和 stage3 通常是最有分析价值的。数据方面验证集要足够大且多样否则相似度估计会不稳定。我们一般用至少几千个样本如果任务本身样本少就要靠数据增强来补。度量方面前面说过皮尔逊相关系数是比较稳的默认选择。5.2 计算流程从激活收集到模块检测整个流程可以拆成四步。第一步注册前向钩子收集目标层的激活。第二步把激活展平成样本乘通道的矩阵。第三步计算通道间相关系数矩阵。第四步对相关矩阵做聚类常用的是层次聚类或谱聚类。这里有个容易踩的坑激活的批量归一化或层归一化会影响相关性。如果目标层后面紧跟归一化最好在归一化之前收集激活否则归一化会抹掉一部分幅度信息虽然对模式相关性影响不大但会让结果解释起来更绕。5.3 结果解读什么样的块状结构才算显著得到聚类结果后不能只看图好不好看要做统计检验。我们常用的做法是置换检验把通道顺序随机打乱重新计算聚类质量指标重复上千次看真实数据的指标是否显著高于随机基线。只有显著高于基线才能说模组化是真实存在的。另外模块数量不要预设。我们试过用轮廓系数或间隙统计量来自动确定但更稳的做法是看不同聚类数下指标的变化曲线找拐点。拐点往往对应网络真实的模块数。6. 常见问题与排查分析模组化时最容易翻车的几个点6.1 模块不稳定换个随机种子就变了这是最常见的问题。原因通常有三个数据量不够、层选得不对、或者网络本身就没形成稳定模组。排查顺序是先加数据再换层最后考虑换模型。如果换了几个种子模块结构都完全不同那大概率是这个模型在这个任务上本来就没有明显模组化不必强求。6.2 相关矩阵看起来有块但聚类结果很碎这往往是因为阈值选得不好。相关系数矩阵里块内相关可能只有 0.3 到 0.5块间相关也有 0.1 到 0.2差距不够大。这时候不要硬聚类可以先做软阈值或者用加权网络社区发现算法。另外可以先把相关性低的通道过滤掉只保留高响应通道再分析信噪比会好很多。6.3 干预实验效果不明显抑制了也没影响如果抑制某个模块后性能几乎不变有两种可能一是这个模块确实冗余网络有备份通路二是抑制强度不够。我们一般会做剂量扫描从弱到强逐步抑制看性能下降曲线。如果曲线一直很平那说明这个模块不是关键路径或者网络用了分布式编码来补偿。6.4 不同任务下模组化程度差异很大怎么解释这其实是好事说明模组化是任务依赖的。多任务学习、异质数据、长尾分布通常模组化更强单任务、同质数据模组化更弱。如果你在做多任务模型模组化分析可以帮助你判断任务之间是否真的共享了表征还是各学各的。7. 这件事对实际建模的指导意义7.1 架构设计别过度追求显式模块化既然模组化会自发出现那我们在设计网络时就不必强行把结构切得太碎。过度显式的模块划分反而可能限制网络自己找到更优的分工方式。我们的建议是给网络足够的容量和适度的结构先验然后让训练过程自己去组织。当然这不是说结构设计不重要而是说结构应该提供“可能性”而不是规定“答案”。7.2 剪枝与压缩按模块剪而不是按权重剪传统剪枝往往按权重绝对值大小来剪但模组化分析告诉我们权重小不代表不重要可能只是它所在的模块整体幅度低。更稳的做法是先识别模块然后按模块做结构化剪枝。这样剪出来的模型性能下降更可控也更容易在硬件上加速。7.3 持续学习用模块隔离来对抗遗忘如果你在做持续学习可以利用模组化来做知识隔离。具体做法是学新任务时先分析哪些模块对旧任务关键然后冻结或低学习率更新这些模块把新任务尽量分配给未充分利用的模块。这样比全局微调更不容易遗忘也比完全冻结更灵活。7.4 可解释性模块可以作为解释的基本单元与其去解释单个神经元不如解释模块。模块的功能通常更稳定、更语义化也更容易和人类概念对齐。我们在论文里展示过某些模块可以对应到“纹理”“颜色”“局部形状”这样的中层概念这比单个神经元的解释性要强得多。8. 一些实操心得和踩坑记录最后分享几个我在这个方向上的个人经验都是文档里不会写的。第一分析模组化最好在训练完成后做不要在训练中途做。训练中途表征还在剧烈变化模块结构不稳定分析结果没有意义。等模型收敛后再分析结论才可靠。第二不同初始化下模组化程度可能不同。我们试过 Xavier 和 Kaiming 初始化发现 Kaiming 初始化下模组化往往更明显可能是因为它更好地保持了前向传播的方差让不同通道更容易分化。这个观察不一定普适但值得你在自己模型上验证一下。第三模组化不是越强越好。过度模组化可能导致模块之间缺乏协作遇到需要跨模块组合的任务时表现反而差。我们见过一些模型模块分得很干净但在需要综合信息的任务上不如模组化程度适中的模型。所以模组化是一个需要平衡的性质不是单一优化目标。第四如果你要复现我们的分析流程建议先从一个小模型、小数据集开始把整个 pipeline 跑通再上大模型。我们最开始直接在 ResNet-50 和 ImageNet 上做光激活收集就花了很久调试成本很高。后来换成 CIFAR-10 上的小 ResNet迭代速度快了十倍很多问题在小规模上就能暴露出来。第五相关矩阵的计算可以用 GPU 加速但要注意显存。通道数上千时相关矩阵是上千乘上千加上样本维度显存占用不小。可以分批计算或者先做通道降维再算相关。我们一般先用 PCA 降到几百维再算相关结果和全量算差别很小但速度快很多。这个方向还有很多开放问题比如模组化在不同模态、不同架构下是否遵循同样的规律模组化程度能不能作为模型质量的一个指标以及能不能在训练中主动引导模组化来提升特定性能。这些问题我也没有确定答案但至少现在我们知道模组化不是幻觉而是一个可以被观测、被量化、被利用的真实现象。