简介这是一份基于DFFormer的完整图像分类实战资源面向具备一定深度学习基础、希望掌握高效视觉Transformer实现的读者。资源围绕论文“FFT-based Dynamic Token Mixer for Vision”展开针对多头自注意力在高分辨率图像下计算复杂度过高的问题提出并实现了动态滤波器令牌混合方案配套提供可运行的Python训练与推理脚本、模型结构定义、JSON分类映射以及PyTorch相关依赖便于对照论文逐模块复现实验并调整超参数。压缩包共2000个文件以1988张PNG格式图像数据为主另有6个Python源文件、4个编译生成的pyc文件、1个JSON配置和1个说明文档整体大小约736.93MB目录组织规范图像按类别存放适合直接作为图像分类任务的数据集与代码基线。目前已有154人学习内容覆盖数据准备、模型搭建、训练验证到结果分析的完整链路能够帮助读者快速搭建DFFormer环境深入理解FFT动态滤波器的设计思路并支持在此基础上进行轻量化改进或迁移至其他视觉任务。1. 从二次复杂度到线性DFFormer到底改了什么做高分辨率图像分类时如果直接套用ViT那套多头自注意力MHSA显存和延迟会随token数量平方级上涨。一个经验值是输入从224×224换到448×448token数变成4倍MHSA的计算量变成16倍这还没算softmax之后的显存占用。DFFormerFFT-based Dynamic Token Mixer for Vision的核心动作是把token之间的混合从空间域的点积相似度换成频域里一次逐元素的复数乘法。因为FFT本身是O(N log N)整体复杂度从二次压到近线性同时保留了对全局上下文的感知。它适合两类人一类是想在资源受限环境里跑高分辨率图像分类的工程人员另一类是研究token混合策略、想把注意力替换成轻量操作的同学。本篇直接给可运行的PyTorch实现和训练配置附上我在实际分类任务里踩过的参数坑。2. 动态滤波器实现FFT频域处理的PyTorch复现2.1 为什么动态滤波器能替代注意力自注意力对每个token计算与其他所有token的相关性然后按权重聚合本质是一种全局、内容自适应的混合器。动态滤波器的做法是对整张特征图做2D FFT在频域里用一个由输入生成出来的滤波器去调制频谱再做逆FFT。由于频率的每个点都对应整张图的一种全局模式这种做法依然具备全局感受野但不再需要计算N×N的注意力矩阵。实现上的关键点有两个滤波器必须随输入动态生成不能是固定的滤波器的数值要可控否则训练容易震荡。2.2 动态滤波器模块的实现我实现时把动态滤波器拆成两个分支一条分支直接生成实数幅度调制另一条分支生成相位偏置。只调幅度不调相位表达能力不够幅度和相位都动又容易过拟合。下面的代码是折中方案在频域做复数乘法并加入一个可学习的门控缩放因子。import torch import torch.nn as nn import torch.fft as fft class DynamicFilter(nn.Module): 基于FFT的动态token混合器。 输入: (B, N, C), NH*W 输出: (B, N, C)形状不变。 def __init__(self, dim, ratio0.25, actnn.GELU()): super().__init__() # 生成滤波器参数输出2个通道幅度调制 相位偏置 hidden max(int(dim * ratio), 16) self.fw nn.Sequential( nn.Linear(dim, hidden), act, nn.Linear(hidden, dim * 2) ) self.gate nn.Parameter(torch.zeros(1)) # 初始为0相当于先走恒等 def forward(self, x, H, W): B, N, C x.shape # 还原为2D特征图在频率维度做全局混合 x_img x.transpose(1, 2).reshape(B, C, H, W) # 对H和W两个维度做2D FFT得到归一化频谱 X fft.fft2(x_img, normortho) # 生成动态滤波器在通道维度操作 filt self.fw(x) # (B, N, 2C) amp, phase torch.chunk(filt, 2, dim-1) amp torch.tanh(amp) # 限制幅度范围避免爆炸 phase np.pi * torch.tanh(phase) # 相位限制在[-pi, pi] # 将滤波器reshape到特征图形状每个空间位置对应一个频谱位置 amp amp.transpose(1, 2).reshape(B, C, H, W) phase phase.transpose(1, 2).reshape(B, C, H, W) # 构造复数滤波器与频谱逐元素相乘 filt_complex amp * torch.exp(1j * phase) Y X * filt_complex # 逆FFT并取实部 y_img torch.real(fft.ifft2(Y, normortho)) y y_img.reshape(B, C, N).transpose(1, 2) # 门控残差初始接近恒等输出 return x self.gate * y逻辑说明fw是一个两层的MLP输入当前token的原始特征输出2C维度的调制参数。分别切成幅度和相位然后用tanh限制数值范围。这里的核心是filt_complex是在频率域上定义的每个位置(h, w)对应一个频点它被MLP根据输入内容动态生成所以叫动态滤波器。gate初始为0让模块在训练开始时约等于恒等映射避免破坏预训练好的主干特征。需要注意参数设置ratio是隐藏层相对通道数的缩放因子。在小数据集上我倾向于把ratio设为0.25因为滤波器本身参数不多容易欠拟合在ImageNet级别的大规模数据上可以提高到0.5。normortho必须指定否则FFT和IFFT的缩放不一致会导致输出幅度漂移初看不明显但训练后期loss会抖动。2.3 高通保留防止低频主导FFT频谱的能量大多集中在低频动态滤波器如果自由学习很容易把所有频点都学习成低通导致图像分类模型只关注全局轮廓而丢失细节纹理。我在实际任务里加了一个可选的频域掩码保留高频分量的最小比例。做法是预先制作一个半径可学习的环形掩码让滤波器在更新时必须保留一定比例的高频信息。class FrequencyMask(nn.Module): 学习可用的频率掩码用于保留高频细节。 比例越小保留的高频越多。 def __init__(self, H, W, keep_ratio0.7): super().__init__() # 生成归一化频率坐标 y torch.linspace(-1, 1, H) x torch.linspace(-1, 1, W) grid_y, grid_x torch.meshgrid(y, x) radius torch.sqrt(grid_x**2 grid_y**2).unsqueeze(0) # (1, H, W) # 将阈值作为可学习参数初始值由比例反推 max_r radius.max() init_th max_r * (1 - keep_ratio) self.threshold nn.Parameter(init_th) def forward(self): # 动态生成二进制掩码但用sigmoid平滑可导 r torch.sqrt(grid_x**2 grid_y**2) return torch.sigmoid(10 * (r - self.threshold))这个掩码可以乘在动态滤波器的幅度上。直接二值不可导用sigmoid的陡峭版本近似。阈值越小被保留的频点越少滤波器自由度越低适合数据量少时防止过拟合阈值越大保留率高模型更看重高频细节。初值设0.7在多数图像分类任务里表现稳定CIFAR上我会降到0.6因为物体占比大高分辨率小目标场景需要到0.8以上。3. 分类头与整体前向从Patch Embedding到Logits3.1 Patch Embedding与位置编码DFFormer底层依然是Transformer风格输入图像先切成patchLinear映射为token序列。高分辨率场景下可以不固定位置编码改用可学习的2D位置编码并在前向时插值这样训练分辨率与推理分辨率可以不同。class PatchEmbed(nn.Module): def __init__(self, img_size224, patch_size16, in_chans3, embed_dim384): super().__init__() self.num_patches (img_size // patch_size) ** 2 self.proj nn.Conv2d(in_chans, embed_dim, kernel_sizepatch_size, stridepatch_size) def forward(self, x): x self.proj(x) # (B, C, H/P, W/P) B, C, H, W x.shape x x.flatten(2).transpose(1, 2) # (B, N, C) return x, H, W这里卷积直接实现patch化比unfold再线性映射效率更高。H和W要传回给动态滤波器使用因为token序列已经丢失了二维结构信息。需要注意的是输入的img_size只是用来初始化位置编码占位实际前向时以传入x的尺寸为准。3.2 完整DFFormer Block一个完整的 DFFormer Block 由动态滤波器和前馈网络组成与标准Transformer Block的不同只在于把MHSA替换成DynamicFilter。LayerNorm放在前面是Pre-LN结构训练更稳定。class DFBlock(nn.Module): def __init__(self, dim, mlp_ratio4.0, drop_path0.1): super().__init__() self.norm1 nn.LayerNorm(dim) self.filter DynamicFilter(dim) self.norm2 nn.LayerNorm(dim) self.mlp nn.Sequential( nn.Linear(dim, int(dim * mlp_ratio)), nn.GELU(), nn.Linear(int(dim * mlp_ratio), dim) ) self.drop_path DropPath(drop_path) if drop_path 0 else nn.Identity() def forward(self, x, H, W): x x self.drop_path(self.filter(self.norm1(x), H, W)) x x self.drop_path(self.mlp(self.norm2(x))) return xdrop_path是Stochastic Depth随机丢弃整条分支在深网络中能明显提升泛化。训练时概率设0.1~0.2推理时自动恒等。实际使用中如果数据量只有几千mlp_ratio从4降到2会更稳因为MLP占了模型大部分参数量。3.3 分类模型的组装模型最后接全局平均池化和线性分类头。有人习惯用CLS token但DFFormer的频域混合器不具备显式的全局聚合能力全局平均池化更稳定。class DFFormerClassifier(nn.Module): def __init__(self, img_size224, patch_size16, num_classes10, dim384, depth12, num_blocks6): super().__init__() self.patch_embed PatchEmbed(img_size, patch_size, 3, dim) self.pos_drop nn.Dropout(0.1) self.blocks nn.ModuleList([ DFBlock(dim) for _ in range(depth) ]) self.norm nn.LayerNorm(dim) self.head nn.Linear(dim, num_classes) def forward(self, x): x, H, W self.patch_embed(x) x self.pos_drop(x) for blk in self.blocks: x blk(x, H, W) x self.norm(x) x x.mean(dim1) return self.head(x)参数说明depth表示DFBlock层数dim是embedding维度num_classes是分类数。当数据集类数不平衡时建议在nn.Linear里设置biasFalse因为分类头的bias在类别差异大时会吸收过多偏置导致早期训练震荡。pos_drop在ViT里也常见但量级不宜大0.1即可过大会抹掉位置信息。4. 图像分类训练实战配置、损失与收敛判断4.1 数据加载与增强策略图像分类任务中如果直接用原始图片训练DFFormer的动态滤波器很容易陷入只用低频的模式。经验上强增强裁剪、翻转、颜色抖动对FFT类模型的作用比注意力模型更明显因为增强等价于给频域做扰动迫使滤波器学到不随光照、位移变化的频率模式。from torchvision import transforms train_transform transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.08, 1.0)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.4, contrast0.4, saturation0.4), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])scale(0.08, 1.0)是模仿DeiT的随机裁剪范围。对小目标分类建议把scale下限调到0.3因为裁剪面积过小时小目标会被缩小到不可辨认。颜色抖动对频域模型尤其重要它能防止滤波器对颜色边界这类高频信号过度敏感。4.2 优化器、学习率与损失函数动态滤波器包含复数乘法和FFT梯度流比普通卷积更复杂。直接套用AdamW时如果权重衰减系数照搬ViT的0.05频率滤波器会退化到接近常数我一般把权重衰减分成两组常规模块0.05动态滤波器的MLP用0.01。参数推荐值说明optimizerAdamW比SGD收敛快FFT梯度噪声较大base_lr1e-3batch_size512时稳定batch大则按比例调weight_decay0.05 / 0.01普通模块0.05滤波器模块0.01warmup_epochs5频域滤波器初期梯度方差大必须warmuplr_schedulecosine decay与warmup配合最优batch_size256~512过小容易让频域噪声主导更新warmup不是可选项。动态滤波器的输出在初期会剧烈变化如果没有warmup学习率跳变会直接导致loss冲到几个数量级以上。另外当batch_size小于等于64时建议把warmup时间延长到10个epoch否则BN层如果有和滤波器会互相干扰。4.3 训练循环与梯度裁剪FFT对输入中的异常值非常敏感偶尔会产出远超正常量级的梯度尤其是相位分支。加梯度裁剪是必须的全局范数裁剪阈值1.0即可。scaler torch.cuda.amp.GradScaler() for epoch in range(epochs): model.train() total_loss 0.0 correct 0 total 0 for images, labels in train_loader: images, labels images.cuda(), labels.cuda() optimizer.zero_grad() with torch.cuda.amp.autocast(): outputs model(images) loss nn.CrossEntropyLoss()(outputs, labels) scaler.scale(loss).backward() # 先unscale再clip scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) scaler.step(optimizer) scaler.update() total_loss loss.item() _, preds outputs.max(1) correct preds.eq(labels).sum().item() total labels.size(0) train_acc 100.0 * correct / total avg_loss total_loss / len(train_loader) print(fepoch{epoch:03d} loss{avg_loss:.4f} acc{train_acc:.2f}%)clip_grad_norm_必须放在scaler.unscale_之后否则梯度被混合精度缩放统一clip会失效。混合精度对FFT有额外好处半精度计算会近似滤掉极高频的微小噪声相当于隐式正则化。如果不想用AMP也可以全精度训练但batch_size需要减半。4.4 收敛判断与常见失败模式一个典型的正常收敛曲线是前5个warmup epoch内loss缓慢下降准确率可能只有20%~30%因为动态滤波器正在调整自己的初始频响warmup结束后loss曲线出现一次明显下降这是滤波器开始真正起效的信号。如果epoch 3左右loss不降反升优先检查滤波器输出的数值范围。在调试时我通常打印每个DFBlock输出的均值方差。如果某个block的输出标准差持续大于输入标准差的两倍说明gate参数漂移过大需要把gate初始化改成-2或者对gate加L2约束。另一个常见问题出现在高分辨率推理训练用224测试用448由于patch数变成4倍FFT的频点分布改变滤波器却是在224分辨率下学的。此时需要把滤波器MLP的输入做层归一化或者干脆在推理时用插值把特征图缩回训练分辨率先分类再上采样热力图。5. 让模型更稳的小技巧学习率重启动与频域可视化验证5.1 用Cosine Annealing with Warm Restarts代替单调下降DFFormer的loss曲面在频率参数方向上比较崎岖常规cosine decay很容易卡到局部极小。我改用带重启的cosine每30个epoch一组学习率从1e-3降到1e-5后立刻跳回1e-3。重启之后模型会短暂丢失一部分已学到的频率响应但通常2~3个epoch就能恢复到原来的准确率并继续上升。下面是配置片段from torch.optim.lr_scheduler import CosineAnnealingWarmRestarts scheduler CosineAnnealingWarmRestarts( optimizer, T_030, T_mult2, eta_min1e-6 ) # 每个step后更新需要传入当前step # scheduler.step(epoch step / total_steps)T_030是首次重启周期T_mult2让后续周期翻倍。重启的关键在于学习率要掉到足够低再回升否则模型记忆已经被巩固重启只会在原区域小幅震动。如果你发现重启后准确率总是回不到前一个峰值说明周期太长把T_0减半。5.2 可视化频率响应确认模型学到了什么图像分类准确率不能告诉你动态滤波器是否真的在区分纹理。我常用的一种验证方法是把测试图喂进模型截取第一个DFBlock的幅度调制图在频谱空间里画出来。def inspect_filter(model, image, block_index0): model.eval() features {} def hook_fn(module, input, output): features[x] input[0].detach() features[y] output.detach() model.blocks[block_index].filter.register_forward_hook(hook_fn) with torch.no_grad(): model(image.unsqueeze(0)) return features[x], features[y]拿到x和y后计算幅度差abs(y - x).mean(dim1)reshape成H×W并在频谱坐标下显示。如果这个幅度图呈现以中心为圆心的同心圆说明模型主要在做低通滤波没什么区分性如果幅度图在不同类别图片上有明显不同的高频响应模式说明动态滤波器确实学到了与类别相关的频域特征。5.3 训练时冻结局部滤波器有一个实用小技巧在训练前20个epoch冻结后一半DFBlock的动态滤波器只训练前一半滤波器和分类头。原因是后面层更接近分类决策如果它们在高频噪声上过拟合会把梯度传给前面层导致整个频域学习坍塌。冻结的方式for idx, blk in enumerate(model.blocks): if idx len(model.blocks) // 2: for p in blk.filter.parameters(): p.requires_grad False前20个epoch后解冻所有参数把其中一半层的学习率调低为原来的0.1。这种“渐进解冻”策略在很多视觉Transformer里都有效但DFFormer提升尤其明显因为频域参数的自由度更高小数据集上一不小心就记住了训练集的频谱噪声。解冻时学习率一定要低于全局学习率否则后层滤波器会被突然出现的梯度击穿导致损失出现尖峰。本文还有配套的精品资源点击获取 DFFormer：用FFT动态滤波器替代注意力，实现线性复杂度图像分类
简介这是一份基于DFFormer的完整图像分类实战资源面向具备一定深度学习基础、希望掌握高效视觉Transformer实现的读者。资源围绕论文“FFT-based Dynamic Token Mixer for Vision”展开针对多头自注意力在高分辨率图像下计算复杂度过高的问题提出并实现了动态滤波器令牌混合方案配套提供可运行的Python训练与推理脚本、模型结构定义、JSON分类映射以及PyTorch相关依赖便于对照论文逐模块复现实验并调整超参数。压缩包共2000个文件以1988张PNG格式图像数据为主另有6个Python源文件、4个编译生成的pyc文件、1个JSON配置和1个说明文档整体大小约736.93MB目录组织规范图像按类别存放适合直接作为图像分类任务的数据集与代码基线。目前已有154人学习内容覆盖数据准备、模型搭建、训练验证到结果分析的完整链路能够帮助读者快速搭建DFFormer环境深入理解FFT动态滤波器的设计思路并支持在此基础上进行轻量化改进或迁移至其他视觉任务。1. 从二次复杂度到线性DFFormer到底改了什么做高分辨率图像分类时如果直接套用ViT那套多头自注意力MHSA显存和延迟会随token数量平方级上涨。一个经验值是输入从224×224换到448×448token数变成4倍MHSA的计算量变成16倍这还没算softmax之后的显存占用。DFFormerFFT-based Dynamic Token Mixer for Vision的核心动作是把token之间的混合从空间域的点积相似度换成频域里一次逐元素的复数乘法。因为FFT本身是O(N log N)整体复杂度从二次压到近线性同时保留了对全局上下文的感知。它适合两类人一类是想在资源受限环境里跑高分辨率图像分类的工程人员另一类是研究token混合策略、想把注意力替换成轻量操作的同学。本篇直接给可运行的PyTorch实现和训练配置附上我在实际分类任务里踩过的参数坑。2. 动态滤波器实现FFT频域处理的PyTorch复现2.1 为什么动态滤波器能替代注意力自注意力对每个token计算与其他所有token的相关性然后按权重聚合本质是一种全局、内容自适应的混合器。动态滤波器的做法是对整张特征图做2D FFT在频域里用一个由输入生成出来的滤波器去调制频谱再做逆FFT。由于频率的每个点都对应整张图的一种全局模式这种做法依然具备全局感受野但不再需要计算N×N的注意力矩阵。实现上的关键点有两个滤波器必须随输入动态生成不能是固定的滤波器的数值要可控否则训练容易震荡。2.2 动态滤波器模块的实现我实现时把动态滤波器拆成两个分支一条分支直接生成实数幅度调制另一条分支生成相位偏置。只调幅度不调相位表达能力不够幅度和相位都动又容易过拟合。下面的代码是折中方案在频域做复数乘法并加入一个可学习的门控缩放因子。import torch import torch.nn as nn import torch.fft as fft class DynamicFilter(nn.Module): 基于FFT的动态token混合器。 输入: (B, N, C), NH*W 输出: (B, N, C)形状不变。 def __init__(self, dim, ratio0.25, actnn.GELU()): super().__init__() # 生成滤波器参数输出2个通道幅度调制 相位偏置 hidden max(int(dim * ratio), 16) self.fw nn.Sequential( nn.Linear(dim, hidden), act, nn.Linear(hidden, dim * 2) ) self.gate nn.Parameter(torch.zeros(1)) # 初始为0相当于先走恒等 def forward(self, x, H, W): B, N, C x.shape # 还原为2D特征图在频率维度做全局混合 x_img x.transpose(1, 2).reshape(B, C, H, W) # 对H和W两个维度做2D FFT得到归一化频谱 X fft.fft2(x_img, normortho) # 生成动态滤波器在通道维度操作 filt self.fw(x) # (B, N, 2C) amp, phase torch.chunk(filt, 2, dim-1) amp torch.tanh(amp) # 限制幅度范围避免爆炸 phase np.pi * torch.tanh(phase) # 相位限制在[-pi, pi] # 将滤波器reshape到特征图形状每个空间位置对应一个频谱位置 amp amp.transpose(1, 2).reshape(B, C, H, W) phase phase.transpose(1, 2).reshape(B, C, H, W) # 构造复数滤波器与频谱逐元素相乘 filt_complex amp * torch.exp(1j * phase) Y X * filt_complex # 逆FFT并取实部 y_img torch.real(fft.ifft2(Y, normortho)) y y_img.reshape(B, C, N).transpose(1, 2) # 门控残差初始接近恒等输出 return x self.gate * y逻辑说明fw是一个两层的MLP输入当前token的原始特征输出2C维度的调制参数。分别切成幅度和相位然后用tanh限制数值范围。这里的核心是filt_complex是在频率域上定义的每个位置(h, w)对应一个频点它被MLP根据输入内容动态生成所以叫动态滤波器。gate初始为0让模块在训练开始时约等于恒等映射避免破坏预训练好的主干特征。需要注意参数设置ratio是隐藏层相对通道数的缩放因子。在小数据集上我倾向于把ratio设为0.25因为滤波器本身参数不多容易欠拟合在ImageNet级别的大规模数据上可以提高到0.5。normortho必须指定否则FFT和IFFT的缩放不一致会导致输出幅度漂移初看不明显但训练后期loss会抖动。2.3 高通保留防止低频主导FFT频谱的能量大多集中在低频动态滤波器如果自由学习很容易把所有频点都学习成低通导致图像分类模型只关注全局轮廓而丢失细节纹理。我在实际任务里加了一个可选的频域掩码保留高频分量的最小比例。做法是预先制作一个半径可学习的环形掩码让滤波器在更新时必须保留一定比例的高频信息。class FrequencyMask(nn.Module): 学习可用的频率掩码用于保留高频细节。 比例越小保留的高频越多。 def __init__(self, H, W, keep_ratio0.7): super().__init__() # 生成归一化频率坐标 y torch.linspace(-1, 1, H) x torch.linspace(-1, 1, W) grid_y, grid_x torch.meshgrid(y, x) radius torch.sqrt(grid_x**2 grid_y**2).unsqueeze(0) # (1, H, W) # 将阈值作为可学习参数初始值由比例反推 max_r radius.max() init_th max_r * (1 - keep_ratio) self.threshold nn.Parameter(init_th) def forward(self): # 动态生成二进制掩码但用sigmoid平滑可导 r torch.sqrt(grid_x**2 grid_y**2) return torch.sigmoid(10 * (r - self.threshold))这个掩码可以乘在动态滤波器的幅度上。直接二值不可导用sigmoid的陡峭版本近似。阈值越小被保留的频点越少滤波器自由度越低适合数据量少时防止过拟合阈值越大保留率高模型更看重高频细节。初值设0.7在多数图像分类任务里表现稳定CIFAR上我会降到0.6因为物体占比大高分辨率小目标场景需要到0.8以上。3. 分类头与整体前向从Patch Embedding到Logits3.1 Patch Embedding与位置编码DFFormer底层依然是Transformer风格输入图像先切成patchLinear映射为token序列。高分辨率场景下可以不固定位置编码改用可学习的2D位置编码并在前向时插值这样训练分辨率与推理分辨率可以不同。class PatchEmbed(nn.Module): def __init__(self, img_size224, patch_size16, in_chans3, embed_dim384): super().__init__() self.num_patches (img_size // patch_size) ** 2 self.proj nn.Conv2d(in_chans, embed_dim, kernel_sizepatch_size, stridepatch_size) def forward(self, x): x self.proj(x) # (B, C, H/P, W/P) B, C, H, W x.shape x x.flatten(2).transpose(1, 2) # (B, N, C) return x, H, W这里卷积直接实现patch化比unfold再线性映射效率更高。H和W要传回给动态滤波器使用因为token序列已经丢失了二维结构信息。需要注意的是输入的img_size只是用来初始化位置编码占位实际前向时以传入x的尺寸为准。3.2 完整DFFormer Block一个完整的 DFFormer Block 由动态滤波器和前馈网络组成与标准Transformer Block的不同只在于把MHSA替换成DynamicFilter。LayerNorm放在前面是Pre-LN结构训练更稳定。class DFBlock(nn.Module): def __init__(self, dim, mlp_ratio4.0, drop_path0.1): super().__init__() self.norm1 nn.LayerNorm(dim) self.filter DynamicFilter(dim) self.norm2 nn.LayerNorm(dim) self.mlp nn.Sequential( nn.Linear(dim, int(dim * mlp_ratio)), nn.GELU(), nn.Linear(int(dim * mlp_ratio), dim) ) self.drop_path DropPath(drop_path) if drop_path 0 else nn.Identity() def forward(self, x, H, W): x x self.drop_path(self.filter(self.norm1(x), H, W)) x x self.drop_path(self.mlp(self.norm2(x))) return xdrop_path是Stochastic Depth随机丢弃整条分支在深网络中能明显提升泛化。训练时概率设0.1~0.2推理时自动恒等。实际使用中如果数据量只有几千mlp_ratio从4降到2会更稳因为MLP占了模型大部分参数量。3.3 分类模型的组装模型最后接全局平均池化和线性分类头。有人习惯用CLS token但DFFormer的频域混合器不具备显式的全局聚合能力全局平均池化更稳定。class DFFormerClassifier(nn.Module): def __init__(self, img_size224, patch_size16, num_classes10, dim384, depth12, num_blocks6): super().__init__() self.patch_embed PatchEmbed(img_size, patch_size, 3, dim) self.pos_drop nn.Dropout(0.1) self.blocks nn.ModuleList([ DFBlock(dim) for _ in range(depth) ]) self.norm nn.LayerNorm(dim) self.head nn.Linear(dim, num_classes) def forward(self, x): x, H, W self.patch_embed(x) x self.pos_drop(x) for blk in self.blocks: x blk(x, H, W) x self.norm(x) x x.mean(dim1) return self.head(x)参数说明depth表示DFBlock层数dim是embedding维度num_classes是分类数。当数据集类数不平衡时建议在nn.Linear里设置biasFalse因为分类头的bias在类别差异大时会吸收过多偏置导致早期训练震荡。pos_drop在ViT里也常见但量级不宜大0.1即可过大会抹掉位置信息。4. 图像分类训练实战配置、损失与收敛判断4.1 数据加载与增强策略图像分类任务中如果直接用原始图片训练DFFormer的动态滤波器很容易陷入只用低频的模式。经验上强增强裁剪、翻转、颜色抖动对FFT类模型的作用比注意力模型更明显因为增强等价于给频域做扰动迫使滤波器学到不随光照、位移变化的频率模式。from torchvision import transforms train_transform transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.08, 1.0)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.4, contrast0.4, saturation0.4), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])scale(0.08, 1.0)是模仿DeiT的随机裁剪范围。对小目标分类建议把scale下限调到0.3因为裁剪面积过小时小目标会被缩小到不可辨认。颜色抖动对频域模型尤其重要它能防止滤波器对颜色边界这类高频信号过度敏感。4.2 优化器、学习率与损失函数动态滤波器包含复数乘法和FFT梯度流比普通卷积更复杂。直接套用AdamW时如果权重衰减系数照搬ViT的0.05频率滤波器会退化到接近常数我一般把权重衰减分成两组常规模块0.05动态滤波器的MLP用0.01。参数推荐值说明optimizerAdamW比SGD收敛快FFT梯度噪声较大base_lr1e-3batch_size512时稳定batch大则按比例调weight_decay0.05 / 0.01普通模块0.05滤波器模块0.01warmup_epochs5频域滤波器初期梯度方差大必须warmuplr_schedulecosine decay与warmup配合最优batch_size256~512过小容易让频域噪声主导更新warmup不是可选项。动态滤波器的输出在初期会剧烈变化如果没有warmup学习率跳变会直接导致loss冲到几个数量级以上。另外当batch_size小于等于64时建议把warmup时间延长到10个epoch否则BN层如果有和滤波器会互相干扰。4.3 训练循环与梯度裁剪FFT对输入中的异常值非常敏感偶尔会产出远超正常量级的梯度尤其是相位分支。加梯度裁剪是必须的全局范数裁剪阈值1.0即可。scaler torch.cuda.amp.GradScaler() for epoch in range(epochs): model.train() total_loss 0.0 correct 0 total 0 for images, labels in train_loader: images, labels images.cuda(), labels.cuda() optimizer.zero_grad() with torch.cuda.amp.autocast(): outputs model(images) loss nn.CrossEntropyLoss()(outputs, labels) scaler.scale(loss).backward() # 先unscale再clip scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) scaler.step(optimizer) scaler.update() total_loss loss.item() _, preds outputs.max(1) correct preds.eq(labels).sum().item() total labels.size(0) train_acc 100.0 * correct / total avg_loss total_loss / len(train_loader) print(fepoch{epoch:03d} loss{avg_loss:.4f} acc{train_acc:.2f}%)clip_grad_norm_必须放在scaler.unscale_之后否则梯度被混合精度缩放统一clip会失效。混合精度对FFT有额外好处半精度计算会近似滤掉极高频的微小噪声相当于隐式正则化。如果不想用AMP也可以全精度训练但batch_size需要减半。4.4 收敛判断与常见失败模式一个典型的正常收敛曲线是前5个warmup epoch内loss缓慢下降准确率可能只有20%~30%因为动态滤波器正在调整自己的初始频响warmup结束后loss曲线出现一次明显下降这是滤波器开始真正起效的信号。如果epoch 3左右loss不降反升优先检查滤波器输出的数值范围。在调试时我通常打印每个DFBlock输出的均值方差。如果某个block的输出标准差持续大于输入标准差的两倍说明gate参数漂移过大需要把gate初始化改成-2或者对gate加L2约束。另一个常见问题出现在高分辨率推理训练用224测试用448由于patch数变成4倍FFT的频点分布改变滤波器却是在224分辨率下学的。此时需要把滤波器MLP的输入做层归一化或者干脆在推理时用插值把特征图缩回训练分辨率先分类再上采样热力图。5. 让模型更稳的小技巧学习率重启动与频域可视化验证5.1 用Cosine Annealing with Warm Restarts代替单调下降DFFormer的loss曲面在频率参数方向上比较崎岖常规cosine decay很容易卡到局部极小。我改用带重启的cosine每30个epoch一组学习率从1e-3降到1e-5后立刻跳回1e-3。重启之后模型会短暂丢失一部分已学到的频率响应但通常2~3个epoch就能恢复到原来的准确率并继续上升。下面是配置片段from torch.optim.lr_scheduler import CosineAnnealingWarmRestarts scheduler CosineAnnealingWarmRestarts( optimizer, T_030, T_mult2, eta_min1e-6 ) # 每个step后更新需要传入当前step # scheduler.step(epoch step / total_steps)T_030是首次重启周期T_mult2让后续周期翻倍。重启的关键在于学习率要掉到足够低再回升否则模型记忆已经被巩固重启只会在原区域小幅震动。如果你发现重启后准确率总是回不到前一个峰值说明周期太长把T_0减半。5.2 可视化频率响应确认模型学到了什么图像分类准确率不能告诉你动态滤波器是否真的在区分纹理。我常用的一种验证方法是把测试图喂进模型截取第一个DFBlock的幅度调制图在频谱空间里画出来。def inspect_filter(model, image, block_index0): model.eval() features {} def hook_fn(module, input, output): features[x] input[0].detach() features[y] output.detach() model.blocks[block_index].filter.register_forward_hook(hook_fn) with torch.no_grad(): model(image.unsqueeze(0)) return features[x], features[y]拿到x和y后计算幅度差abs(y - x).mean(dim1)reshape成H×W并在频谱坐标下显示。如果这个幅度图呈现以中心为圆心的同心圆说明模型主要在做低通滤波没什么区分性如果幅度图在不同类别图片上有明显不同的高频响应模式说明动态滤波器确实学到了与类别相关的频域特征。5.3 训练时冻结局部滤波器有一个实用小技巧在训练前20个epoch冻结后一半DFBlock的动态滤波器只训练前一半滤波器和分类头。原因是后面层更接近分类决策如果它们在高频噪声上过拟合会把梯度传给前面层导致整个频域学习坍塌。冻结的方式for idx, blk in enumerate(model.blocks): if idx len(model.blocks) // 2: for p in blk.filter.parameters(): p.requires_grad False前20个epoch后解冻所有参数把其中一半层的学习率调低为原来的0.1。这种“渐进解冻”策略在很多视觉Transformer里都有效但DFFormer提升尤其明显因为频域参数的自由度更高小数据集上一不小心就记住了训练集的频谱噪声。解冻时学习率一定要低于全局学习率否则后层滤波器会被突然出现的梯度击穿导致损失出现尖峰。本文还有配套的精品资源点击获取