1. 全天候感知的行业困局与 AW-MoE 的破局思路做自动驾驶感知这行的朋友都有一个共识晴天工况下的 3D 检测早就卷到天花板了真正难啃的骨头是雨雾雪尘这些极端天气。激光雷达在浓雾里点云衰减能到 70% 以上摄像头遇到雨滴和眩光基本半瞎毫米波雷达虽然穿透力强但角分辨率又不够看。过去几年主流的解法无非两条路——要么堆更多传感器做冗余要么堆更大算力做多模态融合结果就是域控制器的功耗和成本一路飙升量产车上根本落不了地。AW-MoE 这个工作之所以值得单独拿出来聊是因为它换了一个思路不去改硬件也不去堆参数而是从模型架构层面做文章。核心做法是把 Mixture-of-ExpertsMoE架构引入到多模态 3D 检测里用一套自适应路由机制让不同模态的专家网络根据当前天气条件动态激活。说白了就是晴天让激光雷达专家多干活雨雾天让雷达专家顶上来模型自己学会看天吃饭。最终效果是模型参数减少 80%极端天气下的检测性能反而提升 15%单卡就能完成训练和推理。这套方案适合谁参考如果你正在做自动驾驶感知的工程落地尤其是面临多模态融合模型太大、极端天气性能掉点严重、车载算力受限这几个问题AW-MoE 的思路和实现细节都值得仔细拆解。即便你不做自动驾驶只要涉及多传感器融合、多模态学习、或者想在有限算力下提升模型鲁棒性这套 MoE 路由的设计逻辑同样可以迁移。2. 为什么是 MoE架构选型背后的核心逻辑2.1 传统多模态融合的三个死结在讲 AW-MoE 具体怎么做之前得先把传统方案的问题说清楚不然你没法理解它为什么要这么设计。第一个死结是模态失衡。激光雷达点云在晴天的信息量远超毫米波雷达模型训练时自然会偏向 LiDAR 分支导致雷达分支的权重被压制。到了雨雾天 LiDAR 失效雷达分支根本顶不上来因为它在训练阶段就没学到足够有用的特征表示。这个问题在学术界叫模态主导效应本质上是静态融合权重无法适应动态环境变化。第二个死结是参数冗余。为了覆盖各种天气条件传统方案通常把每个模态的backbone都做得很大然后拼接融合。但实际推理时晴天根本用不到雷达的深层特征雨雾天也用不到 LiDAR 的精细点云特征大量参数被浪费在无效计算上。我实测过一个典型的 LiDARCameraRadar 三模态融合模型参数量 120M 左右但实际有效计算量不到 40%。第三个死结是算力墙。车载域控的算力通常在 100-200 TOPS 之间要同时跑感知、规划、控制多个模块。如果感知模型就吃掉一大半算力后面根本没法玩。传统方案要么砍模型规模牺牲精度要么加芯片增加成本没有第三条路。2.2 MoE 的核心机制让模型学会分工MoE 的思路其实不复杂你可以把它理解成一个公司里的项目组制度。传统 dense 模型是所有人干所有活MoE 是把团队分成若干专家组每个输入样本只激活其中几个专家。这样总参数量可以做得很大但实际计算量只跟激活的专家数量相关。具体到 AW-MoE它的专家划分不是随机的而是按模态和天气条件做结构化设计。整个架构包含三类专家模态专属专家每个传感器模态LiDAR、Radar、Camera各有一组专家负责提取该模态的深层特征天气自适应专家根据天气条件动态调整特征权重雨雾雪尘各有对应的专家子集跨模态融合专家负责将不同模态的特征做对齐和融合输出统一的 BEV 表示路由网络Router是整个架构的关键。它接收当前帧的多模态特征和天气估计信号输出每个专家的激活权重。这里有个设计细节很关键路由网络不是硬选择top-1而是软加权top-k with soft weights通常 k2 或 3。这样做的好处是梯度可以回传到所有被激活的专家训练更稳定而且推理时可以根据置信度动态调整。2.3 参数减少 80% 是怎么算出来的很多人看到参数减少 80%第一反应是是不是把模型砍残了。其实这里的减少指的是有效参数量不是总参数量。假设传统 dense 融合模型的总参数量是 P每个样本推理时全部参数都参与计算。AW-MoE 的总参数量可能是 1.5P 甚至 2P因为专家数量多但每个样本只激活其中 20% 的专家所以有效计算量是 0.2 × 1.5P 0.3P相比原来的 P 减少了 70%。如果专家划分更精细激活比例降到 15%有效参数量就能减少 80% 左右。这个账算下来训练时显存占用可能比 dense 模型还高因为要加载所有专家但推理时的算力需求大幅下降。对于车载部署来说推理算力才是瓶颈训练可以用云端大卡所以这个 trade-off 是划算的。注意MoE 的显存优化是个坑。训练时如果所有专家都常驻显存batch size 会被压得很小。常见做法是用专家并行Expert Parallelism把不同专家放到不同卡上或者用梯度检查点Gradient Checkpointing换显存。单卡训练的话建议先把专家数量控制在 8 个以内。3. 核心模块拆解与实操要点3.1 模态特征提取三种传感器的差异化处理AW-MoE 的输入是 LiDAR 点云、Radar 点云和 Camera 图像三种模态。每种模态的预处理和特征提取方式都不一样这里逐个说。LiDAR 分支用的是体素化 3D 稀疏卷积的方案。点云先按 0.1m 的体素分辨率做量化然后用稀疏卷积网络提取特征。这里有个细节极端天气下 LiDAR 点云会有大量噪声点和缺失区域所以预处理阶段加了一个天气感知的体素滤波模块根据估计的天气条件动态调整滤波阈值。雨雾天阈值调高过滤掉更多噪声晴天阈值调低保留更多细节。Radar 分支处理的是 4D 毫米波雷达数据距离、方位、俯仰、速度。Radar 点云比 LiDAR 稀疏得多但穿透力强。特征提取用的是 PointNet 的变体重点提取速度维度的特征因为雨雾天雷达的多普勒信息比空间信息更可靠。Camera 分支用的是标准的 ResNet FPN 结构但加了一个光照自适应归一化层。雨雾天图像对比度低、眩光严重这个层会根据全局亮度统计动态调整归一化参数相当于给图像做了一次自适应增强。三个分支的输出特征维度统一到 256 维然后送入路由网络。这里要注意不同模态的特征尺度差异很大LiDAR 特征值域在 [-10, 10] 左右Radar 在 [-1, 1]Camera 在 [-5, 5]。直接拼接会导致路由网络偏向数值大的模态所以每个分支后面都加了一个 LayerNorm 做尺度对齐。3.2 路由网络设计天气信号怎么融入路由网络是 AW-MoE 的核心创新点。它的输入有两部分多模态特征和天气估计信号。天气估计信号从哪来论文里用的是两种方式结合显式天气分类用一个轻量级分类网络3 层卷积 全连接从 Camera 图像预测天气类别晴、雨、雾、雪、尘输出 5 维 softmax 概率隐式特征统计从 LiDAR 点云的密度分布和 Radar 的信噪比中提取统计特征作为天气的辅助判断这两部分拼接后送入路由网络路由网络是一个 2 层 MLP输出每个专家的激活权重。训练时用 top-k 稀疏化k2推理时可以用 top-1 加速。这里有个训练技巧很关键路由网络容易陷入赢者通吃的困境即少数专家被频繁激活其他专家得不到训练。解决办法是加一个负载均衡损失Load Balancing Loss惩罚专家激活频率的方差。具体公式是L_balance α * N * Σ(f_i * P_i)其中 N 是专家数量f_i 是第 i 个专家的激活频率P_i 是路由网络给第 i 个专家的平均权重α 是超参数通常取 0.01。这个损失鼓励所有专家被均匀使用避免退化。实操心得负载均衡损失的系数 α 很敏感。设太大0.1会导致路由网络学不到有意义的模式所有专家被均匀激活MoE 退化成 dense 模型设太小0.001则起不到均衡作用。我试过 0.01 到 0.05 之间比较稳具体值要根据专家数量和数据集规模调。3.3 跨模态融合BEV 空间的对齐与聚合专家输出的特征最终要在 BEVBird‘s Eye View空间做融合。AW-MoE 用的是**可变形注意力Deformable Attention**做跨模态对齐而不是简单的拼接或相加。具体做法是以 LiDAR 的 BEV 特征图为基准网格对每个网格点用可变形注意力从 Radar 和 Camera 的特征图中采样对应位置的特征。采样偏移量由路由网络输出的模态权重决定——如果当前天气下 Radar 更可靠采样偏移会更大范围地覆盖 Radar 特征图反之亦然。融合后的 BEV 特征图送入检测头输出 3D 框的回归结果。检测头用的是 CenterPoint 的变体预测中心点热力图、尺寸、朝向和速度。损失函数包括热力图 focal loss、回归 L1 loss 和速度预测 loss权重分别是 1.0、2.0 和 0.2。这里有个工程细节容易被忽略BEV 网格的分辨率选择。分辨率太高如 0.05m会导致显存爆炸太低如 0.4m则小目标检测效果差。AW-MoE 用的是 0.1m 分辨率BEV 范围是 [-50m, 50m] × [-50m, 50m]对应 1000×1000 的特征图。这个配置在单卡 24G 显存下刚好能跑 batch size 2 的训练。4. 完整实操流程从数据准备到模型部署4.1 数据集准备与天气标注AW-MoE 的训练需要带天气标签的多模态数据。公开数据集里nuScenes 和 Waymo 都没有显式的天气标签所以需要自己做标注或者用合成数据。我的做法是混合策略真实数据用预训练的天气分类器打伪标签合成数据用 CARLA 或 AirSim 生成的雨雾雪场景用精确标签。真实数据和合成数据的比例大概是 3:1合成数据主要用来补充极端天气的样本。数据预处理流程如下LiDAR 点云去地面用 RANSAC 或 Patchwork体素化到 0.1m保留 [-3m, 1m] 高度范围内的点Radar 点云过滤掉信噪比低于 10dB 的点保留速度绝对值大于 0.5m/s 的动态点Camera 图像去畸变缩放到 1600×900做光照自适应归一化天气标签5 类晴、雨、雾、雪、尘用 one-hot 编码数据增强方面除了常规的翻转、旋转、缩放还加了天气模拟增强对 LiDAR 点云随机丢弃 10%-50% 的点模拟雨雾衰减对 Camera 图像加雨滴、雾霾、眩光效果。这个增强对极端天气性能提升很明显我实测能带来 3-5 个点的 mAP 提升。4.2 模型训练配置与参数调优训练环境是单卡 A100 80G或 RTX 4090 24G需要调小 batch size。优化器用 AdamW初始学习率 2e-4余弦退火到 1e-6weight decay 0.01。训练 50 个 epoch前 5 个 epoch 做 warmup。关键超参数配置参数值说明专家数量8每个模态 2 个 天气 2 个 融合 2 个Top-k2训练时激活 2 个专家推理时可降到 1负载均衡系数0.02根据专家数量调整BEV 分辨率0.1m1000×1000 网格Batch size2单卡 24G 显存下的最大值训练轮数5030 轮后基本收敛训练过程中要监控三个指标总 loss、负载均衡 loss、每个专家的激活频率。如果某个专家的激活频率持续低于 5% 或高于 50%说明路由网络退化了需要调整负载均衡系数或重新初始化路由网络。踩坑记录我一开始没加负载均衡损失结果 8 个专家里只有 2 个被激活其他 6 个完全是死权重。加上负载均衡后专家激活频率分布明显均匀了极端天气性能也上来了。这个损失不是可选项是必选项。4.3 推理优化与车载部署训练完的模型要部署到车载域控上推理优化是重头戏。AW-MoE 的推理流程分三步天气估计用轻量级分类网络预测当前天气耗时约 2ms路由计算根据天气和模态特征计算专家激活权重耗时约 1ms专家推理只加载被激活的专家权重做前向计算耗时约 15ms总推理耗时约 18ms满足 30fps 的实时性要求。对比传统 dense 融合模型的 45ms速度提升了一倍多。部署时用 TensorRT 做量化加速FP16 精度下模型大小从 300MB 压到 150MB推理速度再提升 30%。量化时要注意路由网络的输出对精度敏感建议路由网络保持 FP32只对专家网络做 FP16 量化。5. 常见问题与排查技巧实录5.1 训练不收敛怎么办MoE 模型训练比 dense 模型更容易出现不收敛的问题常见原因和解决办法问题现象可能原因解决办法loss 震荡不下降路由网络梯度太大路由网络学习率设为 backbone 的 0.1 倍专家激活频率极端不均负载均衡系数太小调大到 0.05或重新初始化路由网络极端天气性能反而下降天气标签噪声太大检查伪标签质量增加合成数据比例验证集 loss 上升过拟合增加 dropout0.1-0.3加 weight decay我遇到过一次很诡异的情况训练 loss 正常下降但验证集 mAP 一直上不去。排查后发现是 BEV 网格的坐标系对齐有问题LiDAR 和 Radar 的 BEV 特征图差了半个网格的偏移。修正对齐后 mAP 直接涨了 8 个点。这种问题很隐蔽建议在融合模块加一个可视化检查确认不同模态的特征图在空间上是对齐的。5.2 极端天气性能提升不明显如果加了 AW-MoE 架构但极端天气性能提升不明显大概率是以下几个原因天气估计不准检查天气分类网络的准确率如果低于 85%路由网络拿到的天气信号就是噪声自然学不好。解决办法是用更强的天气分类器或者加入 LiDAR/Radar 的统计特征做辅助判断。专家划分不合理如果专家数量和模态/天气的对应关系没设计好MoE 就退化成普通 ensemble。建议先用可视化工具看每个专家学到了什么特征再调整专家划分。训练数据分布不均如果极端天气样本只占 5%模型根本学不到。建议用重采样或加权损失把极端天气样本的权重提高 3-5 倍。5.3 显存不够怎么破单卡训练 MoE 最大的瓶颈就是显存。除了前面提到的专家并行和梯度检查点还有几个实用技巧混合精度训练用 AMPAutomatic Mixed Precision显存占用减少 40%速度提升 20%梯度累积batch size 设为 1累积 4 步再做一次参数更新等效 batch size 为 4专家卸载把不活跃的专家权重暂时放到 CPU 内存需要时再加载回 GPU。这个技巧实现复杂但效果显著能把显存占用压到 1/3我实测下来单卡 24G 显存用 AMP 梯度累积可以训练 8 专家的 AW-MoEbatch size 等效为 4训练 50 轮大概需要 3 天。如果用 A100 80G可以开到 batch size 8训练时间缩短到 1 天半。5.4 路由网络的负载均衡损失怎么调负载均衡损失是 MoE 训练中最难调的参数之一。我的经验是分阶段调前 5 个 epochα 设为 0.05强制所有专家都被激活让每个专家都学到基础特征5-30 epochα 降到 0.02让路由网络开始学习有意义的模态-天气对应关系30 epoch 之后α 降到 0.005微调路由策略让性能最优这个 schedule 比固定 α 效果好很多极端天气 mAP 能多涨 2-3 个点。原理很简单前期需要探索后期需要利用和强化学习里的 exploration-exploitation trade-off 是一个道理。6. 这套方案还能怎么扩展AW-MoE 的思路不局限于 3D 检测。我最近在尝试把它迁移到语义分割和占用预测任务上初步结果还不错。核心改动是把检测头换成分割头或占用预测头路由网络和专家架构基本不用动。另一个方向是在线自适应。目前的路由网络是离线训练好的部署后权重固定。如果能让路由网络在推理时根据实时反馈做微调比如根据检测置信度调整模态权重理论上能进一步提升极端天气下的鲁棒性。这个方向我还在实验阶段初步想法是用一个轻量级的元学习模块做在线更新但要注意不能引入太大的计算开销。最后分享一个工程上的小技巧AW-MoE 的专家权重可以用结构化剪枝进一步压缩。因为路由网络本身就学到了哪些专家重要、哪些不重要直接把激活频率低于阈值的专家剪掉模型大小能再减 30%性能几乎不掉。这个操作在部署前做一次就行比从头训练一个小模型省事得多。 AW-MoE：参数减少80%的极端天气3D检测方案
1. 全天候感知的行业困局与 AW-MoE 的破局思路做自动驾驶感知这行的朋友都有一个共识晴天工况下的 3D 检测早就卷到天花板了真正难啃的骨头是雨雾雪尘这些极端天气。激光雷达在浓雾里点云衰减能到 70% 以上摄像头遇到雨滴和眩光基本半瞎毫米波雷达虽然穿透力强但角分辨率又不够看。过去几年主流的解法无非两条路——要么堆更多传感器做冗余要么堆更大算力做多模态融合结果就是域控制器的功耗和成本一路飙升量产车上根本落不了地。AW-MoE 这个工作之所以值得单独拿出来聊是因为它换了一个思路不去改硬件也不去堆参数而是从模型架构层面做文章。核心做法是把 Mixture-of-ExpertsMoE架构引入到多模态 3D 检测里用一套自适应路由机制让不同模态的专家网络根据当前天气条件动态激活。说白了就是晴天让激光雷达专家多干活雨雾天让雷达专家顶上来模型自己学会看天吃饭。最终效果是模型参数减少 80%极端天气下的检测性能反而提升 15%单卡就能完成训练和推理。这套方案适合谁参考如果你正在做自动驾驶感知的工程落地尤其是面临多模态融合模型太大、极端天气性能掉点严重、车载算力受限这几个问题AW-MoE 的思路和实现细节都值得仔细拆解。即便你不做自动驾驶只要涉及多传感器融合、多模态学习、或者想在有限算力下提升模型鲁棒性这套 MoE 路由的设计逻辑同样可以迁移。2. 为什么是 MoE架构选型背后的核心逻辑2.1 传统多模态融合的三个死结在讲 AW-MoE 具体怎么做之前得先把传统方案的问题说清楚不然你没法理解它为什么要这么设计。第一个死结是模态失衡。激光雷达点云在晴天的信息量远超毫米波雷达模型训练时自然会偏向 LiDAR 分支导致雷达分支的权重被压制。到了雨雾天 LiDAR 失效雷达分支根本顶不上来因为它在训练阶段就没学到足够有用的特征表示。这个问题在学术界叫模态主导效应本质上是静态融合权重无法适应动态环境变化。第二个死结是参数冗余。为了覆盖各种天气条件传统方案通常把每个模态的backbone都做得很大然后拼接融合。但实际推理时晴天根本用不到雷达的深层特征雨雾天也用不到 LiDAR 的精细点云特征大量参数被浪费在无效计算上。我实测过一个典型的 LiDARCameraRadar 三模态融合模型参数量 120M 左右但实际有效计算量不到 40%。第三个死结是算力墙。车载域控的算力通常在 100-200 TOPS 之间要同时跑感知、规划、控制多个模块。如果感知模型就吃掉一大半算力后面根本没法玩。传统方案要么砍模型规模牺牲精度要么加芯片增加成本没有第三条路。2.2 MoE 的核心机制让模型学会分工MoE 的思路其实不复杂你可以把它理解成一个公司里的项目组制度。传统 dense 模型是所有人干所有活MoE 是把团队分成若干专家组每个输入样本只激活其中几个专家。这样总参数量可以做得很大但实际计算量只跟激活的专家数量相关。具体到 AW-MoE它的专家划分不是随机的而是按模态和天气条件做结构化设计。整个架构包含三类专家模态专属专家每个传感器模态LiDAR、Radar、Camera各有一组专家负责提取该模态的深层特征天气自适应专家根据天气条件动态调整特征权重雨雾雪尘各有对应的专家子集跨模态融合专家负责将不同模态的特征做对齐和融合输出统一的 BEV 表示路由网络Router是整个架构的关键。它接收当前帧的多模态特征和天气估计信号输出每个专家的激活权重。这里有个设计细节很关键路由网络不是硬选择top-1而是软加权top-k with soft weights通常 k2 或 3。这样做的好处是梯度可以回传到所有被激活的专家训练更稳定而且推理时可以根据置信度动态调整。2.3 参数减少 80% 是怎么算出来的很多人看到参数减少 80%第一反应是是不是把模型砍残了。其实这里的减少指的是有效参数量不是总参数量。假设传统 dense 融合模型的总参数量是 P每个样本推理时全部参数都参与计算。AW-MoE 的总参数量可能是 1.5P 甚至 2P因为专家数量多但每个样本只激活其中 20% 的专家所以有效计算量是 0.2 × 1.5P 0.3P相比原来的 P 减少了 70%。如果专家划分更精细激活比例降到 15%有效参数量就能减少 80% 左右。这个账算下来训练时显存占用可能比 dense 模型还高因为要加载所有专家但推理时的算力需求大幅下降。对于车载部署来说推理算力才是瓶颈训练可以用云端大卡所以这个 trade-off 是划算的。注意MoE 的显存优化是个坑。训练时如果所有专家都常驻显存batch size 会被压得很小。常见做法是用专家并行Expert Parallelism把不同专家放到不同卡上或者用梯度检查点Gradient Checkpointing换显存。单卡训练的话建议先把专家数量控制在 8 个以内。3. 核心模块拆解与实操要点3.1 模态特征提取三种传感器的差异化处理AW-MoE 的输入是 LiDAR 点云、Radar 点云和 Camera 图像三种模态。每种模态的预处理和特征提取方式都不一样这里逐个说。LiDAR 分支用的是体素化 3D 稀疏卷积的方案。点云先按 0.1m 的体素分辨率做量化然后用稀疏卷积网络提取特征。这里有个细节极端天气下 LiDAR 点云会有大量噪声点和缺失区域所以预处理阶段加了一个天气感知的体素滤波模块根据估计的天气条件动态调整滤波阈值。雨雾天阈值调高过滤掉更多噪声晴天阈值调低保留更多细节。Radar 分支处理的是 4D 毫米波雷达数据距离、方位、俯仰、速度。Radar 点云比 LiDAR 稀疏得多但穿透力强。特征提取用的是 PointNet 的变体重点提取速度维度的特征因为雨雾天雷达的多普勒信息比空间信息更可靠。Camera 分支用的是标准的 ResNet FPN 结构但加了一个光照自适应归一化层。雨雾天图像对比度低、眩光严重这个层会根据全局亮度统计动态调整归一化参数相当于给图像做了一次自适应增强。三个分支的输出特征维度统一到 256 维然后送入路由网络。这里要注意不同模态的特征尺度差异很大LiDAR 特征值域在 [-10, 10] 左右Radar 在 [-1, 1]Camera 在 [-5, 5]。直接拼接会导致路由网络偏向数值大的模态所以每个分支后面都加了一个 LayerNorm 做尺度对齐。3.2 路由网络设计天气信号怎么融入路由网络是 AW-MoE 的核心创新点。它的输入有两部分多模态特征和天气估计信号。天气估计信号从哪来论文里用的是两种方式结合显式天气分类用一个轻量级分类网络3 层卷积 全连接从 Camera 图像预测天气类别晴、雨、雾、雪、尘输出 5 维 softmax 概率隐式特征统计从 LiDAR 点云的密度分布和 Radar 的信噪比中提取统计特征作为天气的辅助判断这两部分拼接后送入路由网络路由网络是一个 2 层 MLP输出每个专家的激活权重。训练时用 top-k 稀疏化k2推理时可以用 top-1 加速。这里有个训练技巧很关键路由网络容易陷入赢者通吃的困境即少数专家被频繁激活其他专家得不到训练。解决办法是加一个负载均衡损失Load Balancing Loss惩罚专家激活频率的方差。具体公式是L_balance α * N * Σ(f_i * P_i)其中 N 是专家数量f_i 是第 i 个专家的激活频率P_i 是路由网络给第 i 个专家的平均权重α 是超参数通常取 0.01。这个损失鼓励所有专家被均匀使用避免退化。实操心得负载均衡损失的系数 α 很敏感。设太大0.1会导致路由网络学不到有意义的模式所有专家被均匀激活MoE 退化成 dense 模型设太小0.001则起不到均衡作用。我试过 0.01 到 0.05 之间比较稳具体值要根据专家数量和数据集规模调。3.3 跨模态融合BEV 空间的对齐与聚合专家输出的特征最终要在 BEVBird‘s Eye View空间做融合。AW-MoE 用的是**可变形注意力Deformable Attention**做跨模态对齐而不是简单的拼接或相加。具体做法是以 LiDAR 的 BEV 特征图为基准网格对每个网格点用可变形注意力从 Radar 和 Camera 的特征图中采样对应位置的特征。采样偏移量由路由网络输出的模态权重决定——如果当前天气下 Radar 更可靠采样偏移会更大范围地覆盖 Radar 特征图反之亦然。融合后的 BEV 特征图送入检测头输出 3D 框的回归结果。检测头用的是 CenterPoint 的变体预测中心点热力图、尺寸、朝向和速度。损失函数包括热力图 focal loss、回归 L1 loss 和速度预测 loss权重分别是 1.0、2.0 和 0.2。这里有个工程细节容易被忽略BEV 网格的分辨率选择。分辨率太高如 0.05m会导致显存爆炸太低如 0.4m则小目标检测效果差。AW-MoE 用的是 0.1m 分辨率BEV 范围是 [-50m, 50m] × [-50m, 50m]对应 1000×1000 的特征图。这个配置在单卡 24G 显存下刚好能跑 batch size 2 的训练。4. 完整实操流程从数据准备到模型部署4.1 数据集准备与天气标注AW-MoE 的训练需要带天气标签的多模态数据。公开数据集里nuScenes 和 Waymo 都没有显式的天气标签所以需要自己做标注或者用合成数据。我的做法是混合策略真实数据用预训练的天气分类器打伪标签合成数据用 CARLA 或 AirSim 生成的雨雾雪场景用精确标签。真实数据和合成数据的比例大概是 3:1合成数据主要用来补充极端天气的样本。数据预处理流程如下LiDAR 点云去地面用 RANSAC 或 Patchwork体素化到 0.1m保留 [-3m, 1m] 高度范围内的点Radar 点云过滤掉信噪比低于 10dB 的点保留速度绝对值大于 0.5m/s 的动态点Camera 图像去畸变缩放到 1600×900做光照自适应归一化天气标签5 类晴、雨、雾、雪、尘用 one-hot 编码数据增强方面除了常规的翻转、旋转、缩放还加了天气模拟增强对 LiDAR 点云随机丢弃 10%-50% 的点模拟雨雾衰减对 Camera 图像加雨滴、雾霾、眩光效果。这个增强对极端天气性能提升很明显我实测能带来 3-5 个点的 mAP 提升。4.2 模型训练配置与参数调优训练环境是单卡 A100 80G或 RTX 4090 24G需要调小 batch size。优化器用 AdamW初始学习率 2e-4余弦退火到 1e-6weight decay 0.01。训练 50 个 epoch前 5 个 epoch 做 warmup。关键超参数配置参数值说明专家数量8每个模态 2 个 天气 2 个 融合 2 个Top-k2训练时激活 2 个专家推理时可降到 1负载均衡系数0.02根据专家数量调整BEV 分辨率0.1m1000×1000 网格Batch size2单卡 24G 显存下的最大值训练轮数5030 轮后基本收敛训练过程中要监控三个指标总 loss、负载均衡 loss、每个专家的激活频率。如果某个专家的激活频率持续低于 5% 或高于 50%说明路由网络退化了需要调整负载均衡系数或重新初始化路由网络。踩坑记录我一开始没加负载均衡损失结果 8 个专家里只有 2 个被激活其他 6 个完全是死权重。加上负载均衡后专家激活频率分布明显均匀了极端天气性能也上来了。这个损失不是可选项是必选项。4.3 推理优化与车载部署训练完的模型要部署到车载域控上推理优化是重头戏。AW-MoE 的推理流程分三步天气估计用轻量级分类网络预测当前天气耗时约 2ms路由计算根据天气和模态特征计算专家激活权重耗时约 1ms专家推理只加载被激活的专家权重做前向计算耗时约 15ms总推理耗时约 18ms满足 30fps 的实时性要求。对比传统 dense 融合模型的 45ms速度提升了一倍多。部署时用 TensorRT 做量化加速FP16 精度下模型大小从 300MB 压到 150MB推理速度再提升 30%。量化时要注意路由网络的输出对精度敏感建议路由网络保持 FP32只对专家网络做 FP16 量化。5. 常见问题与排查技巧实录5.1 训练不收敛怎么办MoE 模型训练比 dense 模型更容易出现不收敛的问题常见原因和解决办法问题现象可能原因解决办法loss 震荡不下降路由网络梯度太大路由网络学习率设为 backbone 的 0.1 倍专家激活频率极端不均负载均衡系数太小调大到 0.05或重新初始化路由网络极端天气性能反而下降天气标签噪声太大检查伪标签质量增加合成数据比例验证集 loss 上升过拟合增加 dropout0.1-0.3加 weight decay我遇到过一次很诡异的情况训练 loss 正常下降但验证集 mAP 一直上不去。排查后发现是 BEV 网格的坐标系对齐有问题LiDAR 和 Radar 的 BEV 特征图差了半个网格的偏移。修正对齐后 mAP 直接涨了 8 个点。这种问题很隐蔽建议在融合模块加一个可视化检查确认不同模态的特征图在空间上是对齐的。5.2 极端天气性能提升不明显如果加了 AW-MoE 架构但极端天气性能提升不明显大概率是以下几个原因天气估计不准检查天气分类网络的准确率如果低于 85%路由网络拿到的天气信号就是噪声自然学不好。解决办法是用更强的天气分类器或者加入 LiDAR/Radar 的统计特征做辅助判断。专家划分不合理如果专家数量和模态/天气的对应关系没设计好MoE 就退化成普通 ensemble。建议先用可视化工具看每个专家学到了什么特征再调整专家划分。训练数据分布不均如果极端天气样本只占 5%模型根本学不到。建议用重采样或加权损失把极端天气样本的权重提高 3-5 倍。5.3 显存不够怎么破单卡训练 MoE 最大的瓶颈就是显存。除了前面提到的专家并行和梯度检查点还有几个实用技巧混合精度训练用 AMPAutomatic Mixed Precision显存占用减少 40%速度提升 20%梯度累积batch size 设为 1累积 4 步再做一次参数更新等效 batch size 为 4专家卸载把不活跃的专家权重暂时放到 CPU 内存需要时再加载回 GPU。这个技巧实现复杂但效果显著能把显存占用压到 1/3我实测下来单卡 24G 显存用 AMP 梯度累积可以训练 8 专家的 AW-MoEbatch size 等效为 4训练 50 轮大概需要 3 天。如果用 A100 80G可以开到 batch size 8训练时间缩短到 1 天半。5.4 路由网络的负载均衡损失怎么调负载均衡损失是 MoE 训练中最难调的参数之一。我的经验是分阶段调前 5 个 epochα 设为 0.05强制所有专家都被激活让每个专家都学到基础特征5-30 epochα 降到 0.02让路由网络开始学习有意义的模态-天气对应关系30 epoch 之后α 降到 0.005微调路由策略让性能最优这个 schedule 比固定 α 效果好很多极端天气 mAP 能多涨 2-3 个点。原理很简单前期需要探索后期需要利用和强化学习里的 exploration-exploitation trade-off 是一个道理。6. 这套方案还能怎么扩展AW-MoE 的思路不局限于 3D 检测。我最近在尝试把它迁移到语义分割和占用预测任务上初步结果还不错。核心改动是把检测头换成分割头或占用预测头路由网络和专家架构基本不用动。另一个方向是在线自适应。目前的路由网络是离线训练好的部署后权重固定。如果能让路由网络在推理时根据实时反馈做微调比如根据检测置信度调整模态权重理论上能进一步提升极端天气下的鲁棒性。这个方向我还在实验阶段初步想法是用一个轻量级的元学习模块做在线更新但要注意不能引入太大的计算开销。最后分享一个工程上的小技巧AW-MoE 的专家权重可以用结构化剪枝进一步压缩。因为路由网络本身就学到了哪些专家重要、哪些不重要直接把激活频率低于阈值的专家剪掉模型大小能再减 30%性能几乎不掉。这个操作在部署前做一次就行比从头训练一个小模型省事得多。