1. 项目概述在自动驾驶技术从实验室走向真实道路的漫长征程中如何让车辆像人类驾驶员一样瞬间理解周围360度的复杂环境始终是核心挑战。传统的感知方案无论是依赖昂贵的激光雷达点云还是处理多个独立摄像头视图都面临着信息融合困难、计算开销大、难以直接用于下游规划控制等问题。近年来鸟瞰图Bird‘s Eye View BEV感知技术异军突起它试图将来自多个摄像头的2D图像信息统一“翻译”并投影到一个上帝视角的2D平面上。这个BEV空间天然地消除了透视畸变所有物体都以俯视的、接近真实物理世界坐标的方式呈现极大地简化了后续的轨迹预测、路径规划等任务。可以说BEV感知是打通视觉感知与车辆决策控制之间“最后一公里”的关键桥梁。然而构建一个强大的BEV感知模型尤其是基于Transformer架构的模型需要“喂食”海量的、多样化的驾驶场景数据。这些数据往往掌握在汽车主机厂OEM、零部件供应商、出行服务公司等不同实体手中构成了一个个“数据孤岛”。出于数据隐私、商业机密和法规合规的考虑大家都不愿意、也不能够轻易共享原始数据。这就形成了一个悖论一方面AI模型渴望更多数据来提升泛化能力另一方面宝贵的数据资源却因壁垒而无法汇聚。联邦学习Federated Learning的出现为破解这个悖论提供了一线曙光。它允许各方在本地用自己的数据训练模型只将模型参数的更新而非数据本身上传到一个中央服务器进行聚合从而在保护数据隐私的前提下实现协同训练。但理想很丰满现实很骨感。当我们试图将联邦学习应用于BEV感知TransformerBEVT时立刻遇到了一个棘手的问题数据异构性。想象一下不同厂商的车辆其摄像头安装的位置、高度、角度即外参千差万别有的车装了4个环视摄像头有的可能只有前后两个。这些硬件配置的差异直接导致了不同客户端采集到的数据分布天差地别。在联邦学习的框架下如果粗暴地将所有客户端的模型参数一视同仁地进行平均即经典的FedAvg算法无异于让一个习惯了“高个子”摄像头视角的模型去强行理解“矮个子”摄像头看到的世界效果自然会大打折扣甚至导致模型训练发散。FedBEVT正是为了解决这一核心矛盾而诞生的。它不是一个简单的“联邦学习BEVT”的拼凑而是深度思考了BEV感知任务特性与联邦学习范式后提出的一个针对性解决方案。其核心思想在于“求同存异”对于所有车辆共通的视觉特征提取、BEV空间推理等能力我们通过联邦学习进行协同增强而对于因硬件配置不同而产生的独特视角信息则允许每个客户端保留自己的“个性化”部分。具体来说它通过两项关键技术——相机注意力个性化FedCaP和自适应多相机掩码AMCM——来分别应对传感器位姿异构和数量异构的挑战。我们的目标是让每一辆车无论其“眼睛”摄像头如何安装都能在联邦协作中获益最终获得一个既通用又贴合自身硬件特性的、更强大的BEV感知模型。2. 核心挑战与设计思路拆解2.1 数据异构性联邦学习在BEV感知中的“阿喀琉斯之踵”在展开FedBEVT的技术细节之前我们必须先深刻理解它所面对的核心敌人数据异构性。在经典的图像分类联邦学习任务中数据异构可能表现为不同客户端图片中的物体类别分布不同如客户端A多猫客户端B多狗。但在BEV感知任务中异构性来得更为“硬核”和根本它直接根植于物理世界的传感器配置差异。2.1.1 传感器位姿异构视角的“私人订制”每辆车的摄像头安装矩阵外参和内部参数内参都是独一无二的。这直接导致了两个问题几何投影关系不同将2D图像像素投影到3D世界再映射到BEV平面的数学变换高度依赖于相机参数。一个安装在车顶的高位摄像头和一个安装在保险杠的低位摄像头看到的同一个物体在图像中的位置、大小、形状截然不同。位置编码Positional Embedding的绑定在基于Transformer的BEV感知模型如CoBEVT中相机参数被编码成一种特殊的位置嵌入Positional Embedding作为模型输入的一部分。这个嵌入告诉Transformer每个图像特征在3D空间中的来源位置。如果强制所有客户端共享这个嵌入的生成网络参数那么服务器聚合得到的将是一个“平均化”的、不伦不类的相机参数估计无法准确描述任何一台真实车辆的视角。2.1.2 传感器数量异构输入维度的“伸缩难题”不同车型或不同配置的车辆其摄像头数量可能不同如2目、4目、6目系统。这带来了一个工程实现上的挑战Transformer模型通常要求固定的输入维度。如何让一个为4摄像头设计的模型也能处理来自2摄像头或6摄像头车辆的数据简单地补零或截断会引入大量噪声或丢失信息。注意这里的数据异构性与传统非独立同分布Non-IID数据不同。传统Non-IID关注的是标签或特征的统计分布差异而FedBEVT面对的异构性源于物理传感器配置它直接影响模型的前向计算图结构和输入数据的根本含义。处理这种异构性需要从模型架构层面进行干预。2.2 FedBEVT的整体设计哲学分而治之和而不同面对上述挑战FedBEVT的设计遵循了一个清晰的哲学将模型参数划分为“公共知识”与“私人经验”。公共知识共享参数u这部分参数学习的是如何看世界的通用能力。例如如何从图像中提取有效的边缘、纹理、语义特征编码器如何在BEV空间中建立空间关联并进行推理Transformer中的交叉注意力、自注意力层如何将BEV特征解码为最终的语义分割图解码器。这些能力是所有车辆无论摄像头如何安装都需要具备的。通过联邦学习聚合这部分参数可以汇集所有参与方的驾驶“经验”让模型学会识别在各种光照、天气、交通密度下的车辆、车道线等通用模式。私人经验私有参数v这部分参数学习的是从哪个角度看世界的独特视角。具体来说就是生成位置嵌入Positional Embedding的多层感知机MLP参数。这个MLP以每辆车的独特相机参数外参、内参为输入输出对应的位置编码。这部分参数完全由各客户端本地训练和保存永不上传到服务器。这就保证了每辆车都能用最适合自己“眼睛”的视角理解来参与联邦协作同时保护了自身硬件的配置隐私。这种划分的精妙之处在于它既利用了联邦学习汇聚集体智慧的优势又尊重了每个个体客户端的独特性。服务器聚合的是“世界观”而每个客户端保留的是“观察点”。2.3 技术路线图FedCaP与AMCM双管齐下基于上述设计哲学FedBEVT具体通过两项核心技术来实现FedCaPFederated Learning with Camera-Attentive Personalization这是应对位姿异构的核心。其操作非常简单直接在联邦学习的每一轮通信中客户端只将“公共知识”部分即除位置嵌入MLP外的所有模型参数的更新量上传给服务器。服务器聚合这些更新得到新的全局公共模型。客户端下载这个全局模型后将其与本地私有的位置嵌入MLP参数拼接形成完整的、个性化的本地模型用于下一轮的本地训练。这个过程确保了视角信息的绝对本地化。AMCMAdaptive Multi-Camera Masking这是解决数量异构的桥梁。它的核心思想是统一BEV查询BEV Query的空间尺寸但根据实际摄像头的总视野Field of View FoV进行动态掩码。统一尺寸所有客户端无论有几个摄像头都初始化一个相同空间尺寸如128x128的BEV查询。这个查询可以理解为一个覆盖了车辆周围固定物理区域如100m x 100m的网格。动态掩码对于每个客户端根据其所有摄像头的内外参计算出这些摄像头联合能“看到”的BEV区域。在BEV查询网格上只有落在这个联合视野区域内的网格点Query Token才会被激活参与注意力计算区域外的网格点则被掩码Mask掉其值不会更新。效果这样一来一个只有前后摄像头的车辆其有效的BEV查询区域可能是一条贯穿车辆前后的带状区域而一个拥有360度环视摄像头的车辆其有效区域则接近一个完整的矩形。虽然激活区域不同但它们的BEV特征图尺寸在数学上是一致的因此可以进行安全的联邦平均聚合。通过FedCaP和AMCM的组合FedBEVT构建了一个既灵活又统一的联邦训练框架使得配置各异的“异构车队”能够高效、安全地协同训练一个强大的BEV感知大脑。3. 核心细节解析与实操要点3.1 模型架构拆解理解BEV Transformer的“五脏六腑”要深入理解FedBEVT的个性化策略必须先对它所基于的BEV TransformerBEVT模型有一个清晰的解剖。我们以CoBEVT一个高效的开源BEV分割模型为例其核心流程可分为五个关键模块图像编码器Image Encoder通常是一个CNN骨干网络如ResNet-34。它接收多视角的原始RGB图像[L, H, W, 3]L为摄像头数量输出多尺度的图像特征图。这部分学习的是从像素中提取通用视觉特征的能力是典型的“公共知识”。位置嵌入生成器Positional Embedding Generator这是一个由全连接层构成的MLP。它的输入是每个摄像头的内参矩阵Intrinsics和外参矩阵Extrinsics。外参描述了摄像头相对于车体坐标系的旋转和平移内参描述了摄像头的焦距、主点等光学属性。该MLP将这些几何参数编码成一组高维向量即位置嵌入z。这正是FedCaP中定义为私有参数v的部分。因为它与具体的传感器硬件绑定。BEV查询BEV Query一个可学习的参数矩阵其形状为[H_bev, W_bev, C]。它可以被理解为对BEV空间的一种“先验”或“记忆”模型的目标就是用图像特征去“填充”或“更新”这个查询使其包含周围环境的语义信息。交叉注意力Transformer核心这是模型最核心的部分。它通过一种称为“Fused Axial Attention”的稀疏注意力机制让BEV查询中的每个位置Query Token去“关注”并聚合来自所有摄像头图像特征Key/Value的信息。位置嵌入z在此处被加到图像特征上为注意力机制提供至关重要的几何先验告诉模型“这个图像特征来自3D空间的哪个位置”。Transformer中的注意力权重、前馈网络等参数学习的是跨视图特征融合与BEV空间推理的通用规则属于“公共知识”。BEV解码器BEV Decoder通常由几个上采样卷积层组成。它将Transformer输出的BEV特征[H_bev‘, W_bev‘, C‘]上采样并解码为最终的BEV语义分割图[H_out, W_out, num_classes]。这部分学习的是从BEV特征到具体任务如车辆分割的映射也是“公共知识”。3.2 FedCaP实现详解如何安全地“公私分明”FedCaP的实现关键在于模型参数的分割与聚合流程。下面我们拆解其训练轮次中的关键步骤服务器端初始化服务器初始化一个完整的BEVT模型但其中位置嵌入生成器MLP的参数是随机初始化的或用一个通用先验初始化。我们将这个初始模型的参数记为w0 {u0, v0}其中u0是公共参数v0是位置嵌入参数。服务器将u0广播给所有参与训练的客户端。注意v0并不下发。客户端本地训练第t轮模型重建客户端k收到全局公共参数u_{t-1}后将其与本地私有的位置嵌入参数v_k^{t-1}拼接形成完整的本地个性化模型w_k^{t-1} {u_{t-1}, v_k^{t-1}}。前向与反向传播使用本地数据D_k对该模型进行常规训练。损失函数通常采用交叉熵损失计算预测的BEV分割图与真实标注Ground Truth之间的差异。参数更新通过反向传播计算梯度并更新所有参数。这里有一个关键细节在计算梯度时u和v_k的更新是同步进行的。优化器如AdamW会同时作用于这两部分参数。计算更新量本地训练E个epoch后得到新的本地参数w_k^t {u_k^t, v_k^t}。客户端计算公共参数的更新量Δu_k^t u_k^t - u_{t-1}。上传客户端将Δu_k^t或经过压缩后的\tilde{Δu}_k^t上传至服务器。本地私有的v_k^t始终保留在客户端绝不外传。服务器端聚合服务器收集所有被选中客户端集合S_t上传的公共参数更新量。执行安全的加权平均聚合。权重通常与客户端的数据量N_k成正比u_t u_{t-1} Σ_{k∈S_t} (N_k / N_S) * Δu_k^t其中N_S是本轮被选中客户端的总数据量。将聚合后的新全局公共参数u_t广播给客户端用于下一轮训练。实操心得在实现时需要仔细设计模型类将v_k参数明确标识出来并确保优化器能正确地区分对待。在PyTorch中可以通过为模型的不同部分设置不同的参数组parameter groups来实现或者更直接地创建两个独立的优化器实例分别优化公共和私有参数。我们通常将学习率设置为相同但实践中也可以尝试为私有参数设置稍大的学习率让其更快地适应本地独特的相机配置。3.3 AMCM实现详解构建“求同存异”的BEV空间AMCM的核心是构建一个与摄像头视野相关的二进制掩码Mask用于在注意力计算中屏蔽无效的BEV查询位置。其实现步骤如下定义统一的BEV网格首先在车辆坐标系下定义一个固定的BEV物理范围例如X: [-50m, 50m],Y: [-50m, 50m]分辨率设为0.5米/像素那么BEV查询的尺寸就是200x200。这个网格对所有客户端一致。计算单摄像头视野投影对于客户端k的每一个摄像头j根据其内外参可以计算出该摄像头能看到的3D空间范围一个视锥体。将这个视锥体投影到步骤1定义的BEV地面上得到一个多边形区域Polygon_j。计算联合视野掩码将所有摄像头j1...L_k的投影多边形Polygon_j取并集Union得到该客户端总的可观测BEV区域Union_Polygon_k。生成二进制掩码矩阵创建一个与BEV查询尺寸相同的全零矩阵Mask_k形状[200, 200]。对于BEV网格中的每一个单元格(i, j)判断其中心点坐标是否落在Union_Polygon_k内。如果是则将Mask_k[i, j]设为1否则为0。在注意力机制中应用掩码在Transformer的交叉注意力计算中BEV查询Q的每个位置对应网格的一个单元格会与图像特征K计算注意力权重。对于Mask_k中值为0的位置我们在计算其注意力权重时将其与所有K的相似度设置为一个极大的负值如-1e9这样在经过Softmax后其注意力权重几乎为0。这意味着这些位置不会从图像特征中获取任何信息其对应的BEV特征将主要依赖于初始化和自注意力机制来更新或者保持接近初始值。效果与权衡优势AMCM确保了无论客户端有多少个摄像头其输出的BEV特征图在张量形状上完全一致都是[200, 200, C]使得联邦聚合操作如加权平均可以无缝进行。同时它尊重了物理约束不会强迫模型去“想象”摄像头根本看不到的区域。挑战掩码区域内的BEV查询由于缺乏图像特征的监督可能难以学习到有意义的表示。在训练初期这可能导致模型收敛变慢。此外如果不同客户端的有效视野区域重叠度很低那么聚合得到的全局BEV特征在某些区域可能只是几个客户端特征的微弱平均效果不佳。注意事项AMCM掩码需要在训练开始前根据每个客户端的固定相机配置预先计算好并保存为静态文件。在数据加载和模型前向传播时直接加载使用。如果车辆配置可变如可升降的传感器则需要动态计算掩码但这在自动驾驶固定安装场景中不常见。4. 实验设计与性能分析实录4.1 数据集构建与联邦场景模拟由于现实世界中难以获取包含不同车辆类型、不同相机配置且带有精细BEV标注的大规模数据集FedBEVT的工作基于高性能仿真平台CARLA和自动驾驶仿真框架OpenCDA构建了一个全新的联邦学习基准数据集。数据采集车辆类型模拟了三种具有显著外形和传感器安装高度差异的车辆轿车Car、皮卡Truck、巴士Bus。它们的摄像头安装高度、俯仰角等外参各不相同具体参数参见原文Table I。场景与数据量让这些车辆在多种城市道路、不同交通密度和天气条件下行驶采集多视角图像数据。最终轿车、巴士、皮卡分别收集了8352、1796、1800帧数据涵盖了52、14、9个独特驾驶场景。BEV真值利用仿真器的上帝视角生成每帧图像对应的BEV语义分割图主要包含“背景”和“车辆”两类。联邦用例Use Cases UCs设计 为了全面评估FedBEVT在真实世界可能遇到的联邦场景下的性能论文设计了四个典型的用例UC1工业公司虚拟客户模拟两个工业客户分别用巴士和皮卡数据与一个拥有公开数据集如OPV2V的虚拟服务器客户进行联邦。此场景考察模型在数据量和类型不均等情况下的表现。UC2多工业公司四个工业客户两个轿车A/B一个巴士一个皮卡参与联邦数据量相对均衡。模拟多家OEM或供应商之间的协作。UC3大规模车辆网络模拟从大量联网车辆共24个客户端收集数据的情景。每个客户端数据量很小仅1-2个场景且网络条件可能不稳定模拟部分客户端掉线。这是最具挑战性的边缘计算场景。UC4异构摄像头数量专门设计来测试AMCM。包含三个客户端分别使用1个单目、3个前、左、右、4个环视摄像头的数据。4.2 基准模型与评估指标为了公平对比论文设置了以下几个基准模型Local Training每个客户端仅用自己的数据独立训练不参与联邦。这是性能的底线。FedAvg经典的联邦平均算法所有模型参数包括位置嵌入全部共享和聚合。这是最朴素的联邦学习方法。FedRep一种个性化的联邦学习方法它让客户端共享特征提取器编码器但各自保留最后的任务头解码器。在本文实现中我们让客户端个性化其图像编码器部分。FedTP另一种针对Transformer的个性化方法它个性化每个客户端的注意力机制参数。评估指标采用平均交并比Mean Intersection over Union mIoU作为BEV语义分割任务的主要评估指标。mIoU计算预测区域与真实区域交集和并集之比的平均值是分割任务的黄金标准。4.3 实验结果深度解读UC1 UC2 结果分析 在UC1和UC2中FedCaP即FedBEVT的核心在绝大多数客户端上都取得了最优或接近最优的性能。具体来看以原文Table III, IV为准相较于Local Training所有联邦学习方法FedAvg FedRep FedTP FedCaP都带来了显著的性能提升mIoU提升超过50%这有力证明了联邦学习通过利用外部数据能极大缓解单个客户端数据不足的问题。相较于FedAvgFedCaP的领先优势明显。这说明在BEV感知任务中简单粗暴地平均所有参数包括与相机强相关的位置嵌入会损害模型性能因为“平均化的相机参数”无法准确描述任何真实相机。相较于其他个性化方法FedCaP也普遍优于FedRep和FedTP。FedRep只个性化编码器未能触及Transformer核心中与几何投影最相关的位置嵌入部分。FedTP虽然个性化注意力但其参数分割方式可能破坏了注意力机制与模型其他部分的协同优化。FedCaP直接私有化最根源的几何信息编码器策略更加精准有效。UC3 结果分析 在包含24个数据稀少客户端的UC3中FedCaP的优势更为突出。如图6所示超过80%的客户端在使用FedCaP后获得了比FedAvg更好的个性化模型。这证明了在数据异构且每个客户端数据量极少的极端边缘场景下保护客户端的个性化特征相机位姿对于获得可用模型至关重要。FedAvg在这种场景下容易产生一个“平庸”的全局模型对任何本地数据的拟合都不佳。UC4 与 AMCM 有效性验证 UC4的实验结果原文Table V揭示了AMCM的微妙之处对于单目摄像头客户端如果不使用AMCM即所有客户端都用4摄像头模型结构单目客户端数据在缺失视角位置补零其本地训练效果反而更好。这是因为其他拥有前视摄像头的客户端在联邦训练中已经帮助全局模型学会了前视视角的感知能力单目客户端可以“搭便车”。对于三目摄像头客户端使用AMCM进行联邦训练效果优于仅用本地数据训练。这说明AMCM使得三目客户端能够利用单目和四目客户端的数据来增强自己尽管它们的视野掩码不同。FedCaP的进一步增益在AMCM的基础上再应用FedCaP能为所有类型的客户端带来进一步的性能提升。这表明即使通过AMCM统一了输入尺寸相机位姿的异构性依然存在需要通过FedCaP进行个性化处理。实操心得AMCM并非在所有情况下都是“银弹”。当某些客户端的视野与其他客户端重叠度很低时AMCM带来的收益可能有限。在实际部署中需要评估客户端之间的传感器配置相似度。对于配置差异极大的客户端可以考虑进行聚类为相似配置的客户端组建立不同的“子联邦”组内再进行FedCaP训练这可能比全局联邦更有效。4.4 可视化分析与问题诊断原文中的图7提供了非常直观的可视化对比。我们可以清晰地看到FedRep虽然能检测出部分车辆但漏检严重。因为它只个性化编码器模型在BEV空间融合不同视角特征时仍然受困于不准确的几何先验。FedTP出现了明显的误检将路边的树木、建筑识别为车辆。这可能是因为个性化注意力参数破坏了模型对“车辆”这一语义概念的一致性理解导致注意力机制关注到了错误的图像区域。FedCaP在巴士、皮卡、轿车三种差异巨大的数据上都生成了最完整、最准确的BEV分割图车辆形状和位置估计都更接近真实情况GT。这证明了其方案的有效性。一个常见的陷阱与排查在实现FedCaP时如果未正确隔离梯度传播可能导致私有参数v_k的梯度意外地通过计算图传播到公共参数u的优化过程中或者在模型保存/加载时混淆。务必使用detach()或精心设计模型前向传播路径确保在计算公共参数损失时私有参数被视为常数。调试时可以检查在本地训练一轮后私有参数v_k是否发生了变化而下载的全局公共参数u在本地训练前后是否保持一致除了本地计算出的更新量。5. 系统实现、部署考量与未来展望5.1 联邦学习系统框架整合FedBEVT并非一个孤立的算法它需要嵌入一个完整的联邦学习系统框架中才能工作。图3展示了其系统概览其中包含几个对实际部署至关重要的组件客户端选择Client Selection由于车联网环境的不稳定性并非所有车辆在每一轮都能参与训练。系统需要一个策略来选择当前可用的、网络状况良好的客户端避免“掉队者”拖慢整体训练进度。常见的策略包括随机选择、基于资源电量、算力的选择等。安全聚合Secure Aggregation尽管联邦学习不传输原始数据但模型参数的更新量本身也可能泄露信息。采用安全聚合协议如基于秘密分享的协议可以确保服务器在不知道单个客户端更新量的情况下只得到聚合后的结果提供了额外的隐私保护层。通信压缩Compression车载网络带宽可能有限。在上传模型更新Δu_k前可以采用梯度稀疏化、量化、差分编码等技术对其进行压缩减少通信开销。例如只上传梯度中绝对值最大的前1%的值。5.2 实际部署的挑战与应对策略将FedBEVT从论文推向真实路测还需要克服一系列工程挑战标注成本BEV分割的真值标注极其昂贵。一种可行的思路是结合自监督学习或半监督学习。例如利用多帧时序一致性、激光雷达点云投影如果可用生成弱监督信号减少对人工标注的依赖。模型异构与资源约束不同车辆的车载计算单元ECU算力不同。FedBEVT假设所有客户端使用相同的模型架构。未来可探索异构联邦学习允许算力弱的车辆使用轻量化的BEVT模型而服务器负责不同架构模型参数之间的知识蒸馏与转换。动态环境与概念漂移道路环境、交通规则、车辆型号都在不断变化。需要设计持续学习Continual Learning机制让联邦学习系统能够在不遗忘旧知识的前提下持续吸收新数据、适应新场景。这涉及到客户端数据分布变化的检测和应对。激励机制如何激励车辆所有者愿意贡献其计算资源和数据参与联邦训练可能需要设计基于区块链的贡献度证明和代币奖励机制构建一个可持续的自动驾驶数据生态。5.3 扩展方向从感知到预测与规划FedBEVT目前聚焦于静态BEV语义分割。自动驾驶的完整链条还包括动态目标检测、轨迹预测、路径规划等。未来的工作可以沿着两个方向拓展任务扩展将FedBEVT框架扩展到BEV下的3D目标检测、地图语义分割车道线、路沿等、甚至端到端的轨迹预测任务。不同任务对几何信息的依赖程度不同可能需要设计新的个性化策略。多模态融合仅靠摄像头有其局限性如恶劣天气、夜间。未来的系统必然是摄像头、激光雷达、毫米波雷达的多模态融合。联邦学习如何应对跨模态的数据异构性例如有些车只有摄像头有些车有摄像头雷达将是一个更大的挑战。或许可以设计一个“模态不可知”的公共BEV表示空间让不同模态的数据都能映射进来并进行联邦聚合。在我个人看来FedBEVT的价值不仅仅在于它提出了几个有效的技术点FedCaP AMCM更在于它为我们提供了一个处理垂直领域如自动驾驶中物理根源性数据异构的联邦学习范式。它深刻地揭示了一个道理在联邦学习中并非所有差异都是需要被消除的“噪声”有些差异是根植于物理世界的“特征”。好的联邦学习算法应该学会分辨这两者求同存异在协作中尊重个性。这条路还很长但FedBEVT无疑是一个坚实而精彩的起点。对于想要在实际产品中应用联邦学习的团队我的建议是不要试图用一个全局模型解决所有问题深入理解你的数据异构性来源从模型架构层面去设计针对性的个性化策略这往往是成功的关键。
FedBEVT：破解自动驾驶BEV感知联邦学习中的数据异构难题
发布时间：2026/5/26 19:53:31
1. 项目概述在自动驾驶技术从实验室走向真实道路的漫长征程中如何让车辆像人类驾驶员一样瞬间理解周围360度的复杂环境始终是核心挑战。传统的感知方案无论是依赖昂贵的激光雷达点云还是处理多个独立摄像头视图都面临着信息融合困难、计算开销大、难以直接用于下游规划控制等问题。近年来鸟瞰图Bird‘s Eye View BEV感知技术异军突起它试图将来自多个摄像头的2D图像信息统一“翻译”并投影到一个上帝视角的2D平面上。这个BEV空间天然地消除了透视畸变所有物体都以俯视的、接近真实物理世界坐标的方式呈现极大地简化了后续的轨迹预测、路径规划等任务。可以说BEV感知是打通视觉感知与车辆决策控制之间“最后一公里”的关键桥梁。然而构建一个强大的BEV感知模型尤其是基于Transformer架构的模型需要“喂食”海量的、多样化的驾驶场景数据。这些数据往往掌握在汽车主机厂OEM、零部件供应商、出行服务公司等不同实体手中构成了一个个“数据孤岛”。出于数据隐私、商业机密和法规合规的考虑大家都不愿意、也不能够轻易共享原始数据。这就形成了一个悖论一方面AI模型渴望更多数据来提升泛化能力另一方面宝贵的数据资源却因壁垒而无法汇聚。联邦学习Federated Learning的出现为破解这个悖论提供了一线曙光。它允许各方在本地用自己的数据训练模型只将模型参数的更新而非数据本身上传到一个中央服务器进行聚合从而在保护数据隐私的前提下实现协同训练。但理想很丰满现实很骨感。当我们试图将联邦学习应用于BEV感知TransformerBEVT时立刻遇到了一个棘手的问题数据异构性。想象一下不同厂商的车辆其摄像头安装的位置、高度、角度即外参千差万别有的车装了4个环视摄像头有的可能只有前后两个。这些硬件配置的差异直接导致了不同客户端采集到的数据分布天差地别。在联邦学习的框架下如果粗暴地将所有客户端的模型参数一视同仁地进行平均即经典的FedAvg算法无异于让一个习惯了“高个子”摄像头视角的模型去强行理解“矮个子”摄像头看到的世界效果自然会大打折扣甚至导致模型训练发散。FedBEVT正是为了解决这一核心矛盾而诞生的。它不是一个简单的“联邦学习BEVT”的拼凑而是深度思考了BEV感知任务特性与联邦学习范式后提出的一个针对性解决方案。其核心思想在于“求同存异”对于所有车辆共通的视觉特征提取、BEV空间推理等能力我们通过联邦学习进行协同增强而对于因硬件配置不同而产生的独特视角信息则允许每个客户端保留自己的“个性化”部分。具体来说它通过两项关键技术——相机注意力个性化FedCaP和自适应多相机掩码AMCM——来分别应对传感器位姿异构和数量异构的挑战。我们的目标是让每一辆车无论其“眼睛”摄像头如何安装都能在联邦协作中获益最终获得一个既通用又贴合自身硬件特性的、更强大的BEV感知模型。2. 核心挑战与设计思路拆解2.1 数据异构性联邦学习在BEV感知中的“阿喀琉斯之踵”在展开FedBEVT的技术细节之前我们必须先深刻理解它所面对的核心敌人数据异构性。在经典的图像分类联邦学习任务中数据异构可能表现为不同客户端图片中的物体类别分布不同如客户端A多猫客户端B多狗。但在BEV感知任务中异构性来得更为“硬核”和根本它直接根植于物理世界的传感器配置差异。2.1.1 传感器位姿异构视角的“私人订制”每辆车的摄像头安装矩阵外参和内部参数内参都是独一无二的。这直接导致了两个问题几何投影关系不同将2D图像像素投影到3D世界再映射到BEV平面的数学变换高度依赖于相机参数。一个安装在车顶的高位摄像头和一个安装在保险杠的低位摄像头看到的同一个物体在图像中的位置、大小、形状截然不同。位置编码Positional Embedding的绑定在基于Transformer的BEV感知模型如CoBEVT中相机参数被编码成一种特殊的位置嵌入Positional Embedding作为模型输入的一部分。这个嵌入告诉Transformer每个图像特征在3D空间中的来源位置。如果强制所有客户端共享这个嵌入的生成网络参数那么服务器聚合得到的将是一个“平均化”的、不伦不类的相机参数估计无法准确描述任何一台真实车辆的视角。2.1.2 传感器数量异构输入维度的“伸缩难题”不同车型或不同配置的车辆其摄像头数量可能不同如2目、4目、6目系统。这带来了一个工程实现上的挑战Transformer模型通常要求固定的输入维度。如何让一个为4摄像头设计的模型也能处理来自2摄像头或6摄像头车辆的数据简单地补零或截断会引入大量噪声或丢失信息。注意这里的数据异构性与传统非独立同分布Non-IID数据不同。传统Non-IID关注的是标签或特征的统计分布差异而FedBEVT面对的异构性源于物理传感器配置它直接影响模型的前向计算图结构和输入数据的根本含义。处理这种异构性需要从模型架构层面进行干预。2.2 FedBEVT的整体设计哲学分而治之和而不同面对上述挑战FedBEVT的设计遵循了一个清晰的哲学将模型参数划分为“公共知识”与“私人经验”。公共知识共享参数u这部分参数学习的是如何看世界的通用能力。例如如何从图像中提取有效的边缘、纹理、语义特征编码器如何在BEV空间中建立空间关联并进行推理Transformer中的交叉注意力、自注意力层如何将BEV特征解码为最终的语义分割图解码器。这些能力是所有车辆无论摄像头如何安装都需要具备的。通过联邦学习聚合这部分参数可以汇集所有参与方的驾驶“经验”让模型学会识别在各种光照、天气、交通密度下的车辆、车道线等通用模式。私人经验私有参数v这部分参数学习的是从哪个角度看世界的独特视角。具体来说就是生成位置嵌入Positional Embedding的多层感知机MLP参数。这个MLP以每辆车的独特相机参数外参、内参为输入输出对应的位置编码。这部分参数完全由各客户端本地训练和保存永不上传到服务器。这就保证了每辆车都能用最适合自己“眼睛”的视角理解来参与联邦协作同时保护了自身硬件的配置隐私。这种划分的精妙之处在于它既利用了联邦学习汇聚集体智慧的优势又尊重了每个个体客户端的独特性。服务器聚合的是“世界观”而每个客户端保留的是“观察点”。2.3 技术路线图FedCaP与AMCM双管齐下基于上述设计哲学FedBEVT具体通过两项核心技术来实现FedCaPFederated Learning with Camera-Attentive Personalization这是应对位姿异构的核心。其操作非常简单直接在联邦学习的每一轮通信中客户端只将“公共知识”部分即除位置嵌入MLP外的所有模型参数的更新量上传给服务器。服务器聚合这些更新得到新的全局公共模型。客户端下载这个全局模型后将其与本地私有的位置嵌入MLP参数拼接形成完整的、个性化的本地模型用于下一轮的本地训练。这个过程确保了视角信息的绝对本地化。AMCMAdaptive Multi-Camera Masking这是解决数量异构的桥梁。它的核心思想是统一BEV查询BEV Query的空间尺寸但根据实际摄像头的总视野Field of View FoV进行动态掩码。统一尺寸所有客户端无论有几个摄像头都初始化一个相同空间尺寸如128x128的BEV查询。这个查询可以理解为一个覆盖了车辆周围固定物理区域如100m x 100m的网格。动态掩码对于每个客户端根据其所有摄像头的内外参计算出这些摄像头联合能“看到”的BEV区域。在BEV查询网格上只有落在这个联合视野区域内的网格点Query Token才会被激活参与注意力计算区域外的网格点则被掩码Mask掉其值不会更新。效果这样一来一个只有前后摄像头的车辆其有效的BEV查询区域可能是一条贯穿车辆前后的带状区域而一个拥有360度环视摄像头的车辆其有效区域则接近一个完整的矩形。虽然激活区域不同但它们的BEV特征图尺寸在数学上是一致的因此可以进行安全的联邦平均聚合。通过FedCaP和AMCM的组合FedBEVT构建了一个既灵活又统一的联邦训练框架使得配置各异的“异构车队”能够高效、安全地协同训练一个强大的BEV感知大脑。3. 核心细节解析与实操要点3.1 模型架构拆解理解BEV Transformer的“五脏六腑”要深入理解FedBEVT的个性化策略必须先对它所基于的BEV TransformerBEVT模型有一个清晰的解剖。我们以CoBEVT一个高效的开源BEV分割模型为例其核心流程可分为五个关键模块图像编码器Image Encoder通常是一个CNN骨干网络如ResNet-34。它接收多视角的原始RGB图像[L, H, W, 3]L为摄像头数量输出多尺度的图像特征图。这部分学习的是从像素中提取通用视觉特征的能力是典型的“公共知识”。位置嵌入生成器Positional Embedding Generator这是一个由全连接层构成的MLP。它的输入是每个摄像头的内参矩阵Intrinsics和外参矩阵Extrinsics。外参描述了摄像头相对于车体坐标系的旋转和平移内参描述了摄像头的焦距、主点等光学属性。该MLP将这些几何参数编码成一组高维向量即位置嵌入z。这正是FedCaP中定义为私有参数v的部分。因为它与具体的传感器硬件绑定。BEV查询BEV Query一个可学习的参数矩阵其形状为[H_bev, W_bev, C]。它可以被理解为对BEV空间的一种“先验”或“记忆”模型的目标就是用图像特征去“填充”或“更新”这个查询使其包含周围环境的语义信息。交叉注意力Transformer核心这是模型最核心的部分。它通过一种称为“Fused Axial Attention”的稀疏注意力机制让BEV查询中的每个位置Query Token去“关注”并聚合来自所有摄像头图像特征Key/Value的信息。位置嵌入z在此处被加到图像特征上为注意力机制提供至关重要的几何先验告诉模型“这个图像特征来自3D空间的哪个位置”。Transformer中的注意力权重、前馈网络等参数学习的是跨视图特征融合与BEV空间推理的通用规则属于“公共知识”。BEV解码器BEV Decoder通常由几个上采样卷积层组成。它将Transformer输出的BEV特征[H_bev‘, W_bev‘, C‘]上采样并解码为最终的BEV语义分割图[H_out, W_out, num_classes]。这部分学习的是从BEV特征到具体任务如车辆分割的映射也是“公共知识”。3.2 FedCaP实现详解如何安全地“公私分明”FedCaP的实现关键在于模型参数的分割与聚合流程。下面我们拆解其训练轮次中的关键步骤服务器端初始化服务器初始化一个完整的BEVT模型但其中位置嵌入生成器MLP的参数是随机初始化的或用一个通用先验初始化。我们将这个初始模型的参数记为w0 {u0, v0}其中u0是公共参数v0是位置嵌入参数。服务器将u0广播给所有参与训练的客户端。注意v0并不下发。客户端本地训练第t轮模型重建客户端k收到全局公共参数u_{t-1}后将其与本地私有的位置嵌入参数v_k^{t-1}拼接形成完整的本地个性化模型w_k^{t-1} {u_{t-1}, v_k^{t-1}}。前向与反向传播使用本地数据D_k对该模型进行常规训练。损失函数通常采用交叉熵损失计算预测的BEV分割图与真实标注Ground Truth之间的差异。参数更新通过反向传播计算梯度并更新所有参数。这里有一个关键细节在计算梯度时u和v_k的更新是同步进行的。优化器如AdamW会同时作用于这两部分参数。计算更新量本地训练E个epoch后得到新的本地参数w_k^t {u_k^t, v_k^t}。客户端计算公共参数的更新量Δu_k^t u_k^t - u_{t-1}。上传客户端将Δu_k^t或经过压缩后的\tilde{Δu}_k^t上传至服务器。本地私有的v_k^t始终保留在客户端绝不外传。服务器端聚合服务器收集所有被选中客户端集合S_t上传的公共参数更新量。执行安全的加权平均聚合。权重通常与客户端的数据量N_k成正比u_t u_{t-1} Σ_{k∈S_t} (N_k / N_S) * Δu_k^t其中N_S是本轮被选中客户端的总数据量。将聚合后的新全局公共参数u_t广播给客户端用于下一轮训练。实操心得在实现时需要仔细设计模型类将v_k参数明确标识出来并确保优化器能正确地区分对待。在PyTorch中可以通过为模型的不同部分设置不同的参数组parameter groups来实现或者更直接地创建两个独立的优化器实例分别优化公共和私有参数。我们通常将学习率设置为相同但实践中也可以尝试为私有参数设置稍大的学习率让其更快地适应本地独特的相机配置。3.3 AMCM实现详解构建“求同存异”的BEV空间AMCM的核心是构建一个与摄像头视野相关的二进制掩码Mask用于在注意力计算中屏蔽无效的BEV查询位置。其实现步骤如下定义统一的BEV网格首先在车辆坐标系下定义一个固定的BEV物理范围例如X: [-50m, 50m],Y: [-50m, 50m]分辨率设为0.5米/像素那么BEV查询的尺寸就是200x200。这个网格对所有客户端一致。计算单摄像头视野投影对于客户端k的每一个摄像头j根据其内外参可以计算出该摄像头能看到的3D空间范围一个视锥体。将这个视锥体投影到步骤1定义的BEV地面上得到一个多边形区域Polygon_j。计算联合视野掩码将所有摄像头j1...L_k的投影多边形Polygon_j取并集Union得到该客户端总的可观测BEV区域Union_Polygon_k。生成二进制掩码矩阵创建一个与BEV查询尺寸相同的全零矩阵Mask_k形状[200, 200]。对于BEV网格中的每一个单元格(i, j)判断其中心点坐标是否落在Union_Polygon_k内。如果是则将Mask_k[i, j]设为1否则为0。在注意力机制中应用掩码在Transformer的交叉注意力计算中BEV查询Q的每个位置对应网格的一个单元格会与图像特征K计算注意力权重。对于Mask_k中值为0的位置我们在计算其注意力权重时将其与所有K的相似度设置为一个极大的负值如-1e9这样在经过Softmax后其注意力权重几乎为0。这意味着这些位置不会从图像特征中获取任何信息其对应的BEV特征将主要依赖于初始化和自注意力机制来更新或者保持接近初始值。效果与权衡优势AMCM确保了无论客户端有多少个摄像头其输出的BEV特征图在张量形状上完全一致都是[200, 200, C]使得联邦聚合操作如加权平均可以无缝进行。同时它尊重了物理约束不会强迫模型去“想象”摄像头根本看不到的区域。挑战掩码区域内的BEV查询由于缺乏图像特征的监督可能难以学习到有意义的表示。在训练初期这可能导致模型收敛变慢。此外如果不同客户端的有效视野区域重叠度很低那么聚合得到的全局BEV特征在某些区域可能只是几个客户端特征的微弱平均效果不佳。注意事项AMCM掩码需要在训练开始前根据每个客户端的固定相机配置预先计算好并保存为静态文件。在数据加载和模型前向传播时直接加载使用。如果车辆配置可变如可升降的传感器则需要动态计算掩码但这在自动驾驶固定安装场景中不常见。4. 实验设计与性能分析实录4.1 数据集构建与联邦场景模拟由于现实世界中难以获取包含不同车辆类型、不同相机配置且带有精细BEV标注的大规模数据集FedBEVT的工作基于高性能仿真平台CARLA和自动驾驶仿真框架OpenCDA构建了一个全新的联邦学习基准数据集。数据采集车辆类型模拟了三种具有显著外形和传感器安装高度差异的车辆轿车Car、皮卡Truck、巴士Bus。它们的摄像头安装高度、俯仰角等外参各不相同具体参数参见原文Table I。场景与数据量让这些车辆在多种城市道路、不同交通密度和天气条件下行驶采集多视角图像数据。最终轿车、巴士、皮卡分别收集了8352、1796、1800帧数据涵盖了52、14、9个独特驾驶场景。BEV真值利用仿真器的上帝视角生成每帧图像对应的BEV语义分割图主要包含“背景”和“车辆”两类。联邦用例Use Cases UCs设计 为了全面评估FedBEVT在真实世界可能遇到的联邦场景下的性能论文设计了四个典型的用例UC1工业公司虚拟客户模拟两个工业客户分别用巴士和皮卡数据与一个拥有公开数据集如OPV2V的虚拟服务器客户进行联邦。此场景考察模型在数据量和类型不均等情况下的表现。UC2多工业公司四个工业客户两个轿车A/B一个巴士一个皮卡参与联邦数据量相对均衡。模拟多家OEM或供应商之间的协作。UC3大规模车辆网络模拟从大量联网车辆共24个客户端收集数据的情景。每个客户端数据量很小仅1-2个场景且网络条件可能不稳定模拟部分客户端掉线。这是最具挑战性的边缘计算场景。UC4异构摄像头数量专门设计来测试AMCM。包含三个客户端分别使用1个单目、3个前、左、右、4个环视摄像头的数据。4.2 基准模型与评估指标为了公平对比论文设置了以下几个基准模型Local Training每个客户端仅用自己的数据独立训练不参与联邦。这是性能的底线。FedAvg经典的联邦平均算法所有模型参数包括位置嵌入全部共享和聚合。这是最朴素的联邦学习方法。FedRep一种个性化的联邦学习方法它让客户端共享特征提取器编码器但各自保留最后的任务头解码器。在本文实现中我们让客户端个性化其图像编码器部分。FedTP另一种针对Transformer的个性化方法它个性化每个客户端的注意力机制参数。评估指标采用平均交并比Mean Intersection over Union mIoU作为BEV语义分割任务的主要评估指标。mIoU计算预测区域与真实区域交集和并集之比的平均值是分割任务的黄金标准。4.3 实验结果深度解读UC1 UC2 结果分析 在UC1和UC2中FedCaP即FedBEVT的核心在绝大多数客户端上都取得了最优或接近最优的性能。具体来看以原文Table III, IV为准相较于Local Training所有联邦学习方法FedAvg FedRep FedTP FedCaP都带来了显著的性能提升mIoU提升超过50%这有力证明了联邦学习通过利用外部数据能极大缓解单个客户端数据不足的问题。相较于FedAvgFedCaP的领先优势明显。这说明在BEV感知任务中简单粗暴地平均所有参数包括与相机强相关的位置嵌入会损害模型性能因为“平均化的相机参数”无法准确描述任何真实相机。相较于其他个性化方法FedCaP也普遍优于FedRep和FedTP。FedRep只个性化编码器未能触及Transformer核心中与几何投影最相关的位置嵌入部分。FedTP虽然个性化注意力但其参数分割方式可能破坏了注意力机制与模型其他部分的协同优化。FedCaP直接私有化最根源的几何信息编码器策略更加精准有效。UC3 结果分析 在包含24个数据稀少客户端的UC3中FedCaP的优势更为突出。如图6所示超过80%的客户端在使用FedCaP后获得了比FedAvg更好的个性化模型。这证明了在数据异构且每个客户端数据量极少的极端边缘场景下保护客户端的个性化特征相机位姿对于获得可用模型至关重要。FedAvg在这种场景下容易产生一个“平庸”的全局模型对任何本地数据的拟合都不佳。UC4 与 AMCM 有效性验证 UC4的实验结果原文Table V揭示了AMCM的微妙之处对于单目摄像头客户端如果不使用AMCM即所有客户端都用4摄像头模型结构单目客户端数据在缺失视角位置补零其本地训练效果反而更好。这是因为其他拥有前视摄像头的客户端在联邦训练中已经帮助全局模型学会了前视视角的感知能力单目客户端可以“搭便车”。对于三目摄像头客户端使用AMCM进行联邦训练效果优于仅用本地数据训练。这说明AMCM使得三目客户端能够利用单目和四目客户端的数据来增强自己尽管它们的视野掩码不同。FedCaP的进一步增益在AMCM的基础上再应用FedCaP能为所有类型的客户端带来进一步的性能提升。这表明即使通过AMCM统一了输入尺寸相机位姿的异构性依然存在需要通过FedCaP进行个性化处理。实操心得AMCM并非在所有情况下都是“银弹”。当某些客户端的视野与其他客户端重叠度很低时AMCM带来的收益可能有限。在实际部署中需要评估客户端之间的传感器配置相似度。对于配置差异极大的客户端可以考虑进行聚类为相似配置的客户端组建立不同的“子联邦”组内再进行FedCaP训练这可能比全局联邦更有效。4.4 可视化分析与问题诊断原文中的图7提供了非常直观的可视化对比。我们可以清晰地看到FedRep虽然能检测出部分车辆但漏检严重。因为它只个性化编码器模型在BEV空间融合不同视角特征时仍然受困于不准确的几何先验。FedTP出现了明显的误检将路边的树木、建筑识别为车辆。这可能是因为个性化注意力参数破坏了模型对“车辆”这一语义概念的一致性理解导致注意力机制关注到了错误的图像区域。FedCaP在巴士、皮卡、轿车三种差异巨大的数据上都生成了最完整、最准确的BEV分割图车辆形状和位置估计都更接近真实情况GT。这证明了其方案的有效性。一个常见的陷阱与排查在实现FedCaP时如果未正确隔离梯度传播可能导致私有参数v_k的梯度意外地通过计算图传播到公共参数u的优化过程中或者在模型保存/加载时混淆。务必使用detach()或精心设计模型前向传播路径确保在计算公共参数损失时私有参数被视为常数。调试时可以检查在本地训练一轮后私有参数v_k是否发生了变化而下载的全局公共参数u在本地训练前后是否保持一致除了本地计算出的更新量。5. 系统实现、部署考量与未来展望5.1 联邦学习系统框架整合FedBEVT并非一个孤立的算法它需要嵌入一个完整的联邦学习系统框架中才能工作。图3展示了其系统概览其中包含几个对实际部署至关重要的组件客户端选择Client Selection由于车联网环境的不稳定性并非所有车辆在每一轮都能参与训练。系统需要一个策略来选择当前可用的、网络状况良好的客户端避免“掉队者”拖慢整体训练进度。常见的策略包括随机选择、基于资源电量、算力的选择等。安全聚合Secure Aggregation尽管联邦学习不传输原始数据但模型参数的更新量本身也可能泄露信息。采用安全聚合协议如基于秘密分享的协议可以确保服务器在不知道单个客户端更新量的情况下只得到聚合后的结果提供了额外的隐私保护层。通信压缩Compression车载网络带宽可能有限。在上传模型更新Δu_k前可以采用梯度稀疏化、量化、差分编码等技术对其进行压缩减少通信开销。例如只上传梯度中绝对值最大的前1%的值。5.2 实际部署的挑战与应对策略将FedBEVT从论文推向真实路测还需要克服一系列工程挑战标注成本BEV分割的真值标注极其昂贵。一种可行的思路是结合自监督学习或半监督学习。例如利用多帧时序一致性、激光雷达点云投影如果可用生成弱监督信号减少对人工标注的依赖。模型异构与资源约束不同车辆的车载计算单元ECU算力不同。FedBEVT假设所有客户端使用相同的模型架构。未来可探索异构联邦学习允许算力弱的车辆使用轻量化的BEVT模型而服务器负责不同架构模型参数之间的知识蒸馏与转换。动态环境与概念漂移道路环境、交通规则、车辆型号都在不断变化。需要设计持续学习Continual Learning机制让联邦学习系统能够在不遗忘旧知识的前提下持续吸收新数据、适应新场景。这涉及到客户端数据分布变化的检测和应对。激励机制如何激励车辆所有者愿意贡献其计算资源和数据参与联邦训练可能需要设计基于区块链的贡献度证明和代币奖励机制构建一个可持续的自动驾驶数据生态。5.3 扩展方向从感知到预测与规划FedBEVT目前聚焦于静态BEV语义分割。自动驾驶的完整链条还包括动态目标检测、轨迹预测、路径规划等。未来的工作可以沿着两个方向拓展任务扩展将FedBEVT框架扩展到BEV下的3D目标检测、地图语义分割车道线、路沿等、甚至端到端的轨迹预测任务。不同任务对几何信息的依赖程度不同可能需要设计新的个性化策略。多模态融合仅靠摄像头有其局限性如恶劣天气、夜间。未来的系统必然是摄像头、激光雷达、毫米波雷达的多模态融合。联邦学习如何应对跨模态的数据异构性例如有些车只有摄像头有些车有摄像头雷达将是一个更大的挑战。或许可以设计一个“模态不可知”的公共BEV表示空间让不同模态的数据都能映射进来并进行联邦聚合。在我个人看来FedBEVT的价值不仅仅在于它提出了几个有效的技术点FedCaP AMCM更在于它为我们提供了一个处理垂直领域如自动驾驶中物理根源性数据异构的联邦学习范式。它深刻地揭示了一个道理在联邦学习中并非所有差异都是需要被消除的“噪声”有些差异是根植于物理世界的“特征”。好的联邦学习算法应该学会分辨这两者求同存异在协作中尊重个性。这条路还很长但FedBEVT无疑是一个坚实而精彩的起点。对于想要在实际产品中应用联邦学习的团队我的建议是不要试图用一个全局模型解决所有问题深入理解你的数据异构性来源从模型架构层面去设计针对性的个性化策略这往往是成功的关键。
