参考文献(67 封私信 / 80 条消息) 自动驾驶Occupancy调研综述202605 - 知乎(67 封私信 / 80 条消息) Occupancy Network自动驾驶感知从有限检测到无限理解的范式革命 - 知乎occupancy是什么数学层面长什么样Occupancy用一个个带有语义和占用状态的 3D 体素Voxel来精细刻画物理空间是目前解决“长尾异形障碍物General Obstacles”和打通端到端感知的终极方案。nuScenes-Occ3D 标准设定voxel 大小 0.4 m范围 [-40,40]×[-40,40]×[-1,5.4] m共 200×200×16 个体素17 语义类 free。体素就是一个3d立方体0.4指的是长宽高都是0.4范围 [-40,40]×[-40,40]×[-1,5.4] m 覆盖的实际真实世界物理范围是以自车为中心左右总共80米前后总共80m高度共5.5m数量共有200×200×16 个属性17 语义类人车树... free每个体素预测两个量占据概率 pᵢ ∈ [0, 1] — 该体素是否被占据 语义类别 cᵢ ∈ {0,1,...,K} — 该体素包含什么可选为什么occupancy逐步取代bevOCC的核心思想是——不再问这是什么而是问这个空间是否可通行。传统视觉感知由2D 检测 → 3D 检测 →BEV 感知演进但仍存在三大顽疾1模型对于不在训练词表内的类别就不认识比如翻车的卡车、躺在路上的轮胎、施工锥桶、掉落货物就无法识别。23D检测框于异形车辆、变形物不适用。独特的优势Class-agnostic与类别无关只关心”这个 voxel 是否被占据”——天然解决长尾。Geometry-aware几何精细恢复物体真实形状不再是简单的Box。Temporal-aware动态支持 occupancy flow 4D可表征运动趋势。OCC量产的瓶颈数据标注难度高成本高算力开销大: 计算会给三维体素带来大量内存和计算开销限制了模型部署自动标注方案方案ASurroundOcc流水线最成熟方案BRenderOcc自监督ICCV 2024方案C主动学习闭环推荐标注Pipeline推荐方案工业级推荐方案工业级 ① SurroundOcc自动生成基础标签 ② AI预标注SalsaNext点云分割85%准确率 ③ 人工精修效率提升3-5倍 ④ SurroundOcc扩展Occupancy标签 ⑤ 主动学习挖掘难例 → 定向标注 总成本标注效率提升80%成本降低60%历史占据网络一开始是在机器人地图领域内使用的后面在2022年特斯拉第一次将占据网络引用到自动驾驶开始了大规模使用标准的纯视觉3D Occupancy的典型 Pipeline1. 二维特征提取阶段 (2D Backbone FPN)输入T 个时间戳下的 6 路环视相机图像序列。张量维度通常为 [T, 6, 3, H_{img}, W_{img}]。处理逻辑使用图像骨干网络如 ResNet-50 或 V2-99对每张图像进行独立卷积运算提取二维空间特征。接入 FPN特征金字塔网络融合不同感受野的特征。输出多尺度 2D 特征图。2. 2D特征 → 3D 特征转换目前主流的四种张量映射策略LSS (Forward Projection / 前向投影)先让网络预测图像每个像素点的深度。然后利用相机内参将2D 像素投影到 3D 物理空间中。BEVFormer (Backward Projection / 后向查询)预先在 3D 空间中定义体素查询向量。利用相机内外参矩阵将 3D 坐标反投影至 2D 特征图平面通过双线性插值采样 2D 特征加权融合得到3D 查询向量。因为3D坐标反投影点P可能是带小数的但是特征图中的2D点是整数所以P要找到邻近的几个坐标但是这几个坐标的远近又是不一样的所以权重也应该不同这就是双线性插值采样FB-BEV 结合上述两者先用前向投影得到粗糙 3D 种子特征再进行精确的局部特征采样与细化。输出转换完成的 3D 特征体3D Feature Volume3. 时序融合阶段 (Temporal Fusion)输入当前帧的 3D 特征体与历史缓存的 T-1 帧 3D 特征体。处理逻辑时空联合硬算物理空间对齐利用自车运动矩阵对历史 3D 特征体进行空间仿射变换平移和旋转使其三维坐标系与当前帧强制对齐。得到 3 帧坐标已经完全对齐的数据 (X, Y, Z) 指向同一块绝对物理空间 。时间维度拼接再通过时间维度拼接将这 3 帧独立的 3D 特征张量维度均为 [X, Y, Z, C]沿着一个全新的“时间维度T”进行堆叠。得到一个完整的4D特征体。物理空间结构与时间维度的联合特征提取直接用4D卷积算子进行联合特征提取因为体素是3d同时要利用时序信息所以使用4d算子。输出融合了 T 帧历史信息的单帧 3D 特征体维度保持为 [X, Y, Z, C_{3D}]其他处理逻辑世界模型推演将历史占用情况编码为高维Token 。模型利用强大的自回归机制在特征空间中推演预测未来几帧世界状态4. 预测占用体素类别输入融合完时空特征的 3D 特征体。处理逻辑使用轻量级的3D 卷积3D Conv网络进行最后的特征平滑与非线性映射。或者使用Mask Transformer对特定的语义实体进行分割处理。输出结果 (Voxel logits)整个 Pipeline 的最终输出。张量维度为 [X, Y, Z, (C_{class} 1)]。X, Y, Z 代表 3D 物理空间被划分为的长宽高体素网格数量。class1类别free方法分类体系参考 Frontiers of Computer Science 2026 综述可分为三大主线Vision-based 3D Occupancy Prediction │ ├── A. Feature Enhancement精度优先 │ ├── A1. BEV-based ─ FlashOcc, BEVDet-Occ, FB-OCC │ ├── A2. Tri-perspective ─ TPVFormer, S2TPVFormer │ ├── A3. 3D Voxel-based ─ SurroundOcc, OccFormer, CTF-Occ │ └── A4. Object-centric ─ GaussianFormer, GaussianFormer-2, │ QuadricFormer, SparseOcc │ ├── B. Deployment-friendly高效化 │ ├── B1. 稀疏化 ─ SparseOcc, OctreeOcc, FastOcc │ ├── B2. 分解/降维 ─ FlashOcc (channel-to-height), │ LowRankOcc, Triplane │ ├── B3. 量化/蒸馏 ─ INT8 PTQ/QAT, KD-from-LiDAR │ └── B4. Mamba/SSM ─ OccMamba, FMOcc │ └── C. Label-efficient少标注 ├── C1. Self-supervised ─ SelfOcc, RenderOcc, GaussianOcc, TT-GaussOcc ├── C2. Weakly-supervised ─ GaussianFlowOcc, OccFlowNet ├── C3. LiDAR-only GT ─ TPVFormer (sparse) └── C4. Foundation-aligned ─ GaussTR, VLScene, SceneDINO 并行新方向 └── D. World Model E2E ├── OccWorld, GaussianWorld, OccLLaMA, OccSora ├── Drive-OccWorld, DOME, DriveWorld └── SparseOccVLA, Occ-LLM, OmniNWM代表性方法深度剖析选择维度经典 / 工业里程碑 / 高效部署 / 新范式”思想-架构-亮点-劣势”四要素。7.1 MonoScene (CVPR 2022) — 单目 SSC 鼻祖思想单目 RGB → dense voxel SSC19 类KITTI 360°前方架构2D EfficientNet → FLoSPfrustum lift→ 3D U-Net → CRPcontext relation prior亮点第一个 outdoor 单目 SSC开源代码扎实劣势单目深度模糊360° 泛化弱7.2 TPVFormer (CVPR 2023) — Tri-Perspective 起点思想用 BEV 前视 侧视 三平面共同表征 3D 场景避免 dense voxel 显存爆炸架构BEVFormer-style cross attention 同时填三个平面 → 3D 点取三平面特征求和亮点稀疏 LiDAR 监督即可达到 LiDAR-only 性能轻量劣势三平面投影丢细节薄物体差7.3 SurroundOcc (ICCV 2023) — Dense GT 范式开创思想6 相机 multi-scale 2D-3D attention → 渐进上采 voxel dense GT 监督核心贡献Dense GT 生成 pipeline——多帧 LiDAR 静/动分离 Poisson 重建 体素化亮点把”稀疏 LiDAR GT”提升到”dense voxel GT”后续工作普遍使用其标注劣势3D conv 上采计算大标注 pipeline 工程量大7.4 OccFormer (ICCV 2023) — Dual-path Transformer思想Local window Global path 双分支 transformer 处理 voxel feature亮点Mask classification 范式Mask2Former 在 occ 的延伸后续被 SparseOcc 继承并稀疏化7.5 Occ3D CTF-Occ (NeurIPS 2023) — Benchmark 标准化数据贡献Voxel densification occlusion reasoning image-guided refinement建立 Occ3D-Waymo / nuScenes方法贡献CTF-Occ 粗到精级联Occ3D-nuScenes 28.53 mIoU baseline7.6 FB-OCC (CVPR 2023 Challenge 冠军)思想FB-BEV 思想用到 occ先 forward LSS 获 voxel再 backward 用 BEV query 精修关键技巧Joint depth-semantic pretraining用 Object365 深度任务联合预训InternImage-H 大 backbone1B 参数TTA 模型集成成绩Occ3D-nuScenes mIoU54.19 %工业冠军方案劣势超大模型非实时7.7 FlashOcc (2023) — 部署友好里程碑核心把 voxel feature 压缩到 BEV最后沿 channel 维 reshape 出 Z 高度—— 全程用 2D conv效果mIoU 31~37R50/Swin-BTRT FP16 197 FPS3090INT8 PTQ 397 FPS意义第一个真正可工程部署的 occ 方案当前国内主机厂量产基线拓展Panoptic-FlashOcc 加实例7.8 SparseOcc (ECCV 2024) RayIoU思想Coarse-to-fine 稀疏 voxel decoder Mask Transformer全程稀疏效果Occ3D-nuScenes RayIoU36.1A100 上17.3 FPS超过 FB-OCC 而模型小得多工程价值Latency-bound 场景首选已成为新一代 baseline副产物RayIoU 指标已成为 CVPR24 challenge 标准7.9 SelfOcc (CVPR 2024) — 自监督思想无 3D GT把 BEV/voxel 视为 SDF渲染前后帧图像对齐做监督意义解决 occ 标注昂贵的难题是 RenderOcc/GaussianOcc 系列的前奏7.10 GaussianFormer (ECCV 2024) / GaussianFormer-2 (CVPR 2025)范式革命用 N 个 3D 语义 Gaussian位置、协方差、语义替代 dense voxel效率内存降 75–82 %GaussianFormer-2 仅需 GaussianFormer 8.9 % 的高斯数实现CUDA 自定义 Gaussian-to-voxel splatting kernel趋势催生 GaussianWorld / GaussianFlowOcc / QuadricFormer 整个家族7.11 OccWorld (ECCV 2024) — Occupancy 世界模型思想先 VQVAE 把 occ 离散成 token再 GPT-style spatial-temporal transformer 自回归 rollout 未来帧 ego token下游直接做规划无需 detection / map 监督延伸OccLLaMA接 LLaMA、OccSoradiffusion 世界模型、Drive-OccWorld7.12 GaussianWorld (CVPR 2025) — Streaming Occ思想把 occ 预测重新定义为”4D occupancy forecasting conditioned on current input”拆解三因素① 静态场景 ego motion 对齐② 动态物体局部运动③ 新观测区补全优势在不增加计算的前提下 mIoU 2 % 提升7.13 SparseWorld (AAAI 2026) / SparseOccVLA (2026)趋势性论文SparseWorldsparse dynamic queries回归式而非分类式 forecastingSparseOccVLA把 sparse occupancy query 注入 VLM统一 4D 理解与规划意义标志 occ 从纯感知向VLA / 端到端基础模型演进occ方案选择冲精度榜FB-OCC 路线大 backbone 双向投影 多帧融合。冲速度/部署FlashOcc / SparseOcc 路线。冲显存与新范式GaussianFormer 系。冲下游/端到端OccWorld / SparseWorld 系。现状与开放问题多模态 SOTA 已稳定领先纯视觉 5–10 mIoU但延迟与算力成本翻倍量产 ROI 仍需评估。SpConv 部署友好性3D sparse conv 在端侧仍是挑战BEV-reshape 风格的 LiDAR Occ 是实战折中。数据集对齐SemanticKITTI前向 64 线vs nuScenes-Occupancy360°32 线评测口径迥异跨数据集泛化欠佳UniOcc 是首批尝试。Visibility-aware 监督LiDAR 与 Camera 的 visibility mask 不一致融合时如何处理仍是 open question。与 Flow / Forecasting 联动LiDAR doppler / multi-frame 时序天然适合 occ flow但联合 benchmark 仍少Cam4DOcc 主要 camera-only。工程落地与部署优化工程落地痛点痛点来源解法3D 张量显存大200×200×16×CBEV→Z reshape / 稀疏 / Gaussian / Triplane3D conv 在 TRT 不友好TRT plugin 缺全 2D conv channel reshape多帧 BEV warp 内存T 帧 cacheStreamPETR 风格 query streamGT 标注昂贵LiDAR 手工self-sup / render / Gaussian量化精度损失3D 头敏感QAT / Lovasz loss / per-channel scale域差距不同摄像机外参UniOcc / 数据增强 / domain adaptation推理优化技术栈(1) 算法侧降维FlashOcc channel-to-height、Triplane、低秩分解LowRankOcc稀疏SparseOccmask transformer、OctreeOcc八叉树、GaussianFormerobject-centric轻量 backboneR18 / R34 / RepVGG / EfficientFormer分辨率分级核心区 0.4 m远距 0.8 mTemporal 稀疏化仅缓存 query/feature token不缓存 dense voxel(2) 系统侧TensorRT 量化PTQEntropy/MinMax 校准 → INT8QAT插入 Q/DQ 节点 PyTorch fine-tune → ONNX → TRT engine经验Conv backbone INT8 安全3D head 建议 FP16FlashOcc 实测FP16 197 FPS → INT8(PTQ) 397 FPSmIoU -2.4 %Sparsity 加速Ampere 2:4 结构化稀疏 INT8NVIDIA TRT 8.0Operator FusionConv-BN-ReLU 合并自定义 Gaussian splatting CUDA kernelKernel autotuningtrtexec –best设定 dynamic shape 匹配多分辨率多任务并发与 BEV detection 共享 backbone节省一半算力(3) 部署目标平台平台算力可行模型NVIDIA Orin-X (254 TOPS INT8)高FlashOcc-Swin / SparseOcc-R50 实时Orin-N (84 TOPS)中FlashOcc-R50 INT8 ≈ 30 FPS地平线征程 6 (J6, 560 TOPS)高FlashOcc-Swin INT8 高帧率黑芝麻 A2000中高可部署需算子适配高通 SA8650中INT8/INT4 蒸馏工程化 Tips先用 FlashOcc 做 baseline因为它最易跑通端到端 PyTorch → ONNX → TRT engine 流水线。Voxel 范围与分辨率要与下游对齐规划/控制需要 0.2~0.4 m上限 80 m记得提前与下游确定接口。Camera mask 训练 vs 全空间评测Tesla 实战会同时输出 camera-visible 与 unobserved 区域后者不参评但要给 prior。Ego pose 抖动校正多帧 fusion 一定要用更精的 poseGyro轮速 EKF否则边缘出现”鬼影”。数据增强BDABEV data aug、SyncBN→GroupNorm小 batch 友好、Lovasz-Softmax 提精度FlashOcc/SparseOcc 已验证。类别不平衡driveable surface / building 占 voxel 巨多pedestrian/bicycle 极少 → class-balanced loss 是必备。半空中的”漂浮 voxel”问题dense GT 由 LiDAR 累积可能漂浮训练上加 free-space gradient regularization 或 visibility mask。OCC 输出能直接驱动的任务下游任务用法AEB / 紧急避障任意被占据 voxel 视为 obstacle触发风险评估可行驶区域driveable surface 类别 voxel → 可走路面图路径规划 (Planning)OCC 灌入 cost map含 inflationA* / Hybrid A* / Lattice泊车 / HFPA高分辨率局部 occ复杂车位、立柱、地锁运动预测occupancy flow → 障碍物未来轨迹建图多帧 occ 累积 → 静态 prior mapSim2Real / 数据闭环occ 作为 sim 中间表征可生成新视角图像端到端规划OccWorld 直接 rollout latent连接 ego token总结Occupancy 是自动驾驶感知从”目标级”走向”空间级”的关键一跃。它让车辆首次具备”无视类别的几何感知”能力是迈向真正 L4 安全冗余不可绕过的一步。Occupancy 是自动驾驶感知的下一代基石解决长尾、异形、背景三大问题已被 Tesla / 国内主机厂量产验证。三条主线精度FB-OCC 系、效率FlashOcc / SparseOcc 系、新范式Gaussian / World Model 系。量产首选FlashOcc 风格的 BEV-channel-to-height INT8 多帧 fusion是兼顾精度速度成熟度的最佳起点。学界前沿4D forecasting、Gaussian 表征、自监督、与 VLM/VLA 融合是 2025-2026 最热的四个分支。评测演进mIoU → RayIoUsingle-frame mIoU → forecasting mIoU flow EPEtrustworthy/uncertainty 也在崛起。未来 12 个月的预判量产渗透率occupancy 将成为主机厂 NOA 标配占据栅格分辨率向 0.2 m 推进。GaussianFormer 风格会作为旗舰车型差异化方案出现显存极省 几何细腻。OccWorld 流派与 VLA 融合成为端到端规控的”世界模型”层。数据/标注Self-supervised 大模型蒸馏 → 标注成本下降一个数量级。平台Orin → Thor / J6PINT4/FP4 量化逐步成熟动态稀疏推理普及拓展行内黑话L2 辅助驾驶如自适应巡航 ACC 车道保持 LCCNOA高速 NOA (Highway NOA)导航辅助驾驶场景运行在封闭的高速公路或城市快速路上。难度相对较低。因为没有红绿灯、十字路口、行人或非机动车。目前国内主流的新势力和头部车企已经基本实现了全国普及。城市 NOA (Urban NOA / City NOA)场景运行在极其复杂的城市开放道路上。难度极高。系统需要处理红绿灯识别、无保护左转、加塞车辆、乱穿马路的行人与外卖小哥。这是目前感知技术面临的最大挑战也是前沿的BEV Occupancy 时序网络技术主要发力解决的核心痛点。国内主机厂格局理想 AD Max128 线 LiDAR、蔚来 NIO Aquila半固态 4D Radar、小鹏 G9/G6半固态、RobotaxiWaymo / 元戎 / 文远 / Pony.ai均配置 LiDAR它们的 Occupancy stack 通常使用 LiDAR-centric 或 Camera-LiDAR fusion。国内主机厂量产方案公开信息综合厂商方案关键词小鹏 XNet 2.0OCC 头 BEV head 双输出OrinX 部署FlashOcc 风格 channel-to-height理想 AD MaxOCC 网络Orin-X 双芯VLA 路线华为 GODGeneral Obstacle Detection对应”通用障碍物检测” 占据栅格变体蔚来 NIO AquilaOCC Lidar 融合多模态占据网络比亚迪 PilotOCC 城市 NOA算法供应商主导毫末智行 (Haomo)Cam4DOcc自研CVPR244D occupancy 预测轻舟 Driver / 商汤OCC 端到端共识FlashOcc 风格的 BEV-channel-to-height 多帧 fusion INT8 部署是当前主流量产路径。SparseOcc / GaussianFormer 仍处于研发预研阶段。端到端框架的演进趋势阶段代表方案OCC角色感知-规划分离传统方案无直接接口模块化端到端UniADOCC作为感知核心输出One Model端到端特斯拉FSD v12OCC隐式存在于大模型中
Occupancy综述
发布时间：2026/7/7 9:59:07
参考文献(67 封私信 / 80 条消息) 自动驾驶Occupancy调研综述202605 - 知乎(67 封私信 / 80 条消息) Occupancy Network自动驾驶感知从有限检测到无限理解的范式革命 - 知乎occupancy是什么数学层面长什么样Occupancy用一个个带有语义和占用状态的 3D 体素Voxel来精细刻画物理空间是目前解决“长尾异形障碍物General Obstacles”和打通端到端感知的终极方案。nuScenes-Occ3D 标准设定voxel 大小 0.4 m范围 [-40,40]×[-40,40]×[-1,5.4] m共 200×200×16 个体素17 语义类 free。体素就是一个3d立方体0.4指的是长宽高都是0.4范围 [-40,40]×[-40,40]×[-1,5.4] m 覆盖的实际真实世界物理范围是以自车为中心左右总共80米前后总共80m高度共5.5m数量共有200×200×16 个属性17 语义类人车树... free每个体素预测两个量占据概率 pᵢ ∈ [0, 1] — 该体素是否被占据 语义类别 cᵢ ∈ {0,1,...,K} — 该体素包含什么可选为什么occupancy逐步取代bevOCC的核心思想是——不再问这是什么而是问这个空间是否可通行。传统视觉感知由2D 检测 → 3D 检测 →BEV 感知演进但仍存在三大顽疾1模型对于不在训练词表内的类别就不认识比如翻车的卡车、躺在路上的轮胎、施工锥桶、掉落货物就无法识别。23D检测框于异形车辆、变形物不适用。独特的优势Class-agnostic与类别无关只关心”这个 voxel 是否被占据”——天然解决长尾。Geometry-aware几何精细恢复物体真实形状不再是简单的Box。Temporal-aware动态支持 occupancy flow 4D可表征运动趋势。OCC量产的瓶颈数据标注难度高成本高算力开销大: 计算会给三维体素带来大量内存和计算开销限制了模型部署自动标注方案方案ASurroundOcc流水线最成熟方案BRenderOcc自监督ICCV 2024方案C主动学习闭环推荐标注Pipeline推荐方案工业级推荐方案工业级 ① SurroundOcc自动生成基础标签 ② AI预标注SalsaNext点云分割85%准确率 ③ 人工精修效率提升3-5倍 ④ SurroundOcc扩展Occupancy标签 ⑤ 主动学习挖掘难例 → 定向标注 总成本标注效率提升80%成本降低60%历史占据网络一开始是在机器人地图领域内使用的后面在2022年特斯拉第一次将占据网络引用到自动驾驶开始了大规模使用标准的纯视觉3D Occupancy的典型 Pipeline1. 二维特征提取阶段 (2D Backbone FPN)输入T 个时间戳下的 6 路环视相机图像序列。张量维度通常为 [T, 6, 3, H_{img}, W_{img}]。处理逻辑使用图像骨干网络如 ResNet-50 或 V2-99对每张图像进行独立卷积运算提取二维空间特征。接入 FPN特征金字塔网络融合不同感受野的特征。输出多尺度 2D 特征图。2. 2D特征 → 3D 特征转换目前主流的四种张量映射策略LSS (Forward Projection / 前向投影)先让网络预测图像每个像素点的深度。然后利用相机内参将2D 像素投影到 3D 物理空间中。BEVFormer (Backward Projection / 后向查询)预先在 3D 空间中定义体素查询向量。利用相机内外参矩阵将 3D 坐标反投影至 2D 特征图平面通过双线性插值采样 2D 特征加权融合得到3D 查询向量。因为3D坐标反投影点P可能是带小数的但是特征图中的2D点是整数所以P要找到邻近的几个坐标但是这几个坐标的远近又是不一样的所以权重也应该不同这就是双线性插值采样FB-BEV 结合上述两者先用前向投影得到粗糙 3D 种子特征再进行精确的局部特征采样与细化。输出转换完成的 3D 特征体3D Feature Volume3. 时序融合阶段 (Temporal Fusion)输入当前帧的 3D 特征体与历史缓存的 T-1 帧 3D 特征体。处理逻辑时空联合硬算物理空间对齐利用自车运动矩阵对历史 3D 特征体进行空间仿射变换平移和旋转使其三维坐标系与当前帧强制对齐。得到 3 帧坐标已经完全对齐的数据 (X, Y, Z) 指向同一块绝对物理空间 。时间维度拼接再通过时间维度拼接将这 3 帧独立的 3D 特征张量维度均为 [X, Y, Z, C]沿着一个全新的“时间维度T”进行堆叠。得到一个完整的4D特征体。物理空间结构与时间维度的联合特征提取直接用4D卷积算子进行联合特征提取因为体素是3d同时要利用时序信息所以使用4d算子。输出融合了 T 帧历史信息的单帧 3D 特征体维度保持为 [X, Y, Z, C_{3D}]其他处理逻辑世界模型推演将历史占用情况编码为高维Token 。模型利用强大的自回归机制在特征空间中推演预测未来几帧世界状态4. 预测占用体素类别输入融合完时空特征的 3D 特征体。处理逻辑使用轻量级的3D 卷积3D Conv网络进行最后的特征平滑与非线性映射。或者使用Mask Transformer对特定的语义实体进行分割处理。输出结果 (Voxel logits)整个 Pipeline 的最终输出。张量维度为 [X, Y, Z, (C_{class} 1)]。X, Y, Z 代表 3D 物理空间被划分为的长宽高体素网格数量。class1类别free方法分类体系参考 Frontiers of Computer Science 2026 综述可分为三大主线Vision-based 3D Occupancy Prediction │ ├── A. Feature Enhancement精度优先 │ ├── A1. BEV-based ─ FlashOcc, BEVDet-Occ, FB-OCC │ ├── A2. Tri-perspective ─ TPVFormer, S2TPVFormer │ ├── A3. 3D Voxel-based ─ SurroundOcc, OccFormer, CTF-Occ │ └── A4. Object-centric ─ GaussianFormer, GaussianFormer-2, │ QuadricFormer, SparseOcc │ ├── B. Deployment-friendly高效化 │ ├── B1. 稀疏化 ─ SparseOcc, OctreeOcc, FastOcc │ ├── B2. 分解/降维 ─ FlashOcc (channel-to-height), │ LowRankOcc, Triplane │ ├── B3. 量化/蒸馏 ─ INT8 PTQ/QAT, KD-from-LiDAR │ └── B4. Mamba/SSM ─ OccMamba, FMOcc │ └── C. Label-efficient少标注 ├── C1. Self-supervised ─ SelfOcc, RenderOcc, GaussianOcc, TT-GaussOcc ├── C2. Weakly-supervised ─ GaussianFlowOcc, OccFlowNet ├── C3. LiDAR-only GT ─ TPVFormer (sparse) └── C4. Foundation-aligned ─ GaussTR, VLScene, SceneDINO 并行新方向 └── D. World Model E2E ├── OccWorld, GaussianWorld, OccLLaMA, OccSora ├── Drive-OccWorld, DOME, DriveWorld └── SparseOccVLA, Occ-LLM, OmniNWM代表性方法深度剖析选择维度经典 / 工业里程碑 / 高效部署 / 新范式”思想-架构-亮点-劣势”四要素。7.1 MonoScene (CVPR 2022) — 单目 SSC 鼻祖思想单目 RGB → dense voxel SSC19 类KITTI 360°前方架构2D EfficientNet → FLoSPfrustum lift→ 3D U-Net → CRPcontext relation prior亮点第一个 outdoor 单目 SSC开源代码扎实劣势单目深度模糊360° 泛化弱7.2 TPVFormer (CVPR 2023) — Tri-Perspective 起点思想用 BEV 前视 侧视 三平面共同表征 3D 场景避免 dense voxel 显存爆炸架构BEVFormer-style cross attention 同时填三个平面 → 3D 点取三平面特征求和亮点稀疏 LiDAR 监督即可达到 LiDAR-only 性能轻量劣势三平面投影丢细节薄物体差7.3 SurroundOcc (ICCV 2023) — Dense GT 范式开创思想6 相机 multi-scale 2D-3D attention → 渐进上采 voxel dense GT 监督核心贡献Dense GT 生成 pipeline——多帧 LiDAR 静/动分离 Poisson 重建 体素化亮点把”稀疏 LiDAR GT”提升到”dense voxel GT”后续工作普遍使用其标注劣势3D conv 上采计算大标注 pipeline 工程量大7.4 OccFormer (ICCV 2023) — Dual-path Transformer思想Local window Global path 双分支 transformer 处理 voxel feature亮点Mask classification 范式Mask2Former 在 occ 的延伸后续被 SparseOcc 继承并稀疏化7.5 Occ3D CTF-Occ (NeurIPS 2023) — Benchmark 标准化数据贡献Voxel densification occlusion reasoning image-guided refinement建立 Occ3D-Waymo / nuScenes方法贡献CTF-Occ 粗到精级联Occ3D-nuScenes 28.53 mIoU baseline7.6 FB-OCC (CVPR 2023 Challenge 冠军)思想FB-BEV 思想用到 occ先 forward LSS 获 voxel再 backward 用 BEV query 精修关键技巧Joint depth-semantic pretraining用 Object365 深度任务联合预训InternImage-H 大 backbone1B 参数TTA 模型集成成绩Occ3D-nuScenes mIoU54.19 %工业冠军方案劣势超大模型非实时7.7 FlashOcc (2023) — 部署友好里程碑核心把 voxel feature 压缩到 BEV最后沿 channel 维 reshape 出 Z 高度—— 全程用 2D conv效果mIoU 31~37R50/Swin-BTRT FP16 197 FPS3090INT8 PTQ 397 FPS意义第一个真正可工程部署的 occ 方案当前国内主机厂量产基线拓展Panoptic-FlashOcc 加实例7.8 SparseOcc (ECCV 2024) RayIoU思想Coarse-to-fine 稀疏 voxel decoder Mask Transformer全程稀疏效果Occ3D-nuScenes RayIoU36.1A100 上17.3 FPS超过 FB-OCC 而模型小得多工程价值Latency-bound 场景首选已成为新一代 baseline副产物RayIoU 指标已成为 CVPR24 challenge 标准7.9 SelfOcc (CVPR 2024) — 自监督思想无 3D GT把 BEV/voxel 视为 SDF渲染前后帧图像对齐做监督意义解决 occ 标注昂贵的难题是 RenderOcc/GaussianOcc 系列的前奏7.10 GaussianFormer (ECCV 2024) / GaussianFormer-2 (CVPR 2025)范式革命用 N 个 3D 语义 Gaussian位置、协方差、语义替代 dense voxel效率内存降 75–82 %GaussianFormer-2 仅需 GaussianFormer 8.9 % 的高斯数实现CUDA 自定义 Gaussian-to-voxel splatting kernel趋势催生 GaussianWorld / GaussianFlowOcc / QuadricFormer 整个家族7.11 OccWorld (ECCV 2024) — Occupancy 世界模型思想先 VQVAE 把 occ 离散成 token再 GPT-style spatial-temporal transformer 自回归 rollout 未来帧 ego token下游直接做规划无需 detection / map 监督延伸OccLLaMA接 LLaMA、OccSoradiffusion 世界模型、Drive-OccWorld7.12 GaussianWorld (CVPR 2025) — Streaming Occ思想把 occ 预测重新定义为”4D occupancy forecasting conditioned on current input”拆解三因素① 静态场景 ego motion 对齐② 动态物体局部运动③ 新观测区补全优势在不增加计算的前提下 mIoU 2 % 提升7.13 SparseWorld (AAAI 2026) / SparseOccVLA (2026)趋势性论文SparseWorldsparse dynamic queries回归式而非分类式 forecastingSparseOccVLA把 sparse occupancy query 注入 VLM统一 4D 理解与规划意义标志 occ 从纯感知向VLA / 端到端基础模型演进occ方案选择冲精度榜FB-OCC 路线大 backbone 双向投影 多帧融合。冲速度/部署FlashOcc / SparseOcc 路线。冲显存与新范式GaussianFormer 系。冲下游/端到端OccWorld / SparseWorld 系。现状与开放问题多模态 SOTA 已稳定领先纯视觉 5–10 mIoU但延迟与算力成本翻倍量产 ROI 仍需评估。SpConv 部署友好性3D sparse conv 在端侧仍是挑战BEV-reshape 风格的 LiDAR Occ 是实战折中。数据集对齐SemanticKITTI前向 64 线vs nuScenes-Occupancy360°32 线评测口径迥异跨数据集泛化欠佳UniOcc 是首批尝试。Visibility-aware 监督LiDAR 与 Camera 的 visibility mask 不一致融合时如何处理仍是 open question。与 Flow / Forecasting 联动LiDAR doppler / multi-frame 时序天然适合 occ flow但联合 benchmark 仍少Cam4DOcc 主要 camera-only。工程落地与部署优化工程落地痛点痛点来源解法3D 张量显存大200×200×16×CBEV→Z reshape / 稀疏 / Gaussian / Triplane3D conv 在 TRT 不友好TRT plugin 缺全 2D conv channel reshape多帧 BEV warp 内存T 帧 cacheStreamPETR 风格 query streamGT 标注昂贵LiDAR 手工self-sup / render / Gaussian量化精度损失3D 头敏感QAT / Lovasz loss / per-channel scale域差距不同摄像机外参UniOcc / 数据增强 / domain adaptation推理优化技术栈(1) 算法侧降维FlashOcc channel-to-height、Triplane、低秩分解LowRankOcc稀疏SparseOccmask transformer、OctreeOcc八叉树、GaussianFormerobject-centric轻量 backboneR18 / R34 / RepVGG / EfficientFormer分辨率分级核心区 0.4 m远距 0.8 mTemporal 稀疏化仅缓存 query/feature token不缓存 dense voxel(2) 系统侧TensorRT 量化PTQEntropy/MinMax 校准 → INT8QAT插入 Q/DQ 节点 PyTorch fine-tune → ONNX → TRT engine经验Conv backbone INT8 安全3D head 建议 FP16FlashOcc 实测FP16 197 FPS → INT8(PTQ) 397 FPSmIoU -2.4 %Sparsity 加速Ampere 2:4 结构化稀疏 INT8NVIDIA TRT 8.0Operator FusionConv-BN-ReLU 合并自定义 Gaussian splatting CUDA kernelKernel autotuningtrtexec –best设定 dynamic shape 匹配多分辨率多任务并发与 BEV detection 共享 backbone节省一半算力(3) 部署目标平台平台算力可行模型NVIDIA Orin-X (254 TOPS INT8)高FlashOcc-Swin / SparseOcc-R50 实时Orin-N (84 TOPS)中FlashOcc-R50 INT8 ≈ 30 FPS地平线征程 6 (J6, 560 TOPS)高FlashOcc-Swin INT8 高帧率黑芝麻 A2000中高可部署需算子适配高通 SA8650中INT8/INT4 蒸馏工程化 Tips先用 FlashOcc 做 baseline因为它最易跑通端到端 PyTorch → ONNX → TRT engine 流水线。Voxel 范围与分辨率要与下游对齐规划/控制需要 0.2~0.4 m上限 80 m记得提前与下游确定接口。Camera mask 训练 vs 全空间评测Tesla 实战会同时输出 camera-visible 与 unobserved 区域后者不参评但要给 prior。Ego pose 抖动校正多帧 fusion 一定要用更精的 poseGyro轮速 EKF否则边缘出现”鬼影”。数据增强BDABEV data aug、SyncBN→GroupNorm小 batch 友好、Lovasz-Softmax 提精度FlashOcc/SparseOcc 已验证。类别不平衡driveable surface / building 占 voxel 巨多pedestrian/bicycle 极少 → class-balanced loss 是必备。半空中的”漂浮 voxel”问题dense GT 由 LiDAR 累积可能漂浮训练上加 free-space gradient regularization 或 visibility mask。OCC 输出能直接驱动的任务下游任务用法AEB / 紧急避障任意被占据 voxel 视为 obstacle触发风险评估可行驶区域driveable surface 类别 voxel → 可走路面图路径规划 (Planning)OCC 灌入 cost map含 inflationA* / Hybrid A* / Lattice泊车 / HFPA高分辨率局部 occ复杂车位、立柱、地锁运动预测occupancy flow → 障碍物未来轨迹建图多帧 occ 累积 → 静态 prior mapSim2Real / 数据闭环occ 作为 sim 中间表征可生成新视角图像端到端规划OccWorld 直接 rollout latent连接 ego token总结Occupancy 是自动驾驶感知从”目标级”走向”空间级”的关键一跃。它让车辆首次具备”无视类别的几何感知”能力是迈向真正 L4 安全冗余不可绕过的一步。Occupancy 是自动驾驶感知的下一代基石解决长尾、异形、背景三大问题已被 Tesla / 国内主机厂量产验证。三条主线精度FB-OCC 系、效率FlashOcc / SparseOcc 系、新范式Gaussian / World Model 系。量产首选FlashOcc 风格的 BEV-channel-to-height INT8 多帧 fusion是兼顾精度速度成熟度的最佳起点。学界前沿4D forecasting、Gaussian 表征、自监督、与 VLM/VLA 融合是 2025-2026 最热的四个分支。评测演进mIoU → RayIoUsingle-frame mIoU → forecasting mIoU flow EPEtrustworthy/uncertainty 也在崛起。未来 12 个月的预判量产渗透率occupancy 将成为主机厂 NOA 标配占据栅格分辨率向 0.2 m 推进。GaussianFormer 风格会作为旗舰车型差异化方案出现显存极省 几何细腻。OccWorld 流派与 VLA 融合成为端到端规控的”世界模型”层。数据/标注Self-supervised 大模型蒸馏 → 标注成本下降一个数量级。平台Orin → Thor / J6PINT4/FP4 量化逐步成熟动态稀疏推理普及拓展行内黑话L2 辅助驾驶如自适应巡航 ACC 车道保持 LCCNOA高速 NOA (Highway NOA)导航辅助驾驶场景运行在封闭的高速公路或城市快速路上。难度相对较低。因为没有红绿灯、十字路口、行人或非机动车。目前国内主流的新势力和头部车企已经基本实现了全国普及。城市 NOA (Urban NOA / City NOA)场景运行在极其复杂的城市开放道路上。难度极高。系统需要处理红绿灯识别、无保护左转、加塞车辆、乱穿马路的行人与外卖小哥。这是目前感知技术面临的最大挑战也是前沿的BEV Occupancy 时序网络技术主要发力解决的核心痛点。国内主机厂格局理想 AD Max128 线 LiDAR、蔚来 NIO Aquila半固态 4D Radar、小鹏 G9/G6半固态、RobotaxiWaymo / 元戎 / 文远 / Pony.ai均配置 LiDAR它们的 Occupancy stack 通常使用 LiDAR-centric 或 Camera-LiDAR fusion。国内主机厂量产方案公开信息综合厂商方案关键词小鹏 XNet 2.0OCC 头 BEV head 双输出OrinX 部署FlashOcc 风格 channel-to-height理想 AD MaxOCC 网络Orin-X 双芯VLA 路线华为 GODGeneral Obstacle Detection对应”通用障碍物检测” 占据栅格变体蔚来 NIO AquilaOCC Lidar 融合多模态占据网络比亚迪 PilotOCC 城市 NOA算法供应商主导毫末智行 (Haomo)Cam4DOcc自研CVPR244D occupancy 预测轻舟 Driver / 商汤OCC 端到端共识FlashOcc 风格的 BEV-channel-to-height 多帧 fusion INT8 部署是当前主流量产路径。SparseOcc / GaussianFormer 仍处于研发预研阶段。端到端框架的演进趋势阶段代表方案OCC角色感知-规划分离传统方案无直接接口模块化端到端UniADOCC作为感知核心输出One Model端到端特斯拉FSD v12OCC隐式存在于大模型中
)
)
行车记录仪自动删除的恢复方法)
 获取与实战)
