为仿真构建真正照片级真实感的三维环境颇具挑战。即便采用先进的神经重建方法如三维高斯泼溅3D Gaussian Splatting, 3DGS与带无迹变换的三维高斯3D Gaussian with Unscented Transform, 3DGUT渲染视图仍可能出现模糊、空洞或伪几何等伪影——尤其在新视角下。这些伪影会显著降低视觉质量并妨碍下游任务。NVIDIA Omniverse NuRec 将真实世界传感器数据带入仿真并包含名为Fixer的生成式模型以应对上述问题。Fixer 是基于 NVIDIA Cosmos Predict 世界基础模型WFM的扩散模型可去除渲染伪影并在场景约束不足的区域恢复细节。本文介绍如何使用 Fixer 将含噪的三维场景转变为清晰、无伪影、可用于自动驾驶AV仿真的环境涵盖在场景重建阶段离线使用 Fixer以及在渲染阶段在线使用 Fixer并以 Hugging Face 上 NVIDIA Physical AI 开放数据集中的示例场景为例。步骤 1下载已重建场景首先找一个带有一定伪影的已重建三维场景。Hugging Face 上的PhysicalAI-Autonomous-Vehicles-NuRec数据集提供超过 900 个来自真实驾驶的重建场景。请先登录 Hugging Face 并同意数据集许可协议然后下载示例场景以USDZ文件形式提供内含三维环境。例如使用 Hugging Face CLIpipinstallhuggingface_hub[cli]# 如需要安装 HF CLIhf auth login# 在 huggingface-cli 登录并接受数据集许可后hf download nvidia/PhysicalAI-Autonomous-Vehicles-NuRec\--repo-type dataset\--includesample_set/25.07_release/Batch0005/7ae6bec8-ccf1-4397-9180-83164840fbae/camera_front_wide_120fov.mp4\--local-dir ./nurec-sample该命令会将场景的预览视频camera_front_wide_120fov.mp4下载到本机。Fixer 直接处理的是图像而非 USD 或 USDZ因此使用视频帧可方便地得到一组待处理图像。接下来用 FFmpeg 抽帧并将这些图像作为 Fixer 的输入# 为 Fixer 创建输入文件夹mkdir-pnurec-sample/frames-to-fix# 抽帧ffmpeg-isample_set/25.07_release/Batch0005/7ae6bec8-ccf1-4397-9180-83164840fbae/camera_front_wide_120fov.mp4\-vffps30\-qscale:v2\nurec-sample/frames-to-fix/frame_%06d.jpeg视频 1为展示该重建场景及其伪影的预览视频。本例中部分表面因相机覆盖有限而出现空洞或纹理模糊。这些正是 Fixer 旨在解决的问题。视频 1从 Hugging Face 下载的示例重建场景预览步骤 2配置 Fixer 运行环境接下来配置运行 Fixer 的环境。开始前请确保已安装Docker并启用GPU访问然后按下列步骤准备环境。克隆 Fixer 仓库以获取后续步骤所需的脚本gitclone https://github.com/nv-tlabs/Fixer.gitcdFixer下载 Fixer 预训练权重预训练 Fixer 模型托管在 Hugging Face 上可使用 Hugging Face CLI 获取# 创建模型目录mkdir-pmodels/# 仅将预训练模型下载到 models/hf download nvidia/Fixer --local-dir models上述操作会将步骤 3 推理所需的文件保存到models/文件夹。步骤 3使用在线模式进行 Fixer 实时推理在线模式指在渲染过程中将 Fixer 作为神经增强器在仿真中对每一帧进行修复。使用预训练 Fixer 模型进行推理可在Cosmo2-PredictDocker 容器内运行。注意Fixer 增强的是来自场景的渲染图像。请确保已将帧导出例如到examples/并将该文件夹传给--input。要对目录中所有图像运行 Fixer可执行# 构建镜像dockerbuild-tfixer-cosmos-env-fDockerfile.cosmos.# 在容器内运行推理dockerrun-it--gpusall--ipchost\-v$(pwd):/work\-v/path/to/nurec-sample/frames-to-fix:/input\--entrypointpython\fixer-cosmos-env\/work/src/inference_pretrained_model.py\--model/work/models/pretrained/pretrained_fixer.pkl\--input/input\--output/work/output\--timestep250命令要点说明当前目录挂载到容器内/work容器可访问仓库文件。通过 FFmpeg 从示例视频抽取的帧目录挂载为/input。脚本inference_pretrained_model.py来自克隆的 Fixer 仓库src/从给定路径加载预训练 Fixer 模型。--input输入图像文件夹例如examples/中可包含带伪影的渲染帧。--output增强后图像保存目录上文示例为output。--timestep 250扩散去噪过程所使用的噪声水平。运行结束后output/目录将包含修复后的图像。注意前几帧可能因模型初始化而较慢模型跑起来后后续帧会更快。视频 2将经 Fixer 在线模式增强的 NuRec 场景与原始示例重建场景对比步骤 4评估输出对图像应用 Fixer 后可评估其对重建质量的改善程度。文中采用峰值信噪比PSNR作为衡量像素级精度的常见指标。下表为示例场景的前后对比。指标未使用 Fixer使用 FixerPSNR ↑精度16.580916.6147表 1应用 Fixer 后的 PSNR 改善示例↑ 表示越高越好若使用 Physical AI 开放数据集中其他 NuRec 场景或你自己的神经重建结果同样可用这些指标衡量 Fixer 带来的质量提升。具体计算方法见指标相关文档。在主观观感上经 Fixer 处理的场景明显更逼真原先涂抹般的表面被重建为更合理的细节道路标线等细微纹理更清晰帧间改善一致且未引入明显闪烁。此外Fixer 在新视角合成引入伪影时也能有效修正。视频 3展示了将相机向左平移 3 米得到的新视角下对 NuRec 场景应用 Fixer 的效果。在新视角合成输出之上运行 Fixer 时可减轻视角相关伪影并提升重建场景的主观观感质量。视频 3将经 Fixer 增强的 NuRec 场景与原始 NuRec 场景对比视角向左偏移 3 米结语本文围绕Fixer与Omniverse NuRec工作流说明了如何从带伪影的重建结果出发通过离线或在线方式提升三维高斯类渲染在仿真中的可用性与观感尤其适用于自动驾驶等需要稳定、清晰多视角输出的场景。如需复现请结合官方仓库、Docker 环境与 Hugging Face 上的模型与数据集说明进行操作。文章来自https://developer.nvidia.com/blog/how-to-enhance-3d-gaussian-reconstruction-quality-for-simulation/
3DGS如何提升面向仿真的三维高斯重建质量
发布时间：2026/7/25 6:37:49
为仿真构建真正照片级真实感的三维环境颇具挑战。即便采用先进的神经重建方法如三维高斯泼溅3D Gaussian Splatting, 3DGS与带无迹变换的三维高斯3D Gaussian with Unscented Transform, 3DGUT渲染视图仍可能出现模糊、空洞或伪几何等伪影——尤其在新视角下。这些伪影会显著降低视觉质量并妨碍下游任务。NVIDIA Omniverse NuRec 将真实世界传感器数据带入仿真并包含名为Fixer的生成式模型以应对上述问题。Fixer 是基于 NVIDIA Cosmos Predict 世界基础模型WFM的扩散模型可去除渲染伪影并在场景约束不足的区域恢复细节。本文介绍如何使用 Fixer 将含噪的三维场景转变为清晰、无伪影、可用于自动驾驶AV仿真的环境涵盖在场景重建阶段离线使用 Fixer以及在渲染阶段在线使用 Fixer并以 Hugging Face 上 NVIDIA Physical AI 开放数据集中的示例场景为例。步骤 1下载已重建场景首先找一个带有一定伪影的已重建三维场景。Hugging Face 上的PhysicalAI-Autonomous-Vehicles-NuRec数据集提供超过 900 个来自真实驾驶的重建场景。请先登录 Hugging Face 并同意数据集许可协议然后下载示例场景以USDZ文件形式提供内含三维环境。例如使用 Hugging Face CLIpipinstallhuggingface_hub[cli]# 如需要安装 HF CLIhf auth login# 在 huggingface-cli 登录并接受数据集许可后hf download nvidia/PhysicalAI-Autonomous-Vehicles-NuRec\--repo-type dataset\--includesample_set/25.07_release/Batch0005/7ae6bec8-ccf1-4397-9180-83164840fbae/camera_front_wide_120fov.mp4\--local-dir ./nurec-sample该命令会将场景的预览视频camera_front_wide_120fov.mp4下载到本机。Fixer 直接处理的是图像而非 USD 或 USDZ因此使用视频帧可方便地得到一组待处理图像。接下来用 FFmpeg 抽帧并将这些图像作为 Fixer 的输入# 为 Fixer 创建输入文件夹mkdir-pnurec-sample/frames-to-fix# 抽帧ffmpeg-isample_set/25.07_release/Batch0005/7ae6bec8-ccf1-4397-9180-83164840fbae/camera_front_wide_120fov.mp4\-vffps30\-qscale:v2\nurec-sample/frames-to-fix/frame_%06d.jpeg视频 1为展示该重建场景及其伪影的预览视频。本例中部分表面因相机覆盖有限而出现空洞或纹理模糊。这些正是 Fixer 旨在解决的问题。视频 1从 Hugging Face 下载的示例重建场景预览步骤 2配置 Fixer 运行环境接下来配置运行 Fixer 的环境。开始前请确保已安装Docker并启用GPU访问然后按下列步骤准备环境。克隆 Fixer 仓库以获取后续步骤所需的脚本gitclone https://github.com/nv-tlabs/Fixer.gitcdFixer下载 Fixer 预训练权重预训练 Fixer 模型托管在 Hugging Face 上可使用 Hugging Face CLI 获取# 创建模型目录mkdir-pmodels/# 仅将预训练模型下载到 models/hf download nvidia/Fixer --local-dir models上述操作会将步骤 3 推理所需的文件保存到models/文件夹。步骤 3使用在线模式进行 Fixer 实时推理在线模式指在渲染过程中将 Fixer 作为神经增强器在仿真中对每一帧进行修复。使用预训练 Fixer 模型进行推理可在Cosmo2-PredictDocker 容器内运行。注意Fixer 增强的是来自场景的渲染图像。请确保已将帧导出例如到examples/并将该文件夹传给--input。要对目录中所有图像运行 Fixer可执行# 构建镜像dockerbuild-tfixer-cosmos-env-fDockerfile.cosmos.# 在容器内运行推理dockerrun-it--gpusall--ipchost\-v$(pwd):/work\-v/path/to/nurec-sample/frames-to-fix:/input\--entrypointpython\fixer-cosmos-env\/work/src/inference_pretrained_model.py\--model/work/models/pretrained/pretrained_fixer.pkl\--input/input\--output/work/output\--timestep250命令要点说明当前目录挂载到容器内/work容器可访问仓库文件。通过 FFmpeg 从示例视频抽取的帧目录挂载为/input。脚本inference_pretrained_model.py来自克隆的 Fixer 仓库src/从给定路径加载预训练 Fixer 模型。--input输入图像文件夹例如examples/中可包含带伪影的渲染帧。--output增强后图像保存目录上文示例为output。--timestep 250扩散去噪过程所使用的噪声水平。运行结束后output/目录将包含修复后的图像。注意前几帧可能因模型初始化而较慢模型跑起来后后续帧会更快。视频 2将经 Fixer 在线模式增强的 NuRec 场景与原始示例重建场景对比步骤 4评估输出对图像应用 Fixer 后可评估其对重建质量的改善程度。文中采用峰值信噪比PSNR作为衡量像素级精度的常见指标。下表为示例场景的前后对比。指标未使用 Fixer使用 FixerPSNR ↑精度16.580916.6147表 1应用 Fixer 后的 PSNR 改善示例↑ 表示越高越好若使用 Physical AI 开放数据集中其他 NuRec 场景或你自己的神经重建结果同样可用这些指标衡量 Fixer 带来的质量提升。具体计算方法见指标相关文档。在主观观感上经 Fixer 处理的场景明显更逼真原先涂抹般的表面被重建为更合理的细节道路标线等细微纹理更清晰帧间改善一致且未引入明显闪烁。此外Fixer 在新视角合成引入伪影时也能有效修正。视频 3展示了将相机向左平移 3 米得到的新视角下对 NuRec 场景应用 Fixer 的效果。在新视角合成输出之上运行 Fixer 时可减轻视角相关伪影并提升重建场景的主观观感质量。视频 3将经 Fixer 增强的 NuRec 场景与原始 NuRec 场景对比视角向左偏移 3 米结语本文围绕Fixer与Omniverse NuRec工作流说明了如何从带伪影的重建结果出发通过离线或在线方式提升三维高斯类渲染在仿真中的可用性与观感尤其适用于自动驾驶等需要稳定、清晰多视角输出的场景。如需复现请结合官方仓库、Docker 环境与 Hugging Face 上的模型与数据集说明进行操作。文章来自https://developer.nvidia.com/blog/how-to-enhance-3d-gaussian-reconstruction-quality-for-simulation/
