如果你正在处理视频中的人脸无论是做身份验证、虚拟试妆还是简单的肖像修复一个看似微小却极其顽固的障碍物总会跳出来破坏你的算法——眼镜。传统的“去眼镜”方法无论是基于图像修复还是简单的区域替换在视频场景下往往惨不忍睹闪烁、边缘模糊、面部扭曲或者干脆把眼睛也给“修”没了。这背后是一个被长期忽视的难题视频中的眼镜不是一个静态的遮挡物而是一个动态的、与光线和面部运动紧密耦合的物理实体。简单地“抠掉”它就像试图从流动的水中取出一块冰而不影响水流形态一样困难。今天要深入探讨的正是近期计算机视觉领域一项颇具突破性的工作“Unwarping the Lens: A Physics-Grounded Approach to Video Glasses Removal”。这个标题直译是“矫正镜片一种基于物理的视频眼镜移除方法”。它没有停留在“移除”这个动作上而是将核心放在了“矫正”上。这不仅仅是语义的差异更是方法论的革新。它不再把眼镜视为需要被“抹去”的噪声而是将其视为一个物理透镜其存在会扭曲其背后的真实面部信息。因此任务的核心变成了逆向求解这个物理扭曲过程从而恢复出未被眼镜干扰的、连贯的面部视频。对于开发者、算法工程师和所有需要处理视频中人脸信息的人来说理解这项工作的意义在于它提供了一个全新的、更鲁棒的框架。它告诉我们面对复杂的视觉任务时引入领域知识这里是光学物理往往比堆叠更多的数据和算力更有效。本文将带你拆解这项技术的核心思想、实现逻辑并探讨其在实际项目中的应用潜力和局限性。1. 为什么视频“去眼镜”比图片难得多在深入技术细节前我们必须先理解问题的复杂性。图片去眼镜可以看作一个“图像修复”问题目标是生成被遮挡区域合理的像素。虽然也有挑战但至少上下文信息是静态的。到了视频领域难度呈指数级上升时间一致性视频由连续帧组成。你不能在每一帧独立地“修掉”眼镜因为那样会导致修复区域在帧与帧之间剧烈抖动、闪烁俗称“鬼影”视觉上完全不可接受。算法必须保证修复结果在时间上是平滑、连贯的。动态遮挡与透视变化人物会转头、说话、做出表情。眼镜框和镜片在画面中的位置、形状、透视都在不断变化。简单的固定区域蒙版方法完全失效。复杂的光学效应这是最核心也最容易被忽略的一点。眼镜尤其是近视/远视镜是一个透镜它会折射光线改变光线路径导致眼镜后的眼睛、皮肤等部位发生形变例如透过镜片边缘看眼睛可能被放大或缩小。产生反光镜片表面会反射环境光形成高光点或整个环境的倒影这些信息与背后的真实面部信息混合在一起。引起色散和像差低质量镜片可能导致边缘出现彩色条纹或模糊。传统方法包括很多基于深度学习的方法试图直接学习“有眼镜-无眼镜”的映射但它们本质上是在学习一个极其复杂的、包含了物理变形、遮挡和反光的“黑盒”函数。这需要海量的、精准配对的训练数据并且泛化能力差对于训练集中未出现的眼镜形状、反光情况效果会急剧下降。“Physics-Grounded”方法的洞察力正在于此与其让神经网络去硬记所有可能的扭曲组合不如教会它背后的物理规律。一旦模型理解了“眼镜是如何扭曲图像的”这一物理过程它就可以逆向推导从扭曲的图像中恢复出原始图像。这类似于从一张模糊的照片中如果知道模糊核点扩散函数就能通过反卷积得到清晰图像。2. 核心思想将眼镜建模为“可学习的扭曲场”这项工作的核心创新点是将整个去眼镜过程构建为一个物理引导的、可微分的渲染与反渲染流程。我们可以将其分解为三个关键步骤2.1 物理模型薄透镜近似与光线追迹首先算法将眼镜镜片简化为一个“薄透镜”模型。这个模型有几个关键参数曲率、折射率等这些参数决定了光线如何被偏折。对于视频中的每一帧算法需要估计眼镜的3D姿态眼镜框在空间中的位置和旋转。镜片的物理参数虽然不需要精确的验光数据但需要一个能够描述其扭曲效果的参数化表示。有了这些对于图像上每一个被镜片覆盖的像素算法可以模拟一条光线从相机出发穿过镜片再射向人脸。由于镜片的折射这条光线的实际路径是弯曲的它最终落在人脸3D表面的某个点上。这个“从图像像素到3D人脸表面点”的映射就是一个扭曲场。通俗理解想象眼镜片是一张透明的、有凹凸纹理的塑料膜贴在脸上。透过它看脸脸是变形的。这张“膜”的凹凸形状就是扭曲场。我们的目标就是估算出这个“凹凸形状”。2.2 可微分渲染从“干净脸”到“戴眼镜脸”这是训练阶段的关键。假设我们有一个没有眼镜的、干净的3D人脸模型包括几何形状和纹理。我们可以用计算机图形学的方法将这个干净的人脸通过上述估计出的“扭曲场”即眼镜模型渲染成一幅合成的戴眼镜图像。这个过程是可微分的意味着我们可以计算合成图像与真实戴眼镜图像之间的差异损失并且这个差异可以沿着渲染管道反向传播去更新我们估计的“扭曲场”参数和“干净人脸”模型。核心循环如下输入一段戴眼镜的视频。初始化一个估计的“干净3D人脸”和一组“每帧眼镜扭曲场”。前向过程用当前的干净人脸和扭曲场渲染出合成戴眼镜视频。计算损失比较合成视频与真实输入视频的差异。反向传播根据损失同时优化两个东西a) “干净3D人脸”的纹理使其更接近真人 b) 每帧的“眼镜扭曲场”使其更准确地描述真实眼镜的光学效应。通过迭代优化系统会逐渐找到一个最优的“干净人脸”和一组“扭曲场”使得用它们渲染出的戴眼镜视频与真实输入视频尽可能一致。2.3 反渲染去眼镜应用逆向扭曲场一旦训练收敛我们就得到了两个最重要的成果一个估计出的、无眼镜的3D人脸纹理这是我们最终想要的部分结果。一系列精确的、每帧的逆向扭曲场这个场描述了如何将戴眼镜图像上的像素“搬回”到它们在没有扭曲时应处的位置。去眼镜的过程就变得直观而稳定 对于每一帧戴眼镜的图像我们不再进行复杂的生成式修补而是直接应用计算好的逆向扭曲场对图像进行重采样。将因眼镜折射而错位的像素“拉回”正确的位置。对于被镜框完全遮挡的区域镜框后由于我们已经有了一致的3D人脸纹理可以从其他视角或利用时间信息进行填补这个填补过程因为有了准确的几何和纹理先验也变得更容易、更一致。这种方法的最大优势时间一致性天然保证扭曲场是基于3D几何和物理规律逐帧估计的其变化是平滑的因此应用逆向场得到的结果自然在时间上连贯。处理反光和形变因为模型显式地学习了光线的扭曲所以它能更好地“解开”反光和折射带来的混合效应。数据效率与泛化性模型学习的是物理规律扭曲场和特定人物的脸部特征而不是“眼镜-无眼镜”的像素级对应。因此对于新的眼镜类型只要有视频它就能通过优化过程自适应地估计出扭曲场泛化能力更强。3. 技术实现拆解从视频到干净人脸的管道让我们以一个更工程化的视角拆解这个系统的运行流程。假设我们有一段输入视频V_input。3.1 阶段一人脸与眼镜的初始解析首先我们需要对每一帧进行基础的计算机视觉分析。# 伪代码示意流程 import face_alignment import glasses_detection_lib # 假设存在这样一个库 for frame in V_input: # 1. 人脸关键点检测 landmarks face_alignment.detect_landmarks(frame) # 2. 人脸3D形状与姿态估计 (例如使用3DMM模型) face_shape, pose, expression estimate_3d_face(landmarks) # 3. 眼镜分割与粗略定位 glasses_mask, glasses_bbox segment_glasses(frame) # 4. 初始眼镜3D姿态估计 (将眼镜框拟合到一个简单的3D模型上) glasses_pose estimate_glasses_3d_pose(glasses_bbox, face_shape)这一步为后续的物理优化提供了至关重要的初始值人脸的3D几何、每帧的姿态表情、以及眼镜的大概位置。3.2 阶段二联合优化干净纹理与扭曲场这是系统的核心通常构建在一个如PyTorch或TensorFlow的可微分框架中。我们定义几个可优化变量T_clean: 一个UV纹理图代表无眼镜的人脸皮肤纹理。{W_t}: 一个序列代表每一帧t的扭曲场参数可以参数化为一个稠密的流场或一个低维参数向量。优化目标损失函数通常包含多个部分# 伪代码示意损失函数构成 total_loss 0.0 for t in range(num_frames): # 获取当前帧的3D人脸网格和眼镜姿态 mesh_t get_face_mesh(face_shape, expression[t], pose[t]) glasses_params_t W_t # 可微分渲染用T_clean和mesh_t通过扭曲场glasses_params_t渲染合成戴眼镜图像 rendered_frame differentiable_renderer.render(mesh_t, T_clean, glasses_params_t) # 计算损失 # 1. 光度损失合成图与真实图在像素上的差异在非遮挡区域 photo_loss L1_loss(rendered_frame, V_input[t], mask~occlusion_mask) # 2. 感知损失在特征空间上的差异使结果更逼真 percep_loss VGG_loss(rendered_frame, V_input[t]) # 3. 正则化损失约束扭曲场在时间上平滑约束纹理T_clean平滑 smooth_loss TV_loss(W_t) TV_loss(T_clean) # 4. 遮挡一致性损失确保被镜框遮挡的区域其纹理在时间上合理 occlusion_loss temporal_consistency_loss(T_clean, ...) total_loss photo_loss lambda1*percep_loss lambda2*smooth_loss lambda3*occlusion_loss # 反向传播优化 T_clean 和 {W_t} total_loss.backward() optimizer.step()这个过程需要迭代数百至数千次直到合成视频与输入视频足够相似。3.3 阶段三生成最终去眼镜视频优化完成后我们得到了优化的T_clean_opt和{W_t_opt}。对于每一帧生成无眼镜结果的步骤是应用逆向扭曲场使用inverse(W_t_opt)对输入帧V_input[t]进行重采样校正折射造成的形变。这得到了一个初步校正的图像I_corrected。纹理融合对于被镜框完全遮挡的区域从优化好的T_clean_opt中根据当前帧的人脸姿态投影生成该区域的纹理I_inpainted。泊松融合与后处理将I_corrected(已校正的镜片区域) 和I_inpainted(修复的镜框区域) 与原始图像未被眼镜影响的区域进行无缝融合。通常使用泊松图像编辑算法。时域滤波对最终序列进行轻微的时域滤波以消除可能残留的微小抖动输出平滑的视频V_output。4. 环境准备与依赖分析要复现或理解此类研究你需要一个配置良好的Python深度学习环境。以下是核心依赖Python: 3.8 或以上。深度学习框架:PyTorch(1.9.0) 或 TensorFlow 2.x。相关研究代码多基于PyTorch。CUDA/cuDNN: 用于GPU加速。版本需与PyTorch匹配。关键库:numpy,opencv-python: 基础图像处理。face-alignment,dlib: 用于人脸关键点检测和初始对齐。face-alignment库提供了方便的接口。trimesh,pyrender或pytorch3d: 用于3D网格处理和可微分渲染。pytorch3d是Facebook的研究库专门为此类任务设计是实现物理可微分渲染的关键。imageio,ffmpeg: 视频读写。可选但重要的库:kornia: 一个PyTorch的计算机视觉库包含许多可微分的图像处理算子对实现扭曲场操作很有帮助。tqdm: 用于显示训练进度。一个基础的environment.yml配置示例如下以PyTorch为例name: video-glasses-removal channels: - pytorch - conda-forge dependencies: - python3.8 - pytorch1.13.0 - torchvision0.14.0 - cudatoolkit11.6 - pip - pip: - face-alignment - opencv-python - imageio[ffmpeg] - kornia - tqdm # 注意pytorch3d 通常需要从源码编译或通过特定渠道安装 # - fvcore -i https://pytorch3d.org/stable/ # - pytorch3d -f https://dl.fbaipublicfiles.com/pytorch3d/packaging/wheels/py38_cu116_pyt1130/download.html重要提示pytorch3d的安装是最大的环境挑战之一必须严格匹配PyTorch和CUDA版本。建议直接访问其官方GitHub页面查看安装指南。5. 核心代码模块剖析由于完整实现非常复杂这里我们聚焦于几个最核心的模块用简化的代码展示其思想。5.1 可微分扭曲场应用模块这个模块实现物理扭曲的核心给定一个扭曲场光流场对图像进行可微分的重采样。import torch import torch.nn.functional as F import kornia class DifferentiableWarping(nn.Module): 一个简化的可微分扭曲模块。 flow_field: [B, 2, H, W] 表示每个像素的(x, y)位移。 image: [B, C, H, W] 输入图像。 def __init__(self): super().__init__() def forward(self, image, flow_field): # 生成采样网格 B, C, H, W image.shape # 创建基础网格 (从-1到1) grid_base kornia.utils.create_meshgrid(H, W, normalized_coordinatesTrue, deviceimage.device) # [1, H, W, 2] grid_base grid_base.repeat(B, 1, 1, 1) # [B, H, W, 2] # 将光流场像素位移归一化到网格坐标空间 # 假设flow_field是像素位移需要除以(W-1)/2和(H-1)/2来归一化 flow_normalized flow_field.permute(0, 2, 3, 1) # [B, H, W, 2] flow_normalized[..., 0] flow_normalized[..., 0] / (W - 1) * 2 flow_normalized[..., 1] flow_normalized[..., 1] / (H - 1) * 2 # 应用位移 sampling_grid grid_base flow_normalized # 使用双线性插值进行可微分采样 warped_image F.grid_sample(image, sampling_grid, modebilinear, padding_modeborder, align_cornersTrue) return warped_image在这个框架中flow_field即扭曲场就是我们需要优化的关键参数之一它由眼镜的物理参数姿态、曲率计算而来。5.2 物理引导的扭曲场生成器简化版这个模块将可优化的眼镜物理参数如每帧的3D姿态、镜片曲率转换为作用于图像平面的稠密扭曲场。class PhysicsBasedFlowGenerator(nn.Module): 一个高度简化的物理扭曲场生成器。 实际实现会涉及3D光线追迹。 def __init__(self, flow_resolution(256, 256)): super().__init__() self.resolution flow_resolution # 可学习的镜片基础扭曲参数 (例如模拟一个球面透镜的效应) self.lens_power nn.Parameter(torch.tensor(0.05)) # 类似屈光度的参数 def forward(self, glasses_pose, face_mesh): glasses_pose: [B, 6] (3平移 3旋转) face_mesh: [B, V, 3] 当前帧的3D人脸网格顶点 返回: flow_field [B, 2, H, W] B glasses_pose.shape[0] H, W self.resolution flow torch.zeros(B, 2, H, W, deviceglasses_pose.device) # 简化模型假设扭曲量与像素到镜片中心的距离的平方成正比 center_x, center_y W // 2, H // 2 y_coords, x_coords torch.meshgrid(torch.arange(H), torch.arange(W), indexingij) x_coords, y_coords x_coords.float().to(glasses_pose.device), y_coords.float().to(glasses_pose.device) # 计算每个像素到中心的距离 dx (x_coords - center_x) / center_x # 归一化到[-1, 1] dy (y_coords - center_y) / center_y dist_sq dx**2 dy**2 # [H, W] # 根据距离和透镜参数计算位移 (径向位移) # 这是一个极度简化的折射模型实际应用需要基于Snell定律 displacement_magnitude self.lens_power * dist_sq # [H, W] flow_x displacement_magnitude * dx # [H, W] flow_y displacement_magnitude * dy # [H, W] # 将位移加到光流场上并考虑眼镜姿态的影响这里简化了 flow[:, 0, :, :] flow_x.unsqueeze(0) * glasses_pose[:, 3].view(-1, 1, 1) # 用旋转分量缩放 flow[:, 1, :, :] flow_y.unsqueeze(0) * glasses_pose[:, 4].view(-1, 1, 1) return flow请注意这是一个极度简化的示意代码。真实的物理模型会复杂得多需要计算每条光线与透镜曲面相交并应用斯涅尔定律折射定律来计算精确的偏折方向。5.3 主训练循环骨架将上述模块组合起来的主训练循环骨架如下def train_physics_guided_removal(video_frames, num_epochs1000): video_frames: [T, C, H, W] 输入视频张量 T video_frames.shape[0] device video_frames.device # 初始化可优化变量 clean_texture nn.Parameter(torch.randn(1, 3, 512, 512, devicedevice) * 0.1) # UV纹理图 glasses_poses nn.Parameter(torch.zeros(T, 6, devicedevice)) # 每帧眼镜姿态 flow_gen PhysicsBasedFlowGenerator().to(device) optimizer torch.optim.Adam([{params: clean_texture}, {params: glasses_poses}, {params: flow_gen.parameters()}], lr1e-3) warper DifferentiableWarping().to(device) for epoch in range(num_epochs): total_loss 0 for t in range(T): # 1. 获取当前帧的3D人脸网格这里简化假设已预计算 face_mesh_t precomputed_meshes[t].to(device).unsqueeze(0) # 2. 生成当前帧的扭曲场 flow_t flow_gen(glasses_poses[t:t1], face_mesh_t) # [1, 2, H, W] # 3. 从clean_texture渲染出当前视角的“干净脸”图像 (简化这里假设有渲染器render_face) rendered_clean render_face(clean_texture, face_mesh_t) # [1, 3, H, W] # 4. 应用扭曲场模拟戴上眼镜的效果 synthetic_with_glasses warper(rendered_clean, flow_t) # 5. 计算损失 target_frame video_frames[t:t1].to(device) loss F.l1_loss(synthetic_with_glasses, target_frame) # 加上平滑性等正则化损失... total_loss loss optimizer.zero_grad() total_loss.backward() optimizer.step() if epoch % 100 0: print(fEpoch {epoch}, Loss: {total_loss.item():.6f}) return clean_texture, glasses_poses, flow_gen这个循环的目标是调整clean_texture、glasses_poses和flow_gen的参数使得synthetic_with_glasses越来越像真实的video_frames。6. 运行效果与验证指标如何判断这类模型的优劣不能只看“看起来像不像”需要有客观和主观的评估体系。6.1 客观指标对于有Ground Truth即同一人物同一场景下无眼镜的真实视频的研究数据集可以使用PSNR (峰值信噪比)和SSIM (结构相似性指数)比较生成的无眼镜视频与真实无眼镜视频在像素和结构上的相似度。数值越高越好。LPIPS (学习感知图像块相似度)在深度学习特征空间比较相似度更符合人眼感知。数值越低越好。tOF (时间光流一致性)计算生成视频相邻帧之间光流的平滑度与真实视频的光流平滑度进行比较评估时间一致性。FID (Fréchet Inception Distance)计算生成视频帧与真实视频帧在特征分布上的距离评估整体真实感。6.2 主观评估与可视化验证对于实际应用主观评估往往更关键逐帧检查观察去眼镜后的每一帧面部特征尤其是眼睛是否自然、清晰有无明显的伪影或扭曲。视频连续播放这是最重要的测试。在视频播放中观察闪烁修复区域是否有高频闪烁。抖动眼睛、眉毛等部位是否稳定。边缘融合修复区域与原始区域的边界是否在时间上稳定、自然。极端情况测试大角度转头眼镜形状和遮挡区域剧烈变化时效果是否稳定。强烈反光镜片上存在高光时算法是将其错误地“修复”为皮肤还是合理地消除或减弱。复杂背景眼镜边缘与复杂背景如头发、耳朵交界处处理是否干净。一个成功的“Physics-Grounded”方法应该在主观视频流畅度上显著优于纯数据驱动的修复方法即使在客观指标上差距不大。7. 常见问题、挑战与排查思路在实际实现或应用此类方法时你会遇到一系列挑战。问题现象可能原因排查方式解决方案/思路优化不收敛损失震荡学习率过高物理模型参数初始化不合理人脸/眼镜初始估计误差太大。1. 绘制损失曲线。2. 可视化初始渲染结果。3. 检查人脸关键点检测是否准确。1. 使用学习率预热和衰减策略。2. 对物理参数施加更强的先验正则化。3. 改进人脸与眼镜的初始解析模块或使用更鲁棒的检测器。生成结果模糊光度损失权重过高导致模型倾向于输出平均解纹理T_clean分辨率不足正则化过强。1. 检查感知损失是否有效启用。2. 提高纹理图分辨率。3. 观察扭曲场是否过于平滑。1. 增加感知损失或对抗损失的权重。2. 使用多尺度纹理或高频细节注入。3. 调整扭曲场平滑正则化的强度。时间不一致性闪烁扭曲场{W_t}在时间上未施加足够约束纹理T_clean在优化中被过度拟合到单帧。1. 逐帧检查扭曲场变化。2. 检查时域平滑损失是否起作用。1. 在损失函数中加入强力的时域平滑约束如对W_t求时间差分。2. 使用循环一致性损失确保从t帧预测的纹理与t1帧一致。无法处理强烈反光物理模型未显式建模镜面反射训练数据中缺乏强反光样本。1. 可视化合成图像与真实图像的差异图看差异是否集中在高光区域。1. 在可微分渲染器中增加一个简单的反射层模型。2. 在数据预处理阶段尝试检测并屏蔽掉高光区域作为不确定区域在损失计算中降低其权重。眼镜框边缘处理生硬眼镜分割掩码不精确泊松融合参数不当纹理T_clean在遮挡边界处信息不足。1. 检查每帧的眼镜分割结果。2. 观察融合后的alpha边界。1. 使用时序稳定的分割算法如在光流引导下传播分割掩码。2. 在优化时对遮挡边界区域的纹理施加更强的平滑性约束鼓励从邻近帧和可见区域传播信息。运行速度极慢可微分渲染尤其是光线追迹计算开销大优化迭代次数多视频分辨率高。1. 使用nvprof或PyTorch Profiler分析瓶颈。2. 降低渲染分辨率进行优化最后上采样。1. 使用pytorch3d等高度优化的库。2. 采用 coarse-to-fine 策略先在低分辨率优化再上采样到高分辨率微调。3. 考虑对扭曲场使用更紧凑的参数化表示如低维MLP而非稠密光流场。8. 最佳实践与工程化建议如果希望将此类研究应用于实际项目以下建议至关重要数据预处理是成功的一半人脸对齐与稳定使用稳定、鲁棒的人脸3D重建模型如DECA、EMOCA来获取每帧一致的人脸几何与姿态。不稳定的初始值会导致优化陷入局部最优。高质量的眼镜分割不要依赖简单的阈值分割。使用专门训练的语义分割模型如修改过的HRNet或DeepLabV3并在时序上进行平滑处理获得精确且稳定的镜框和镜片掩码。设计鲁棒的损失函数多尺度损失在图像金字塔的不同尺度上计算重建损失有助于模型捕获从整体结构到局部细节的信息。边缘感知损失在图像梯度域计算损失可以更好地保留面部特征的清晰边缘。身份保持损失使用人脸识别网络如ArcFace提取特征确保优化出的“干净脸”与输入人物的身份特征一致防止“换脸”。优化策略分阶段训练先固定纹理只优化扭曲场参数让模型快速学习眼镜的物理变形。然后联合优化所有参数。渐进式优化从低分辨率视频开始优化逐步增加分辨率。这能加速收敛并避免陷入高频噪声的局部最优。利用视频时序不仅使用t帧来优化t帧的参数可以引入滑动窗口用[t-1, t, t1]三帧的信息共同约束中间帧的纹理和扭曲场极大增强时间一致性。后处理与融合引导滤波在最终融合前对修复区域使用原始图像的边缘信息进行引导滤波能使修复区域的纹理与周围皮肤更自然地过渡。时域一致性滤波对生成的视频序列应用轻量的时域滤波如简单的滑动平均或更复杂的VFI方法可以消除优化后可能残留的微小抖动。明确应用边界并非万能该方法核心是解决折射形变。对于完全不透明的大镜框、装饰性极强的眼镜其遮挡区域的修复仍然依赖于生成模型的“想象”能力这部分与纯生成方法面临相同的挑战。侧脸与极端姿态当人物侧脸角度极大导致一只眼睛完全被镜腿遮挡时恢复出的眼睛必然是算法生成的需谨慎评估其合理性。伦理与隐私任何修改人像的技术都必须考虑合规使用。明确告知用户并获取授权避免用于伪造、欺骗等非法用途。“Unwarping the Lens”所代表的物理 grounded 方法为视频内容修复领域提供了一个强大的范式。它启示我们在面对某些具有明确物理规律的视觉问题时将领域知识建模为可微分组件并融入深度学习框架往往能取得比纯端到端黑盒模型更优、更稳定、更可解释的结果。对于开发者而言掌握其思想比复现其每一个细节更为重要。你可以从构建一个简化版的静态图像“透镜反扭曲”模型开始逐步加入时序约束和3D信息最终将其应用到更广泛的视频修复、增强与现实编辑任务中。