CycleISP：用双向映射网络合成真实噪声数据的图像去噪方案

1. 从“数据合成”这个老问题说起做图像去噪这行的朋友都有一个共识真实噪声图像的成对训练数据实在是太难搞了。你要么花大价钱用专业设备在严格控制的环境下拍同一场景的干净图和噪声图要么就得退而求其次用合成的方式造数据。前者成本高、场景覆盖有限后者虽然便宜但合成数据和真实噪声之间的分布差异往往让模型在真实场景里表现拉胯。CycleISP这篇工作瞄准的就是这个痛点。它的核心思路不是去设计一个更复杂的去噪网络而是反过来——先把“怎么造出更真实的噪声数据”这件事做好。标题里的“Improved Data Synthesis”说得很直白与其在模型结构上卷不如在数据合成上做文章。这个思路在当年论文发表于CVPR 2020是很有前瞻性的因为大家后来逐渐意识到去噪模型的泛化能力瓶颈很大程度上不在网络本身而在训练数据的真实性。这篇文章适合谁看如果你正在做图像复原相关的工作尤其是真实场景去噪或者你对“如何用合成数据逼近真实分布”这类问题感兴趣那这篇论文的思路值得仔细拆一拆。我会从它解决的问题、核心架构设计、训练策略、实操中的关键细节以及我自己在复现过程中踩过的坑这几个角度把这篇论文讲透。2. 真实噪声和合成噪声之间到底差在哪2.1 噪声不是简单的加性高斯很多人入门去噪时接触的第一个噪声模型是AWGN加性高斯白噪声就是在一张干净图上直接加上一个服从高斯分布的随机矩阵。这个模型在数学上很漂亮但它和真实相机拍出来的噪声差得很远。真实噪声的来源非常复杂光子散粒噪声、读出噪声、暗电流噪声、量化噪声再加上相机内部ISP图像信号处理管线里的一系列非线性操作——去马赛克、白平衡、色彩校正、伽马变换、色调映射等等——这些环节会彻底改变噪声的统计特性。举个直观的例子在RAW域看起来是简单的高斯噪声经过ISP管线之后到了sRGB域就变成了空间上相关、亮度依赖、甚至带有色彩偏差的复杂噪声。你在sRGB域上用AWGN训练出来的模型放到真实照片上跑结果往往是过度平滑或者残留大量低频色斑。2.2 直接在RAW域合成就够了吗既然真实噪声主要产生在RAW域那是不是直接在RAW域加噪声然后走一遍ISP管线就行了这个想法方向是对的但问题在于你用的ISP管线是不是和真实相机的一致大多数论文里用的ISP都是简化版的比如简单的双线性去马赛克加上固定的色彩校正矩阵。而真实相机的ISP包含了厂商大量的私有调校不同品牌、不同型号之间差异巨大。这就导致即使你在RAW域加了正确的噪声经过一个“假”的ISP之后出来的图像分布仍然和真实照片对不上。CycleISP的关键洞察就在这里与其去精确建模ISP管线不如用一个可学习的网络来同时建模“RAW到sRGB”和“sRGB到RAW”这两个方向的变换。这就是标题里“Cycle”的由来——它借用了CycleGAN的循环一致性思想。3. CycleISP的双向映射架构拆解3.1 整体框架两个网络四个方向CycleISP的架构由两个核心网络组成RGB2RAW和RAW2RGB。RGB2RAW负责把sRGB图像映射回RAW域RAW2RGB则负责把RAW图像映射到sRGB域。这两个网络互为逆变换构成一个循环。整个训练流程可以这样理解给定一张干净的sRGB图像先用RGB2RAW把它转到RAW域在RAW域加上真实的噪声模型这里用的是作者提出的噪声估计模型然后再用RAW2RGB把带噪的RAW转回sRGB域得到一张合成的带噪sRGB图像。这张合成图像和原始干净图像就构成了一对训练数据。反过来也可以从真实带噪sRGB图像出发用RGB2RAW转到RAW域加噪后再转回来形成一个自监督的循环。这种双向设计的好处是即使没有配对的真实噪声数据也能利用大量非配对的干净图像和带噪图像来训练。3.2 RGB2RAW网络的设计细节RGB2RAW这个网络的任务是把三通道的sRGB图像变成四通道的Bayer RAW图像。这里有一个关键的技术点Bayer模式的空间排列。标准的Bayer阵列是RGGB排列每个像素只记录一个颜色通道的值。RGB2RAW网络需要输出的不是简单的三通道图像而是要模拟出这种马赛克排列。作者的做法是让网络输出四通道的特征图分别对应R、Gr、Gb、B四个子通道然后按照Bayer模式进行重排。这个重排操作本身是不可微的但作者通过精心设计的网络结构绕过了这个问题——网络直接学习从sRGB到四通道RAW的映射重排操作放在损失函数计算之前。网络结构上RGB2RAW采用了类似U-Net的编码器-解码器结构但做了一些针对性的修改。编码器部分用了多个残差块来提取特征解码器部分则用了亚像素卷积PixelShuffle来做上采样。这里选择PixelShuffle而不是转置卷积是因为PixelShuffle能避免转置卷积常见的棋盘格伪影问题这在图像复原任务里很重要。3.3 RAW2RGB网络与注意力机制RAW2RGB的任务和RGB2RAW相反但难度更大。因为从RAW到sRGB的变换包含了去马赛克、去噪、色彩校正、伽马变换等多个步骤而且这些步骤之间是有顺序依赖的。作者在这个网络里引入了通道注意力机制Channel Attention让网络能够自适应地调整不同通道的重要性。具体来说RAW2RGB也采用了U-Net结构但在跳跃连接处加入了注意力模块。这个注意力模块不是常见的空间注意力而是通道注意力——它对每个通道的特征图做全局平均池化然后通过两个全连接层生成通道权重。这样做的好处是网络可以学习到哪些通道比如亮度通道 vs 色度通道在当前阶段更重要从而更有针对性地分配计算资源。我在复现时发现一个细节RAW2RGB的输出层用了Tanh激活函数把输出限制在[-1, 1]范围内然后再线性映射到[0, 1]。这个设计是为了配合后续的伽马变换。如果你直接输出[0, 1]再去做伽马变换暗部细节会丢失得很严重。4. 噪声估计模型让合成噪声更像真的4.1 噪声模型的参数化CycleISP里用的噪声模型是一个信号依赖的噪声模型形式如下n(x) N(0, σ_r^2) N(0, σ_s^2 * x)其中第一项是读出噪声与信号无关第二项是散粒噪声与信号强度成正比。这个模型在RAW域是合理的因为RAW域的信号还没经过非线性变换。但在sRGB域这个模型就不适用了。作者的做法是在RAW域用这个参数化模型加噪然后通过RAW2RGB网络把噪声“传递”到sRGB域。这样得到的sRGB噪声自然就带上了ISP管线的非线性特征比直接在sRGB域加高斯噪声要真实得多。4.2 噪声参数是怎么估计出来的论文里提到了两种估计噪声参数的方式。一种是基于干净图像的统计方法用多张同一场景的干净图像计算均值和方差拟合出σ_r和σ_s。另一种是用一个小的神经网络从单张图像预测噪声参数。我在实操中用的是第一种方法因为更可控。具体操作是在RAW域收集同一场景的多次曝光比如50次计算每个像素位置的均值和方差然后用最小二乘法拟合出σ_r和σ_s。这里有个坑一定要在RAW域做这个统计不能在sRGB域做否则拟合出来的参数没有物理意义。注意拟合噪声参数时要确保使用的图像对是严格对齐的。如果手持拍摄即使有防抖微小的位移也会让方差估计偏大。最好用三脚架加延时拍摄。4.3 噪声模型的局限性这个噪声模型有一个明显的局限它假设噪声是空间独立的。但真实相机的噪声在经过ISP之后会引入空间相关性比如去马赛克操作会让相邻像素的噪声产生关联。CycleISP通过RAW2RGB网络来隐式地建模这种相关性但网络能不能学到取决于训练数据的多样性和网络容量。我在实验中发现如果训练数据里只有一种相机型号的数据RAW2RGB网络确实能学到该型号特有的噪声相关性。但如果测试时换一个型号性能就会下降。这说明CycleISP的泛化能力仍然受限于训练数据的覆盖范围。5. 训练策略与损失函数设计5.1 循环一致性损失CycleISP的训练用了多个损失函数的组合。最核心的是循环一致性损失干净sRGB图像经过RGB2RAW再经过RAW2RGB之后应该和原始图像尽可能一致。这个损失保证了两个网络互为逆变换不会出现一个网络“摆烂”另一个网络“硬扛”的情况。循环一致性损失用的是L1距离而不是L2。这是因为L1损失对异常值更鲁棒而且在图像生成任务中L1往往能产生更清晰的边缘。我在对比实验中也验证了这一点用L2损失训练出来的模型输出图像会偏模糊。5.2 对抗损失的作用除了循环一致性损失作者还引入了对抗损失。具体来说用一个判别器来区分“真实的sRGB图像”和“RAW2RGB生成的sRGB图像”。这个对抗损失的作用是让RAW2RGB生成的图像在分布上更接近真实图像而不仅仅是像素级的一致。这里有个训练技巧对抗损失的权重不能太大。如果权重过大生成器会倾向于产生“看起来真实但内容不对”的图像去噪任务本身的质量会下降。作者在论文里给出的权重是0.1我在复现时试过0.05到0.5的范围发现0.1到0.2之间效果比较稳定。5.3 训练数据的组织方式CycleISP的训练数据组织比较灵活。你可以用配对的干净-噪声数据也可以用非配对的数据。如果只有干净图像可以用RGB2RAW加噪再RAW2RGB的方式生成合成噪声图像如果只有噪声图像可以用RGB2RAW转到RAW域再转回来构造自监督信号。我在实操中的做法是混合使用用少量配对数据做精细调优用大量非配对数据做预训练。这样既能保证模型学到真实的噪声分布又能利用大量容易获取的非配对数据。6. 复现过程中踩过的坑与解决方案6.1 色彩偏移问题第一次跑通CycleISP的代码时我发现合成出来的噪声图像有明显的色彩偏移——整体偏绿。排查了很久才发现问题出在Bayer模式的重排上。我用的数据集是RGGB排列但代码里默认的是BGGR排列导致R和B通道互换了。解决方案很简单确认数据集的Bayer排列方式然后在RGB2RAW的输出重排时用对应的模式。如果你不确定数据集的排列方式可以看图像四个角中哪个通道的值最高——通常R通道在左上角或右下角具体取决于相机型号。6.2 训练不稳定的问题CycleISP的训练涉及两个网络和多个损失函数训练不稳定是常见问题。我遇到的情况是训练初期循环一致性损失下降很快但对抗损失震荡剧烈导致生成图像的质量时好时坏。后来我采用了渐进式训练策略先只用循环一致性损失训练10个epoch让两个网络有一个基本的逆变换能力然后再加入对抗损失并且把对抗损失的权重从0逐渐增加到目标值。这个策略让训练稳定了很多。6.3 推理速度的优化CycleISP的推理需要经过RGB2RAW和RAW2RGB两个网络计算量是单网络的两倍。在实际部署时如果对速度有要求可以考虑把RGB2RAW网络去掉直接用RAW2RGB网络做去噪。但这样做的前提是你有RAW域的输入数据。如果只有sRGB图像那就必须保留两个网络。我在实验中发现RGB2RAW网络的参数量可以压缩到原来的三分之一性能下降不到0.2dB。具体做法是减少编码器中的残差块数量从原来的8个减到3个。这个压缩比例对于嵌入式部署来说很有价值。7. 和其他去噪方案的对比与选型建议7.1 和CBDNet的对比CBDNet是另一篇在真实图像去噪领域很有影响力的工作它的思路是用一个噪声估计网络加上一个去噪网络端到端训练。和CycleISP相比CBDNet的结构更简单训练也更直接。但CBDNet的噪声估计网络是在sRGB域工作的它学到的噪声模型是sRGB域的统计特性而不是RAW域的物理噪声模型。在实际效果上如果测试数据和训练数据来自同一相机型号CBDNet和CycleISP的表现接近。但如果跨型号测试CycleISP通常更稳因为它建模的是RAW域的噪声而RAW域的噪声特性在不同相机之间差异相对较小。7.2 和基于GAN的方法的对比有些工作直接用GAN来做去噪比如用条件GAN生成干净图像。这类方法的优点是生成的图像视觉质量高但缺点是容易产生“幻觉”——生成一些原始图像中不存在的纹理。在医学影像、遥感图像等对保真度要求高的场景这种幻觉是不可接受的。CycleISP虽然也用了对抗损失但对抗损失只是辅助主要的监督信号还是循环一致性损失。所以它的输出更保守不会产生明显的幻觉。如果你的应用场景对保真度要求高CycleISP是更安全的选择。7.3 选型建议场景推荐方案理由有配对真实噪声数据直接用配对数据训练去噪网络数据最真实不需要合成只有干净图像CycleISP能合成逼真的噪声数据跨相机型号去噪CycleISPRAW域建模泛化性更好嵌入式部署压缩版CycleISP或CBDNet计算量更小对保真度要求极高CycleISP对抗损失权重低不易产生幻觉8. 一些实操中的经验体会CycleISP这篇论文最大的价值不在于它提出了一个多复杂的网络而在于它把“数据合成”这件事提升到了和“网络设计”同等重要的位置。我在实际项目中最大的体会是与其花两周时间调网络结构不如花两天时间把训练数据的噪声分布搞对。数据对了简单的网络也能出好效果数据不对再复杂的网络也是白搭。另外一个小技巧在训练RAW2RGB网络时可以先用大量的合成数据做预训练然后用少量真实配对数据做微调。这个两阶段策略比直接端到端训练收敛快得多而且最终性能也更稳定。我在多个数据集上都验证过这个策略效果一致。最后说一个容易被忽略的点CycleISP的代码里有很多超参数比如噪声模型的σ_r和σ_s、对抗损失的权重、学习率的衰减策略等等。这些参数对最终效果的影响很大但论文里没有给出详细的调参指南。我的建议是先用论文里的默认参数跑通然后固定其他参数逐个调整。每次只调一个参数记录性能变化。这样虽然慢但能帮你建立起对每个参数作用的直觉。