扩散模型之（十三）条件生成 Conditioned Generation

1.概述在使用 ImageNet 等各类图像数据集进行具有条件信息的图像训练生成模型时通常会根据类别标签或一段描述性文本生成条件样本。本文进一步展开介绍条件生成。2. Classifier Guided Diffusion为了将类别信息明确地纳入扩散过程Dhariwal 和 Nichol (2021) 在噪声图像上训练了一个分类器。基于梯度通过改变噪声预测来引导扩散采样过程向条件信息目标类别标签靠拢。Review预测模型可以写出联合分布的得分函数如下因此一种新的classifier-guided predictor形式如下为了控制分类器引导的强度我们可以添加权重到梯度计算部分由此得到​​​​​​​由此得到的消融扩散模型ablated diffusion model(ADM)和带有附加分类器指导的模型ADM-G能够取得比 SOTA 生成模型比如 BigGAN 更好的结果。图1 利用分类器的引导实现DDPM和DDIM进行条件生成此外 Dhariwal 和 Nichol (2021)对 U-Net 架构进行了一些改进结果表明其性能优于使用扩散模型的 GAN。这些架构改进包括更大的模型深度/宽度、更多的注意力头、多分辨率注意力机制、用于上采样/下采样的 BigGAN 残差块、残差连接缩放以及自适应组归一化AdaGN。3. Classifier-Free Guidance没有独立分类器尽管如此仍然可以通过结合条件扩散模型和非条件扩散模型的得分来运行条件扩散步骤Ho Salimans2021。令非条件去噪扩散模型通过得分估计器进行参数化以及条件模型通过参数化这两个模型可以通过单个神经网络进行学习。具体来说就是条件扩散模型。使用配对数据进行训练其中条件信息会周期性地随机丢弃这样模型也知道如何无条件地生成图像即​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​隐式分类器的梯度可以用条件得分估计器和非条件得分估计器来表示。一旦代入分类器引导的修正得分该得分就不再依赖于单独的分类器。​​​​​​​实验结果表明CFG可以在 FID区分合成图像和生成图像和 IS质量和多样性之间取得良好的平衡。引导扩散模型 GLIDENichol、Dhariwal 和 Ramesh 等人2022探索了两种引导策略CLIP 引导和无分类器引导并发现后者更受欢迎。他们推测这是因为 CLIP 引导利用对抗样本来改进 CLIP 模型而不是优化生成更匹配的图像。