在实际的图像生成与编辑任务中重打光Relighting是一个极具挑战性的方向。它要求算法在改变图像光照条件的同时必须严格保持人物的身份、姿态、表情乃至衣物纹理等所有非光照属性的一致性。传统方法往往顾此失彼调整光照后人物面部特征可能发生畸变或者背景细节被错误地修改。针对这一核心难题美图影像研究院在ECCV 2026上提出的一致特征传输重打光新方案CFT为我们提供了一种新颖且高效的解决思路。本文将深入解析CFT方案的核心思想、技术实现路径并提供一个基于其核心原理的简化实践示例帮助读者理解如何在一个可控的生成框架内实现高质量、高一致性的图像重打光。本文适合对计算机视觉、图像生成尤其是扩散模型和图像编辑有一定了解的开发者。我们将从CFT要解决的根本问题出发解释其依赖的Rectified Flow理论背景然后构建一个概念性的项目结构通过关键代码片段说明“特征传输”是如何实现的最后讨论此类方法在实际应用中的常见陷阱与优化方向。1. 理解重打光的一致性问题与CFT的核心思想重打光任务可以形式化地描述为给定一张源图像 ( I_s ) 和一个目标光照描述 ( L_t )生成一张新图像 ( I_t )使得 ( I_t ) 具有 ( L_t ) 所描述的光照效果同时保持与 ( I_s ) 在内容上的一致性。1.1 传统方法的局限传统方法或早期深度学习方案通常面临两个主要挑战身份漂移在改变光照的过程中模型可能会“重新生成”人脸导致生成的人像与源图像不是同一个人。这在基于GAN或VAE的编辑模型中尤为常见。细节丢失与扭曲为了适应新光照模型可能会过度平滑图像导致发丝、皮肤纹理、衣物褶皱等高频细节丢失或者产生不自然的伪影。其根本原因在于这些方法没有明确地将图像中的“内容身份、结构、纹理”和“光照阴影、高光、色调”进行解耦和独立控制。编辑过程往往是对整个图像隐空间的混合操作从而引入了不可控的变化。1.2 CFT的解决方案基于Rectified Flow的特征传输CFT方案的核心创新在于引入了“一致特征传输”机制。其基本流程可以概括为特征提取与解耦利用一个预训练的特征编码器如CLIP的图像编码器或扩散模型中的UNet特征从源图像 ( I_s ) 中提取深层语义特征 ( F_s )。这些特征被认为编码了与光照无关的内容信息。条件生成过程在一个基于Rectified Flow的扩散模型框架下进行图像生成。目标光照条件 ( L_t ) 作为文本或向量条件输入模型。特征注入在扩散模型去噪采样的关键步骤中将源图像的特征 ( F_s ) 通过交叉注意力Cross-Attention或特征拼接Feature Concatenation等方式“传输”或“注入”到生成过程中。流校正Rectified Flow 理论保证了从噪声到目标图像的生成路径尽可能直线化这提高了采样效率同时与特征注入相结合能更好地保持生成轨迹的稳定性使得最终输出 ( I_t ) 既满足目标光照 ( L_t )又锚定了源内容 ( F_s \。简单来说CFT不是直接修改像素而是引导一个强大的生成模型在“绘制”新光照图像时持续参考源图像的身份与细节特征。Rectified Flow的确定性或近似确定性采样特性进一步减少了生成过程中的随机性有助于提升输出的一致性。2. 环境准备与核心依赖要理解并实践CFT的核心思想我们需要搭建一个基于扩散模型的实验环境。以下配置以研究常用的PyTorch和Diffusers库为基础。2.1 基础环境与工具Python: 3.8 或 3.9。PyTorch: 1.12.0需与CUDA版本匹配。CUDA: 11.3 或更高GPU运行必需。代码管理: Git。包管理: 推荐使用Conda创建独立环境。2.2 核心Python库创建一个requirements.txt文件来管理依赖torch1.12.0 torchvision0.13.0 diffusers0.20.0 transformers4.30.0 accelerate0.20.0 pillow9.0.0 opencv-python4.5.0 scikit-image0.19.0 einops0.6.0 ftfy regex使用pip安装pip install -r requirements.txt2.3 预训练模型准备CFT这类工作通常基于一个强大的文本到图像扩散模型进行微调或适配。我们将使用Stable Diffusion作为基础模型。从Hugging Face Hub获取模型权重。由于网络原因可能需要配置镜像或提前下载。核心模型包括CompVis/stable-diffusion-v1-4或runwayml/stable-diffusion-v1-5基础文生图模型。对应的Tokenizer和Scheduler。在代码中我们可以通过diffusers库方便地加载from diffusers import StableDiffusionPipeline, UNet2DConditionModel from transformers import CLIPTokenizer import torch # 加载预训练管道 model_id runwayml/stable-diffusion-v1-5 pipe StableDiffusionPipeline.from_pretrained(model_id, torch_dtypetorch.float16) pipe pipe.to(cuda) # 为了进行特征操作我们通常需要直接访问UNet和VAE unet pipe.unet vae pipe.vae tokenizer pipe.tokenizer text_encoder pipe.text_encoder3. 构建概念性CFT项目结构与流程由于完整的CFT实现涉及复杂的模型微调和定制采样器这里我们构建一个概念验证性项目结构展示如何在一个标准扩散流程中融入“特征传输”的思想。这有助于理解CFT的工程实现骨架。3.1 项目目录结构cft_relight_demo/ ├── configs/ # 配置文件 │ └── inference.yaml ├── models/ # 模型定义与加载 │ ├── __init__.py │ ├── feature_extractor.py # 特征提取器 │ └── guided_unet.py # 支持特征注入的UNet包装器 ├── pipelines/ # 生成流程 │ ├── __init__.py │ └── cft_sampler.py # 自定义采样器核心 ├── utils/ # 工具函数 │ ├── image_utils.py │ └── flow_utils.py ├── scripts/ # 执行脚本 │ └── run_inference.py ├── requirements.txt └── README.md3.2 核心模块特征提取器CFT需要从源图像提取鲁棒的特征。这里我们使用扩散模型UNet的中间层特征因为它们对语义内容敏感。# models/feature_extractor.py import torch import torch.nn as nn from diffusers.models.unet_2d_condition import UNet2DConditionModel from typing import Dict, List class CFTFeatureExtractor(nn.Module): 从源图像提取多层特征。 通过hook机制捕获UNet在特定深度下的中间特征图。 def __init__(self, unet: UNet2DConditionModel, target_block_indices: List[int] [1, 2]): super().__init__() self.unet unet self.target_indices target_block_indices self.features {} self._register_hooks() def _register_hooks(self): 在UNet的指定中间块上注册前向钩子以捕获特征图。 def get_feature_hook(name): def hook(module, input, output): # output通常是一个tuple我们取第一个特征图 if isinstance(output, tuple): self.features[name] output[0].detach() else: self.features[name] output.detach() return hook # 假设我们关注UNet下采样路径的某些中间块 for idx, block in enumerate(self.unet.down_blocks): if idx in self.target_indices: block.register_forward_hook(get_feature_hook(fdown_{idx})) def forward(self, latent: torch.Tensor, timestep: torch.Tensor, encoder_hidden_states: torch.Tensor): 执行一次UNet前向传播触发钩子收集特征。 Args: latent: 加噪的潜变量。 timestep: 扩散时间步。 encoder_hidden_states: 文本编码特征。 Returns: Dict[str, torch.Tensor]: 层名到特征图的映射。 self.features.clear() # 清空旧特征 _ self.unet(latent, timestep, encoder_hidden_statesencoder_hidden_states) return self.features.copy()3.3 核心模块支持特征注入的引导采样器这是CFT逻辑的核心。我们在标准的DDIM或DPMSolver采样循环中插入特征匹配损失以引导生成过程。# pipelines/cft_sampler.py import torch from tqdm import tqdm from diffusers import DDIMScheduler class CFTSampler: 实现特征传输引导的采样器。 在每一步去噪时计算生成潜变量特征与源图像特征的损失并回传梯度以修正噪声预测。 def __init__(self, model, scheduler, feature_extractor, source_features, guidance_scale100.0, feature_layersNone): self.model model # UNet self.scheduler scheduler self.feature_extractor feature_extractor self.source_features source_features # 从源图像提取的 {layer_name: feature_map} self.guidance_scale guidance_scale self.feature_layers feature_layers or list(source_features.keys()) def compute_feature_loss(self, generated_features): 计算生成特征与源特征的均方误差损失。 loss 0.0 for layer in self.feature_layers: if layer in generated_features and layer in self.source_features: feat_gen generated_features[layer] feat_src self.source_features[layer] # 确保特征图尺寸匹配可能需要自适应池化 if feat_gen.shape[-2:] ! feat_src.shape[-2:]: feat_gen torch.nn.functional.adaptive_avg_pool2d(feat_gen, feat_src.shape[-2:]) loss torch.nn.functional.mse_loss(feat_gen, feat_src) return loss def denoise_step(self, latents, timestep, encoder_hidden_states): 执行单步去噪包含特征引导。 with torch.enable_grad(): # 1. 原始噪声预测 latents latents.detach().requires_grad_(True) noise_pred self.model(latents, timestep, encoder_hidden_statesencoder_hidden_states).sample # 2. 使用当前预测的潜变量计算如果从此步开始生成会得到的特征 # 这是一个简化近似我们使用当前latents和预测的干净潜变量x0的加权和作为特征提取输入 pred_x0 self.scheduler.step(noise_pred, timestep, latents).pred_original_sample # 为了特征提取我们需要一个潜变量表示这里用pred_x0 with torch.no_grad(): # 注意这里需要将pred_x0缩放到VAE的尺度或者使用一个固定的缩放因子。 # 这是一个概念性步骤实际CFT论文可能有更精确的近似。 generated_features self.feature_extractor( pred_x0, timestep, encoder_hidden_states ) # 3. 计算特征损失 feature_loss self.compute_feature_loss(generated_features) # 4. 通过梯度引导更新噪声预测 if self.guidance_scale 0 and feature_loss.requires_grad: grad torch.autograd.grad(feature_loss, latents)[0] noise_pred noise_pred - self.guidance_scale * grad # 5. 使用更新后的噪声预测执行 scheduler step latents self.scheduler.step(noise_pred, timestep, latents).prev_sample return latents.detach() def sample(self, init_latent, encoder_hidden_states, num_inference_steps50): 完整的采样循环。 self.scheduler.set_timesteps(num_inference_steps) latents init_latent for i, t in enumerate(tqdm(self.scheduler.timesteps)): latents self.denoise_step(latents, t, encoder_hidden_states) return latents3.4 推理脚本整合将上述模块串联起来形成一个完整的重打光推理流程。# scripts/run_inference.py import torch from PIL import Image from diffusers import StableDiffusionPipeline, DDIMScheduler from models.feature_extractor import CFTFeatureExtractor from pipelines.cft_sampler import CFTSampler from utils.image_utils import preprocess_image, latent_to_pil def run_cft_relighting(source_image_path, target_prompt, output_path): device cuda if torch.cuda.is_available() else cpu dtype torch.float16 if device cuda else torch.float32 # 1. 加载基础模型 pipe StableDiffusionPipeline.from_pretrained( runwayml/stable-diffusion-v1-5, torch_dtypedtype ).to(device) pipe.scheduler DDIMScheduler.from_config(pipe.scheduler.config) # 2. 准备源图像 src_image Image.open(source_image_path).convert(RGB) src_latent preprocess_image(src_image, pipe.vae, device, dtype) # 3. 提取源图像特征 feature_extractor CFTFeatureExtractor(pipe.unet, target_block_indices[1, 2]) # 使用一个中性文本提示如“a photo of a person”来获取源图像的特征 src_prompt a photo of a person src_text_input pipe.tokenizer( src_prompt, return_tensorspt, paddingmax_length, truncationTrue, max_lengthpipe.tokenizer.model_max_length ).input_ids.to(device) src_encoder_hidden_states pipe.text_encoder(src_text_input)[0] with torch.no_grad(): # 运行一次UNet前向传播以捕获特征使用一个随机时间步和潜变量 dummy_timestep torch.tensor([pipe.scheduler.config.num_train_timesteps // 2], devicedevice, dtypetorch.long) _ feature_extractor(src_latent, dummy_timestep, src_encoder_hidden_states) source_features feature_extractor.features.copy() # 4. 准备目标文本提示 target_text_input pipe.tokenizer( target_prompt, # 例如“a photo of a person under sunset lighting” return_tensorspt, paddingmax_length, truncationTrue, max_lengthpipe.tokenizer.model_max_length ).input_ids.to(device) target_encoder_hidden_states pipe.text_encoder(target_text_input)[0] # 5. 初始化采样器并执行特征引导采样 sampler CFTSampler( modelpipe.unet, schedulerpipe.scheduler, feature_extractorfeature_extractor, source_featuressource_features, guidance_scale150.0, feature_layers[down_1, down_2] ) # 从随机噪声开始生成但我们可以选择从源图像的加噪版本开始以增强一致性CFT可能采用 init_noise torch.randn_like(src_latent) generated_latents sampler.sample( init_latentinit_noise, encoder_hidden_statestarget_encoder_hidden_states, num_inference_steps50 ) # 6. 解码潜变量为图像 generated_image latent_to_pil(generated_latents, pipe.vae) generated_image.save(output_path) print(fGenerated image saved to {output_path}) if __name__ __main__: # 示例调用 run_cft_relighting( source_image_pathpath/to/source.jpg, target_prompta photo of a person under bright studio lighting, output_pathoutput/relit_image.jpg )4. 关键参数与配置解析在CFT方案中以下几个参数对生成效果有决定性影响需要仔细调整。4.1 特征引导强度 (guidance_scale)作用控制源图像特征对生成过程的约束力。该值越大生成结果在内容上越接近源图像但可能削弱对目标光照提示词的响应。典型范围50.0 - 300.0。需要根据具体图像和提示词实验。调整策略从一个中等值如100.0开始。如果人物身份保持好但光照变化不明显则降低该值如果身份发生漂移则提高该值。4.2 特征层选择 (feature_layers/target_block_indices)作用决定从UNet的哪些深度提取特征进行传输。浅层特征包含更多纹理和细节深层特征包含更多语义和结构信息。选择原则浅层如down_1更利于保持皮肤纹理、发丝细节。但可能将源图像的光照纹理也一并传递过去。中层如down_2,down_3平衡细节与语义是常用的选择。深层如mid_block,up_1更利于保持面部结构和身份但细节可能模糊。CFT实践通常会融合多层特征为不同层分配不同的损失权重。4.3 采样步数与调度器采样步数使用DDIM或DPM-Solver等快速采样器时通常20-50步即可获得不错效果。更多步数可能提升细节但增加计算成本。调度器DDIMScheduler是确定性采样器与Rectified Flow追求确定性路径的思想契合适合特征引导。EulerAncestralDiscreteScheduler等随机性强的采样器可能导致结果不稳定。4.4 文本提示词工程目标提示词应清晰描述光照变化而非人物身份。例如好“under soft window light”, “with dramatic side lighting”, “golden hour sunset glow on face”差“a handsome man”, “a woman smiling” 这改变了身份属性源提示词用于提取特征时使用中性、通用的描述如“a photo of a person”。5. 运行验证与效果评估运行上述脚本后我们需要系统地评估生成效果而不仅仅是肉眼观察。5.1 主观评估清单生成图像后依次检查以下方面身份一致性生成的人像与源图像是否是同一个人对比眼睛、鼻子、嘴巴的形状和相对位置。光照符合度高光、阴影的方向、强度和颜色是否符合目标提示词的描述细节保留发型、痣、皱纹、衣物图案等细节是否得以保留是否变得模糊或扭曲背景一致性背景内容是否发生不合理改变理想情况下背景应与光照同步变化但非内容改变。自然度图像是否存在明显的伪影、扭曲或不协调感5.2 客观评估指标供研究参考在实际项目或论文中会使用量化指标ID Similarity使用人脸识别模型如ArcFace计算源图像与生成图像的人脸特征余弦相似度。越接近1越好。PSNR/SSIM不适用于重打光。因为像素级变化是预期的这些指标会错误地给出低分。用户研究A/B Test让受试者选择哪个结果在保持身份和改变光照上做得更好是最可靠的评估方式之一。5.3 验证流程示例假设我们有一张室内正常光线下的人像source.jpg我们想将其变为“黄昏暖光”效果。运行命令python scripts/run_inference.py \ --source source.jpg \ --prompt a photo of a person, warm golden hour sunlight, long shadows \ --output output/golden_hour.jpg \ --guidance_scale 120将output/golden_hour.jpg与source.jpg并排对比。使用一个简单的Python脚本计算ID相似度需安装insightface库import insightface import cv2 app insightface.app.FaceAnalysis() app.prepare(ctx_id0) # 提取并比较人脸特征向量 # ...6. 常见问题排查在实际运行概念代码或类似项目时你可能会遇到以下问题。6.1 生成结果完全失真或无法辨认可能原因1特征引导强度过高。guidance_scale值过大导致梯度更新破坏了生成过程。排查将guidance_scale设为0看是否能生成符合提示词的正常图像。如果能则逐步调高该值。可能原因2特征层选择不当或特征图尺寸不匹配。导致损失计算错误梯度爆炸。排查检查feature_extractor中钩子捕获的特征图尺寸。在计算损失前确保feat_gen和feat_src的[B, C, H, W]中H, W一致必要时进行插值或池化。可能原因3采样器或调度器配置错误。时间步逻辑混乱。排查在denoise_step函数中打印timestep的值确保其在scheduler.timesteps序列内且递减。6.2 身份保持良好但光照毫无变化可能原因1特征引导强度过高。模型被过度约束无法偏离源图像的特征。解决降低guidance_scale。可能原因2目标提示词光照描述不够强或与模型先验冲突。解决加强提示词如将“bright light”改为“extremely bright studio lighting, strong highlights”。尝试使用否定提示词如“dark, dim, shadowy”。可能原因3使用的特征层过于浅层。浅层特征包含大量光照信息将其传输过去等于“锁死”了光照。解决尝试使用更深的特征层如down_3,mid_block。6.3 光照变化明显但身份严重漂移可能原因1特征引导强度过低。解决提高guidance_scale。可能原因2源图像特征提取时使用的文本提示词不当。如果用了一个与源图像不符的提示词提取的特征可能不具代表性。解决尝试使用更通用的源提示词如“a photo”。对于人脸可以使用“a face photo”。也可以尝试使用空字符串但效果可能不稳定。可能原因3初始潜变量init_latent随机性太强。从完全随机的噪声开始增加了生成的不确定性。解决采用“噪声反转”技术。即对源图像加噪至某个中间时间步t然后从该加噪的潜变量开始进行去噪采样。这能极大提高一致性。这需要修改init_latent的生成方式。6.4 显存不足OOM可能原因特征图保存、梯度计算、特别是多批次或多层特征损失计算会大幅增加显存占用。解决减少feature_layers的数量。在计算特征损失时对特征图进行空间下采样如平均池化。使用梯度检查点torch.utils.checkpoint。降低图像分辨率或批量大小。使用torch.float16精度。7. 生产环境最佳实践与扩展方向将CFT思想应用于实际产品如美图秀秀的“AI 打光”功能时需要考虑更多工程因素。7.1 性能优化模型蒸馏将包含特征引导逻辑的复杂采样过程蒸馏到一个轻量级的前馈网络中实现单次前向传播完成重打光。缓存机制对于固定的源图像其深层特征可以预先提取并缓存。当用户选择不同光照时只需运行一次特征引导生成无需重复提取特征。分辨率分级先在低分辨率下进行重打光生成再通过超分辨率网络提升画质平衡速度与质量。7.2 稳定性与鲁棒性人脸检测与对齐在预处理阶段使用人脸检测器定位人脸区域并可能进行对齐。将特征传输的注意力更多地放在人脸区域可以减少背景干扰。多尺度特征融合不仅使用UNet中间层特征还可以结合来自其他网络如人脸识别网络、边缘检测网络的多尺度特征进行加权损失计算提升保持能力。失败案例检测建立后处理流程使用人脸质量评估、光照一致性检测等模型自动过滤掉身份漂移严重或光照异常的结果并提供重试或提示。7.3 扩展方向视频重打光将CFT扩展到视频序列。除了每帧应用特征传输还需要考虑帧间的时间一致性可能引入光流或3D特征场进行约束。多光源与复杂光照编辑当前提示词只能描述整体光照。未来可探索空间光照图Spherical Harmonics, SH或3D光照估计作为条件输入实现方向、颜色、强度等多维度精细控制。与3D人脸模型结合先从单张图片重建3D人脸模型如FLAME在3D空间进行物理正确的重打光再渲染回2D。这能提供最强的物理一致性和编辑自由度但计算成本更高。一致特征传输CFT为重打光这一经典问题提供了一个优雅而有效的框架。其核心在于信任大规模预训练扩散模型的强大生成先验并通过特征层面的软约束来精确引导生成方向而非进行不可逆的像素修改。要实现稳定可靠的效果需要仔细调整特征层、引导强度、提示词和初始化策略。尽管完整的CFT系统非常复杂但理解其“特征提取-条件生成-特征引导”的核心环路足以让我们在现有开源模型基础上搭建出具有实用价值的重打光原型并为后续更深入的优化和应用打下坚实基础。