深入源码Guohua Diffusion 模型加载与推理流程代码解读如果你已经玩过一些开源的文生图模型能跑通基本的推理流程但总觉得像在用一个“黑盒”——输入文字出来图片中间发生了什么心里没底。那么这篇文章就是为你准备的。我们不再满足于调用一个封装好的pipeline而是想打开引擎盖看看里面的活塞、曲轴和火花塞是如何协同工作的。今天我们就以 Guohua Diffusion 为例深入其源码一步步拆解模型加载、图像预处理、噪声调度和采样循环这些核心模块。通过阅读代码你将真正理解一张图片从无到有的“生成”过程这对于后续的模型定制、性能优化或问题排查都至关重要。1. 环境准备与源码概览在开始之前你需要准备好一个可以运行 Python 的环境并获取 Guohua Diffusion 的源代码。通常你可以从 GitHub 等开源平台找到它。# 假设你已经有了一个Python环境3.8 git clone guohua-diffusion-repo-url cd guohua-diffusion pip install -r requirements.txt安装好依赖后我们快速浏览一下项目的主要目录结构这能帮你建立全局观guohua-diffusion/ ├── models/ # 模型定义相关代码 │ ├── unet.py # U-Net 噪声预测网络 │ ├── vae.py # 变分自编码器负责图像编解码 │ └── clip.py # 文本编码器通常是CLIP ├── schedulers/ # 噪声调度器Sampler │ └── ddim.py # 例如 DDIM 采样器 ├── pipelines/ # 推理流程封装 │ └── pipeline_stable_diffusion.py # 核心推理管线 ├── utils/ # 工具函数 │ ├── load_utils.py # 权重加载工具 │ └── image_utils.py # 图像处理工具 └── configs/ # 模型配置文件我们的探索之旅将从pipelines/pipeline_stable_diffusion.py这个“总控室”开始然后深入到各个模块。2. 核心流程总览从文本到图像的旅程在深入细节前我们先在脑海中画一张地图。一个典型的 Stable Diffusion 类模型包括 Guohua Diffusion的推理流程可以概括为以下几个关键步骤文本编码将你输入的文字提示prompt通过文本编码器如 CLIP转换成一系列数字向量embeddings。潜在空间初始化生成一个充满随机噪声的“画布”但这个画布存在于一个压缩的、高效的“潜在空间”里而不是我们直接看到的像素空间。迭代去噪采样循环这是最核心的步骤。U-Net 网络根据当前的噪声画布和文本向量预测出应该去除多少噪声。然后调度器根据这个预测计算出下一步更清晰的画布。这个过程循环几十次。图像解码当潜在空间的“画布”被清理干净后VAE 解码器将其“翻译”回我们能看到的高清像素图像。整个流程就像一个雕塑家先有一个模糊的概念文本编码然后对一块粗糙的石坯初始噪声进行反复雕琢迭代去噪最后打磨出光滑的成品图像解码。接下来我们就进入代码看看每一步具体是怎么实现的。3. 模型权重的加载.safetensors 与 .ckpt模型训练好的参数也就是“权重”通常保存在.safetensors或.ckpt(PyTorch Checkpoint) 文件中。加载它们是推理的第一步。我们一般在utils/load_utils.py或类似的工具文件中找到相关函数。3.1 加载 .safetensors 文件.safetensors是一种更安全、加载速度更快的格式。我们来看看代码里是怎么处理的# 假设在 utils/load_utils.py 中 import torch from safetensors import safe_open def load_safetensors_model(model, checkpoint_path): 从 .safetensors 文件加载权重到模型。 Args: model: 待加载权重的PyTorch模型如U-Net, VAE。 checkpoint_path: .safetensors 文件路径。 # 使用 safe_open 安全地打开文件 with safe_open(checkpoint_path, frameworkpt, devicecpu) as f: # 获取文件中所有的键key state_dict {} for key in f.keys(): # 将张量加载到CPU内存 state_dict[key] f.get_tensor(key) # 将加载的权重字典应用到模型 # 这里通常需要处理一些键名不匹配的情况 model.load_state_dict(state_dict, strictFalse) print(fLoaded weights from {checkpoint_path}) return model关键点在于safe_open和f.keys()的遍历。strictFalse参数很重要因为它允许模型结构和权重文件中的键名存在一些非关键性的不匹配比如只有部分层需要加载避免报错。3.2 加载 .ckpt 文件.ckpt是 PyTorch 标准的序列化格式使用torch.load加载。但需要特别注意安全性和版本兼容性。def load_ckpt_model(model, checkpoint_path): 从 .ckpt 文件加载权重到模型。 Args: model: 待加载权重的PyTorch模型。 checkpoint_path: .ckpt 文件路径。 # 注意在生产环境中应考虑从可信源加载或使用 weights_onlyTrue (PyTorch 2.0) checkpoint torch.load(checkpoint_path, map_locationcpu) # 检查checkpoint的结构。有时权重直接是state_dict有时被包裹在更大的字典里如state_dict键下。 if state_dict in checkpoint: state_dict checkpoint[state_dict] else: state_dict checkpoint # 同样应用权重到模型 model.load_state_dict(state_dict, strictFalse) print(fLoaded weights from {checkpoint_path}) return model在实际的 Guohua Diffusion 代码中你可能会看到一个更复杂的load_pipeline_from_checkpoint函数它需要分别加载 U-Net、VAE、CLIP 三个子模型的权重并处理它们之间可能存在的键名前缀如model.diffusion_model.。4. 图像预处理与潜在空间编码我们输入的文本提示需要被编码同时如果涉及图生图输入的图片也需要被处理。图片处理的核心是 VAE 的编码器。4.1 文本编码从文字到向量这个过程发生在 CLIP 文本编码器中。代码会把你输入的句子如“一只可爱的猫”转换成一系列固定长度的向量。# 简化示意实际在 models/clip.py 或 pipeline 中 from transformers import CLIPTokenizer, CLIPTextModel tokenizer CLIPTokenizer.from_pretrained(openai/clip-vit-large-patch14) text_encoder CLIPTextModel.from_pretrained(openai/clip-vit-large-patch14) prompt 一只可爱的猫戴着蝴蝶结 # 1. 分词将句子拆分成模型认识的“词元” input_ids tokenizer( prompt, paddingmax_length, max_lengthtokenizer.model_max_length, truncationTrue, return_tensorspt, ).input_ids # 2. 编码将词元ID转换成富含语义的向量 with torch.no_grad(): text_embeddings text_encoder(input_ids)[0] # 取最后一层隐藏状态得到的text_embeddings是一个形状为[1, 77, 768]的张量假设 batch size 为1序列长度77特征维度768。这个张量将作为 U-Net 的条件输入指导图像生成的方向。4.2 图像编码从像素到潜在表示VAE 编码器负责将一张512x512的 RGB 图片压缩到一个更小的潜在空间比如64x64x4。这样做可以极大减少后续 U-Net 去噪计算量。# 简化示意实际在 models/vae.py 中 from PIL import Image import torchvision.transforms as T def preprocess_image(image_path, height512, width512): 将图片加载、调整大小并归一化到[-1, 1]区间。 image Image.open(image_path).convert(RGB) transform T.Compose([ T.Resize((height, width), interpolationT.InterpolationMode.BILINEAR), T.ToTensor(), # 转换为Tensor范围[0,1] T.Normalize([0.5], [0.5]) # 将[0,1]映射到[-1,1] ]) image_tensor transform(image).unsqueeze(0) # 增加batch维度 - [1, 3, H, W] return image_tensor # 在 pipeline 中预处理后的图像会送入 VAE 编码器 latents vae.encode(preprocessed_image).latent_dist.sample() * vae.config.scaling_factor这里有个关键参数scaling_factor通常是 0.18215是为了稳定训练而引入的缩放因子。编码时乘上它解码时就要除以它这个细节在代码中很容易被忽略导致生成的图片颜色或结构异常。5. 噪声调度器控制去噪的节奏调度器Scheduler 或 Sampler是控制整个去噪过程节奏的“指挥家”。它决定了每一步添加或移除多少噪声以及如何根据 U-Net 的预测更新潜在变量。我们以 DDIM 调度器为例看看它在schedulers/ddim.py中可能的样子。# schedulers/ddim.py 简化核心逻辑 class DDIMScheduler: def __init__(self, num_train_timesteps1000, beta_start0.00085, beta_end0.012): # 初始化噪声计划表beta, alpha, alpha_cumprod等 self.betas torch.linspace(beta_start, beta_end, num_train_timesteps) self.alphas 1. - self.betas self.alphas_cumprod torch.cumprod(self.alphas, dim0) self.num_train_timesteps num_train_timesteps self.timesteps torch.arange(0, num_train_timesteps).flip(0) # 推理时从后往前 def step(self, model_output, timestep, sample, eta0.0): 执行单步去噪更新。 Args: model_output: U-Net预测的噪声。 timestep: 当前时间步。 sample: 当前的潜在变量带噪声的latents。 eta: 控制随机性的参数0为确定性DDIM。 # 1. 根据公式计算预测的原始样本 x0 pred_original_sample ... # 涉及 alphas_cumprod 的计算 # 2. 计算指向 x0 的方向 direction_pointing_to_xt ... # 涉及噪声预测和系数的计算 # 3. 计算方差随机噪声项eta0时引入随机性 variance ... # 涉及 beta, alpha 等的计算 noise torch.randn_like(sample) if eta 0 else 0 # 4. 根据DDIM更新公式计算下一步的样本 prev_sample pred_original_sample direction_pointing_to_xt variance * noise return prev_samplestep函数是调度器的核心。它接收 U-Net 的预测 (model_output)、当前状态 (sample) 和时间步 (timestep)然后根据一套确定的数学公式DDIM 论文中的公式计算出“更干净”的下一步样本 (prev_sample)。不同的调度器如 PNDM, LMS, Euler Ancestral有着不同的step实现它们平衡着生成速度、质量和确定性。6. 采样循环U-Net 与调度器的共舞这是整个生成过程的“心脏”。我们在pipelines/pipeline_stable_diffusion.py的__call__或一个独立的denoising_loop函数中能找到它。# pipeline_stable_diffusion.py 中的采样循环简化版 def denoising_loop(self, latents, text_embeddings, num_inference_steps50, guidance_scale7.5): 执行去噪循环。 Args: latents: 初始化的随机噪声潜在变量。 text_embeddings: 条件文本嵌入。 num_inference_steps: 去噪步数。 guidance_scale: 分类器自由引导(CFG)尺度控制文本跟随程度。 # 1. 设置调度器的时间步 self.scheduler.set_timesteps(num_inference_steps) # 2. 开始循环 for i, t in enumerate(self.scheduler.timesteps): # 2.1 扩展latents以进行无条件和条件预测 latent_model_input torch.cat([latents] * 2) if guidance_scale 1 else latents latent_model_input self.scheduler.scale_model_input(latent_model_input, t) # 2.2 U-Net前向传播预测噪声 with torch.no_grad(): noise_pred self.unet( latent_model_input, t, encoder_hidden_statestext_embeddings, ).sample # 2.3 应用分类器自由引导(CFG) if guidance_scale 1: noise_pred_uncond, noise_pred_text noise_pred.chunk(2) noise_pred noise_pred_uncond guidance_scale * (noise_pred_text - noise_pred_uncond) # 2.4 调度器更新根据预测的噪声计算下一步的latents latents self.scheduler.step(noise_pred, t, latents).prev_sample # 可选进度回调或中间结果保存 if callback is not None and i % callback_steps 0: callback(i, t, latents) return latents这个循环清晰展示了流程latent_model_input被送入 U-Net。U-Net 输出对噪声的预测 (noise_pred)。如果使用了 CFG这是文生图质量的关键我们会分别计算无条件预测和有条件预测然后按guidance_scale进行混合。尺度越大生成结果越贴近文本描述但可能牺牲多样性。最后调度器利用这个混合后的噪声预测通过step方法计算出下一步更清晰的latents。循环结束后我们就得到了去噪完毕的潜在变量。7. 图像解码与后处理最后一步将干净的潜在变量变回我们熟悉的图片。# 在 pipeline 的 __call__ 方法末尾 def decode_latents(self, latents): 将潜在变量解码为图像。 # 1. 重要先缩放回来 latents 1 / self.vae.config.scaling_factor * latents # 2. 通过VAE解码器 with torch.no_grad(): image self.vae.decode(latents).sample # 3. 将输出从[-1, 1]映射回[0, 1]并转换为PIL图像 image (image / 2 0.5).clamp(0, 1) image image.cpu().permute(0, 2, 3, 1).float().numpy() # [B, C, H, W] - [B, H, W, C] image (image * 255).round().astype(uint8) pil_images [Image.fromarray(img) for img in image] return pil_images记住第一步的缩放逆操作 (1 / scaling_factor) 至关重要它需要与编码时的操作严格对应。解码后的张量经过简单的线性变换和格式转换就变成了最终的 PIL 图像对象。8. 总结走完这一趟源码之旅我们再回头看 Stable Diffusion 的生成过程感觉应该完全不一样了。它不再是一个神秘的黑盒而是一个由文本编码器、VAE、U-Net 和调度器精密协作的流水线。理解这些代码最大的好处是获得了“掌控感”。当你遇到生成图片颜色发灰时你会去检查 VAE 的缩放因子处理是否正确当图片不符合文本描述时你会去调整 CFG 的guidance_scale当你想要更快的生成速度时你会尝试换用不同的scheduler或者减少num_inference_steps。当然真实的工业级代码会有更多的优化、异常处理和兼容性逻辑但核心骨架就是这些。建议你拿到源码后用调试器如 VSCode 的 Python Debugger一步步跟踪几个生成过程观察每一个关键变量latents,noise_pred,t的变化这种体会会比单纯阅读深刻得多。接下来你可以尝试修改采样循环比如实现一个简单的进度回调来保存中间 latent看看图片是如何一步步从噪声中浮现的这会非常有趣。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
深入源码：Guohua Diffusion 模型加载与推理流程代码解读
发布时间：2026/5/19 16:29:51
深入源码Guohua Diffusion 模型加载与推理流程代码解读如果你已经玩过一些开源的文生图模型能跑通基本的推理流程但总觉得像在用一个“黑盒”——输入文字出来图片中间发生了什么心里没底。那么这篇文章就是为你准备的。我们不再满足于调用一个封装好的pipeline而是想打开引擎盖看看里面的活塞、曲轴和火花塞是如何协同工作的。今天我们就以 Guohua Diffusion 为例深入其源码一步步拆解模型加载、图像预处理、噪声调度和采样循环这些核心模块。通过阅读代码你将真正理解一张图片从无到有的“生成”过程这对于后续的模型定制、性能优化或问题排查都至关重要。1. 环境准备与源码概览在开始之前你需要准备好一个可以运行 Python 的环境并获取 Guohua Diffusion 的源代码。通常你可以从 GitHub 等开源平台找到它。# 假设你已经有了一个Python环境3.8 git clone guohua-diffusion-repo-url cd guohua-diffusion pip install -r requirements.txt安装好依赖后我们快速浏览一下项目的主要目录结构这能帮你建立全局观guohua-diffusion/ ├── models/ # 模型定义相关代码 │ ├── unet.py # U-Net 噪声预测网络 │ ├── vae.py # 变分自编码器负责图像编解码 │ └── clip.py # 文本编码器通常是CLIP ├── schedulers/ # 噪声调度器Sampler │ └── ddim.py # 例如 DDIM 采样器 ├── pipelines/ # 推理流程封装 │ └── pipeline_stable_diffusion.py # 核心推理管线 ├── utils/ # 工具函数 │ ├── load_utils.py # 权重加载工具 │ └── image_utils.py # 图像处理工具 └── configs/ # 模型配置文件我们的探索之旅将从pipelines/pipeline_stable_diffusion.py这个“总控室”开始然后深入到各个模块。2. 核心流程总览从文本到图像的旅程在深入细节前我们先在脑海中画一张地图。一个典型的 Stable Diffusion 类模型包括 Guohua Diffusion的推理流程可以概括为以下几个关键步骤文本编码将你输入的文字提示prompt通过文本编码器如 CLIP转换成一系列数字向量embeddings。潜在空间初始化生成一个充满随机噪声的“画布”但这个画布存在于一个压缩的、高效的“潜在空间”里而不是我们直接看到的像素空间。迭代去噪采样循环这是最核心的步骤。U-Net 网络根据当前的噪声画布和文本向量预测出应该去除多少噪声。然后调度器根据这个预测计算出下一步更清晰的画布。这个过程循环几十次。图像解码当潜在空间的“画布”被清理干净后VAE 解码器将其“翻译”回我们能看到的高清像素图像。整个流程就像一个雕塑家先有一个模糊的概念文本编码然后对一块粗糙的石坯初始噪声进行反复雕琢迭代去噪最后打磨出光滑的成品图像解码。接下来我们就进入代码看看每一步具体是怎么实现的。3. 模型权重的加载.safetensors 与 .ckpt模型训练好的参数也就是“权重”通常保存在.safetensors或.ckpt(PyTorch Checkpoint) 文件中。加载它们是推理的第一步。我们一般在utils/load_utils.py或类似的工具文件中找到相关函数。3.1 加载 .safetensors 文件.safetensors是一种更安全、加载速度更快的格式。我们来看看代码里是怎么处理的# 假设在 utils/load_utils.py 中 import torch from safetensors import safe_open def load_safetensors_model(model, checkpoint_path): 从 .safetensors 文件加载权重到模型。 Args: model: 待加载权重的PyTorch模型如U-Net, VAE。 checkpoint_path: .safetensors 文件路径。 # 使用 safe_open 安全地打开文件 with safe_open(checkpoint_path, frameworkpt, devicecpu) as f: # 获取文件中所有的键key state_dict {} for key in f.keys(): # 将张量加载到CPU内存 state_dict[key] f.get_tensor(key) # 将加载的权重字典应用到模型 # 这里通常需要处理一些键名不匹配的情况 model.load_state_dict(state_dict, strictFalse) print(fLoaded weights from {checkpoint_path}) return model关键点在于safe_open和f.keys()的遍历。strictFalse参数很重要因为它允许模型结构和权重文件中的键名存在一些非关键性的不匹配比如只有部分层需要加载避免报错。3.2 加载 .ckpt 文件.ckpt是 PyTorch 标准的序列化格式使用torch.load加载。但需要特别注意安全性和版本兼容性。def load_ckpt_model(model, checkpoint_path): 从 .ckpt 文件加载权重到模型。 Args: model: 待加载权重的PyTorch模型。 checkpoint_path: .ckpt 文件路径。 # 注意在生产环境中应考虑从可信源加载或使用 weights_onlyTrue (PyTorch 2.0) checkpoint torch.load(checkpoint_path, map_locationcpu) # 检查checkpoint的结构。有时权重直接是state_dict有时被包裹在更大的字典里如state_dict键下。 if state_dict in checkpoint: state_dict checkpoint[state_dict] else: state_dict checkpoint # 同样应用权重到模型 model.load_state_dict(state_dict, strictFalse) print(fLoaded weights from {checkpoint_path}) return model在实际的 Guohua Diffusion 代码中你可能会看到一个更复杂的load_pipeline_from_checkpoint函数它需要分别加载 U-Net、VAE、CLIP 三个子模型的权重并处理它们之间可能存在的键名前缀如model.diffusion_model.。4. 图像预处理与潜在空间编码我们输入的文本提示需要被编码同时如果涉及图生图输入的图片也需要被处理。图片处理的核心是 VAE 的编码器。4.1 文本编码从文字到向量这个过程发生在 CLIP 文本编码器中。代码会把你输入的句子如“一只可爱的猫”转换成一系列固定长度的向量。# 简化示意实际在 models/clip.py 或 pipeline 中 from transformers import CLIPTokenizer, CLIPTextModel tokenizer CLIPTokenizer.from_pretrained(openai/clip-vit-large-patch14) text_encoder CLIPTextModel.from_pretrained(openai/clip-vit-large-patch14) prompt 一只可爱的猫戴着蝴蝶结 # 1. 分词将句子拆分成模型认识的“词元” input_ids tokenizer( prompt, paddingmax_length, max_lengthtokenizer.model_max_length, truncationTrue, return_tensorspt, ).input_ids # 2. 编码将词元ID转换成富含语义的向量 with torch.no_grad(): text_embeddings text_encoder(input_ids)[0] # 取最后一层隐藏状态得到的text_embeddings是一个形状为[1, 77, 768]的张量假设 batch size 为1序列长度77特征维度768。这个张量将作为 U-Net 的条件输入指导图像生成的方向。4.2 图像编码从像素到潜在表示VAE 编码器负责将一张512x512的 RGB 图片压缩到一个更小的潜在空间比如64x64x4。这样做可以极大减少后续 U-Net 去噪计算量。# 简化示意实际在 models/vae.py 中 from PIL import Image import torchvision.transforms as T def preprocess_image(image_path, height512, width512): 将图片加载、调整大小并归一化到[-1, 1]区间。 image Image.open(image_path).convert(RGB) transform T.Compose([ T.Resize((height, width), interpolationT.InterpolationMode.BILINEAR), T.ToTensor(), # 转换为Tensor范围[0,1] T.Normalize([0.5], [0.5]) # 将[0,1]映射到[-1,1] ]) image_tensor transform(image).unsqueeze(0) # 增加batch维度 - [1, 3, H, W] return image_tensor # 在 pipeline 中预处理后的图像会送入 VAE 编码器 latents vae.encode(preprocessed_image).latent_dist.sample() * vae.config.scaling_factor这里有个关键参数scaling_factor通常是 0.18215是为了稳定训练而引入的缩放因子。编码时乘上它解码时就要除以它这个细节在代码中很容易被忽略导致生成的图片颜色或结构异常。5. 噪声调度器控制去噪的节奏调度器Scheduler 或 Sampler是控制整个去噪过程节奏的“指挥家”。它决定了每一步添加或移除多少噪声以及如何根据 U-Net 的预测更新潜在变量。我们以 DDIM 调度器为例看看它在schedulers/ddim.py中可能的样子。# schedulers/ddim.py 简化核心逻辑 class DDIMScheduler: def __init__(self, num_train_timesteps1000, beta_start0.00085, beta_end0.012): # 初始化噪声计划表beta, alpha, alpha_cumprod等 self.betas torch.linspace(beta_start, beta_end, num_train_timesteps) self.alphas 1. - self.betas self.alphas_cumprod torch.cumprod(self.alphas, dim0) self.num_train_timesteps num_train_timesteps self.timesteps torch.arange(0, num_train_timesteps).flip(0) # 推理时从后往前 def step(self, model_output, timestep, sample, eta0.0): 执行单步去噪更新。 Args: model_output: U-Net预测的噪声。 timestep: 当前时间步。 sample: 当前的潜在变量带噪声的latents。 eta: 控制随机性的参数0为确定性DDIM。 # 1. 根据公式计算预测的原始样本 x0 pred_original_sample ... # 涉及 alphas_cumprod 的计算 # 2. 计算指向 x0 的方向 direction_pointing_to_xt ... # 涉及噪声预测和系数的计算 # 3. 计算方差随机噪声项eta0时引入随机性 variance ... # 涉及 beta, alpha 等的计算 noise torch.randn_like(sample) if eta 0 else 0 # 4. 根据DDIM更新公式计算下一步的样本 prev_sample pred_original_sample direction_pointing_to_xt variance * noise return prev_samplestep函数是调度器的核心。它接收 U-Net 的预测 (model_output)、当前状态 (sample) 和时间步 (timestep)然后根据一套确定的数学公式DDIM 论文中的公式计算出“更干净”的下一步样本 (prev_sample)。不同的调度器如 PNDM, LMS, Euler Ancestral有着不同的step实现它们平衡着生成速度、质量和确定性。6. 采样循环U-Net 与调度器的共舞这是整个生成过程的“心脏”。我们在pipelines/pipeline_stable_diffusion.py的__call__或一个独立的denoising_loop函数中能找到它。# pipeline_stable_diffusion.py 中的采样循环简化版 def denoising_loop(self, latents, text_embeddings, num_inference_steps50, guidance_scale7.5): 执行去噪循环。 Args: latents: 初始化的随机噪声潜在变量。 text_embeddings: 条件文本嵌入。 num_inference_steps: 去噪步数。 guidance_scale: 分类器自由引导(CFG)尺度控制文本跟随程度。 # 1. 设置调度器的时间步 self.scheduler.set_timesteps(num_inference_steps) # 2. 开始循环 for i, t in enumerate(self.scheduler.timesteps): # 2.1 扩展latents以进行无条件和条件预测 latent_model_input torch.cat([latents] * 2) if guidance_scale 1 else latents latent_model_input self.scheduler.scale_model_input(latent_model_input, t) # 2.2 U-Net前向传播预测噪声 with torch.no_grad(): noise_pred self.unet( latent_model_input, t, encoder_hidden_statestext_embeddings, ).sample # 2.3 应用分类器自由引导(CFG) if guidance_scale 1: noise_pred_uncond, noise_pred_text noise_pred.chunk(2) noise_pred noise_pred_uncond guidance_scale * (noise_pred_text - noise_pred_uncond) # 2.4 调度器更新根据预测的噪声计算下一步的latents latents self.scheduler.step(noise_pred, t, latents).prev_sample # 可选进度回调或中间结果保存 if callback is not None and i % callback_steps 0: callback(i, t, latents) return latents这个循环清晰展示了流程latent_model_input被送入 U-Net。U-Net 输出对噪声的预测 (noise_pred)。如果使用了 CFG这是文生图质量的关键我们会分别计算无条件预测和有条件预测然后按guidance_scale进行混合。尺度越大生成结果越贴近文本描述但可能牺牲多样性。最后调度器利用这个混合后的噪声预测通过step方法计算出下一步更清晰的latents。循环结束后我们就得到了去噪完毕的潜在变量。7. 图像解码与后处理最后一步将干净的潜在变量变回我们熟悉的图片。# 在 pipeline 的 __call__ 方法末尾 def decode_latents(self, latents): 将潜在变量解码为图像。 # 1. 重要先缩放回来 latents 1 / self.vae.config.scaling_factor * latents # 2. 通过VAE解码器 with torch.no_grad(): image self.vae.decode(latents).sample # 3. 将输出从[-1, 1]映射回[0, 1]并转换为PIL图像 image (image / 2 0.5).clamp(0, 1) image image.cpu().permute(0, 2, 3, 1).float().numpy() # [B, C, H, W] - [B, H, W, C] image (image * 255).round().astype(uint8) pil_images [Image.fromarray(img) for img in image] return pil_images记住第一步的缩放逆操作 (1 / scaling_factor) 至关重要它需要与编码时的操作严格对应。解码后的张量经过简单的线性变换和格式转换就变成了最终的 PIL 图像对象。8. 总结走完这一趟源码之旅我们再回头看 Stable Diffusion 的生成过程感觉应该完全不一样了。它不再是一个神秘的黑盒而是一个由文本编码器、VAE、U-Net 和调度器精密协作的流水线。理解这些代码最大的好处是获得了“掌控感”。当你遇到生成图片颜色发灰时你会去检查 VAE 的缩放因子处理是否正确当图片不符合文本描述时你会去调整 CFG 的guidance_scale当你想要更快的生成速度时你会尝试换用不同的scheduler或者减少num_inference_steps。当然真实的工业级代码会有更多的优化、异常处理和兼容性逻辑但核心骨架就是这些。建议你拿到源码后用调试器如 VSCode 的 Python Debugger一步步跟踪几个生成过程观察每一个关键变量latents,noise_pred,t的变化这种体会会比单纯阅读深刻得多。接下来你可以尝试修改采样循环比如实现一个简单的进度回调来保存中间 latent看看图片是如何一步步从噪声中浮现的这会非常有趣。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
