1. 从三个爆款模型说起它们到底共享了哪些底层能力先把结论摆在前面GPT-4、Imagen、Stable Diffusion 这三个东西表面上看一个是语言模型、一个是文生图模型、一个是开源扩散模型赛道都不一样但它们背后其实踩在同一条技术主干道上。这条主干道由四块砖铺成——大规模预训练范式、注意力机制、扩散生成框架、多模态对齐与条件控制。你把这四块搞明白了再看这三个模型就不会觉得它们是三个孤立的黑盒而是一套技术思路在不同模态上的三次落地。我最早接触这块是从 Stable Diffusion 的本地部署开始的当时只是想让自己的显卡跑起来出图结果一路被各种报错按在地上摩擦比如ImportError: dlopen这种在 Mac 上特别常见的启动问题。后来为了搞懂为什么模型要这么设计、为什么显存这么吃、为什么提示词工程能起作用才回头去补了扩散模型和 Transformer 的底层原理。补完之后最大的感受是这三个模型的技术支撑其实是同一套东西的不同切面理解了切面之间的连接点很多工程问题会自己浮出答案。这篇文章我打算按“技术支撑”这条主线来拆不按模型逐个介绍。因为逐个介绍的话你读完还是不知道它们为什么能work。我会先讲清楚预训练和注意力这两块通用地基再讲扩散模型这个生成引擎然后讲多模态对齐怎么把文字和图像接起来最后落到实际部署和调优时你会遇到的那些坑。适合谁看适合已经用过这些模型、但想搞明白背后原理的人也适合正在做AIGC应用、需要判断技术选型和优化方向的开发者。纯小白也能看我会尽量用生活化的类比把概念讲透。提示本文涉及的技术原理是基于公开论文和常见工程实践的梳理具体实现细节各家有差异但主干逻辑是相通的。2. 预训练范式为什么“大力出奇迹”能成立2.1 从“标注数据喂模型”到“让模型自己从数据里找规律”在 GPT 系列出现之前NLP 领域主流的做法是“监督学习”人工标注一批数据比如情感分类、命名实体识别然后训练模型去拟合这些标签。这种做法的问题很明显——标注成本高、数据规模上不去、每个任务都要单独训一个模型。GPT 的路线换了个思路不标注直接拿海量文本让模型做“预测下一个词”这件事。这个任务不需要人工标注因为文本本身就是标签——给定前 n 个词第 n1 个词就是答案。这个转变的意义在于它把“数据标注”这个瓶颈给绕过去了。互联网上的文本、代码、书籍全都可以拿来用。模型在预测下一个词的过程中被迫学会了语法、语义、常识、甚至一定的推理能力。这就是所谓的自监督预训练。Imagen 和 Stable Diffusion 在文本编码器这一侧用的也是类似的预训练语言模型比如 T5、CLIP 的文本塔道理是一样的——先让模型在海量数据里把语言规律吃透再拿去做具体任务。2.2 规模法则参数量、数据量、算力三者的配比关系“大力出奇迹”不是随便喊的它背后有**规模法则Scaling Law**支撑。简单说就是模型的损失可以理解为预测错误率和参数量、数据量、算力之间存在幂律关系。你把这三个量按比例放大损失会稳定下降而且下降趋势可以预测。这意味着你可以提前估算“我训一个多大的模型、用多少数据、花多少算力大概能达到什么效果”。但这里有个容易被忽略的点三者要协同放大不能只堆一个。只堆参数量不给够数据模型会过拟合只堆数据不给够参数模型容量不够学不进去。GPT-4 的具体参数没公开但从 GPT-3 的 1750 亿参数、到后续模型的演进来看参数量、数据量、算力基本是同步往上走的。Stable Diffusion 的 UNet 主干大概 8.6 亿参数文本编码器另算这个规模在扩散模型里算是“够用且能跑在消费级显卡上”的平衡点。Imagen 的参数量更大所以它早期只能在云端跑。2.3 预训练给下游任务留下了什么“遗产”预训练完之后模型其实已经是一个“通才”了但它还不知道怎么具体干活。这时候有两种用法一种是微调拿少量标注数据在预训练模型上再训一下让它适配具体任务另一种是零样本/少样本推理直接给提示词让它干活不改参数。GPT-4 主要走的是后一条路通过提示词工程和上下文学习来激发能力。Stable Diffusion 则是把预训练好的文本编码器“冻住”只训扩散部分这样既省算力又能复用语言理解能力。这里有个实操经验预训练模型的“遗产”主要是表征能力不是具体知识。什么意思就是它学会了“怎么理解语言/图像的结构”但具体到某个领域的知识还是得靠微调或者检索增强来补。很多人以为拿 GPT-4 直接问专业问题就能得到完美答案实际上它在垂直领域的表现往往不如一个用领域数据微调过的小模型。这个认知差是很多AIGC项目踩坑的根源。3. 注意力机制三个模型共享的“信息调度中心”3.1 自注意力到底在算什么一个快递分拣的类比注意力机制是 Transformer 的核心而 Transformer 是 GPT-4 的主干也是 Imagen 和 Stable Diffusion 里 UNet 的重要组成部分。所以这块必须讲清楚。自注意力的核心操作是对于序列里的每个元素计算它和其他所有元素的相关性然后根据相关性加权聚合信息。打个比方你是一个快递分拣中心的调度员手上有 100 个包裹要发往不同区域。你不会平均用力而是会看每个包裹的目的地、重量、时效要求然后决定优先处理哪些、怎么组合路线。自注意力做的就是类似的事——每个词或图像块都会“看”一遍序列里其他所有词算出“我跟谁最相关”然后从最相关的那些词那里聚合信息。这个“相关性”就是注意力权重。具体计算分三步Query查询、Key键、Value值。每个输入元素会生成这三个向量。Query 是“我想找什么”Key 是“我有什么”Value 是“我实际的内容”。用 Query 和所有 Key 做点积得到相关性分数softmax 归一化后变成权重再用权重对 Value 加权求和。整个过程可以并行计算这是 Transformer 比 RNN 快的关键原因。3.2 多头注意力为什么“多个视角”比“一个视角”强单个注意力头只能捕捉一种相关性模式。但语言和图像里的关系是多种多样的——有的词之间是语法依赖有的是语义关联有的是指代关系。多头注意力就是同时跑多组 Query/Key/Value每组关注不同的模式最后把结果拼接起来。GPT-4 用了多少个头没公开但 GPT-3 是 96 个头每个头 128 维。Stable Diffusion 的 UNet 里也大量使用了多头注意力尤其是在处理文本条件和图像特征交互的时候。实操中你会发现注意力头的数量和维度直接影响模型的表达能力和显存占用。头越多、维度越高模型能捕捉的关系越丰富但计算量和显存也越大。这就是为什么 Stable Diffusion 在高分辨率出图时显存爆炸——注意力计算量是随序列长度平方增长的。你在 Mac 上跑 Stable Diffusion 遇到ImportError: dlopen这类问题很多时候不是注意力本身的问题而是底层算子库比如 MPS 后端对某些注意力实现支持不完整导致的。3.3 交叉注意力文本和图像是怎么“对上话”的如果说自注意力是“自己人内部开会”那交叉注意力就是“两个部门对接”。在 Imagen 和 Stable Diffusion 里交叉注意力是文本条件注入图像生成过程的关键机制。具体来说图像特征作为 Query文本编码作为 Key 和 Value。图像在生成过程中会不断“询问”文本“我现在这个位置应该画什么”文本则提供对应的语义信息。这样提示词里的“一只戴帽子的猫”才能被准确地映射到图像的相应区域。这个机制解释了为什么提示词的写法会显著影响出图效果。因为交叉注意力的权重分配直接受文本编码质量影响。你写“a cat wearing a hat”模型能清楚地把“cat”和“hat”对应到不同区域你写“a cat and a hat”模型可能就分不清是猫戴着帽子还是猫和帽子并排。这不是玄学是交叉注意力的计算特性决定的。理解这一点你写提示词的时候就会更有章法而不是靠瞎试。4. 扩散生成框架从噪声里“雕刻”出图像4.1 前向加噪与反向去噪一个雕塑家的比喻扩散模型的核心思想用一句话说就是先教模型怎么把图像一步步加噪变成纯噪声再教它怎么从纯噪声一步步去噪还原成图像。前向过程是固定的不需要学——就是按一个预设的噪声调度表往图像里逐步加高斯噪声直到变成完全随机的噪声。反向过程是需要学的——训练一个神经网络让它预测每一步加进去的噪声是什么然后从噪声里减掉它。这个比喻很好理解想象一个雕塑家他先看着一块完整的石头原图然后一步步把它敲碎成粉末加噪。训练阶段他反复练习“看到粉末状态推断上一步被敲掉了什么”。练熟之后给他一堆随机粉末纯噪声他就能一步步“反向雕刻”还原出一块石头新图像。这个“石头”不是原来那块但符合他学到的“石头应该长什么样”的规律。4.2 为什么扩散模型比 GAN 更稳训练稳定性的根源在扩散模型火起来之前生成图像的主流是 GAN生成对抗网络。GAN 的问题是训练不稳定——生成器和判别器互相博弈容易出现模式崩溃生成器只生成少数几种图像或者训练震荡。扩散模型没有这个问题因为它的训练目标很明确预测噪声做回归。这是一个稳定的监督学习任务不存在博弈。这个稳定性对工程落地太重要了。GAN 时代调参调崩是家常便饭一个项目能不能成很大程度看运气。扩散模型把这个问题基本解决了你只要把噪声调度、网络结构、训练步数这些搞对结果就是可复现的。Stable Diffusion 能开源并迅速形成生态训练稳定性是重要前提——社区开发者可以放心地在它基础上做微调、做 LoRA、做 ControlNet而不用担心基础模型本身不稳定。4.3 潜空间扩散Stable Diffusion 省显存的关键一招Stable Diffusion 相比 Imagen 最大的工程差异是它做了潜空间扩散Latent Diffusion。什么意思Imagen 直接在像素空间做扩散一张 512x512 的图就是 512x512x3 个数值计算量巨大。Stable Diffusion 先用一个 VAE变分自编码器把图像压缩到潜空间比如压缩成 64x64x4数据量降到原来的几十分之一然后在潜空间做扩散最后再用 VAE 解码回像素空间。这一招直接把显存需求打下来了让消费级显卡甚至 Mac 都能跑。代价是 VAE 的压缩会损失一些细节所以 Stable Diffusion 在高频细节上不如 Imagen 细腻。但工程上这是划算的——用一点质量换大幅度的可及性这正是 Stable Diffusion 能形成庞大社区生态的原因。你在 Mac 上跑 Stable Diffusion 遇到的各种启动问题很多都和 VAE 或 MPS 后端对某些算子的支持有关比如dlopen报错往往是动态库加载失败可能涉及 PyTorch 版本、MPS 后端、或者模型文件格式不匹配。5. 多模态对齐让文字和图像说同一种“语言”5.1 CLIP 是怎么把图文对上的对比学习的威力CLIP 是连接文本和图像的关键组件Imagen 和 Stable Diffusion 都用到了它或类似结构。CLIP 的训练方式是对比学习拿一批图文对让模型学会“匹配的图文对相似度高不匹配的相似度低”。具体做法是把图像编码成向量文本编码成向量然后计算相似度矩阵对角线上的正样本要拉高非对角线上的负样本要压低。这个训练方式的好处是它不需要精细标注只需要“图文”这种粗粒度的配对数据。互联网上这种数据海量存在所以 CLIP 能训得很大。训完之后CLIP 的图像编码器和文本编码器就能把图文映射到同一个语义空间里。Stable Diffusion 用的文本编码器就是 CLIP 的文本塔后来版本也混用了 OpenCLIP 和 T5。这意味着你输入的提示词会被编码成一个语义向量这个向量和图像潜空间的特征是对齐的交叉注意力才能有效工作。5.2 条件控制的几种注入方式从提示词到 ControlNet光有文本条件还不够实际应用中你往往需要更精细的控制——比如指定构图、姿态、深度。这就涉及到条件注入方式的演进。最早是提示词通过交叉注意力注入后来有了Image-to-Image把参考图加噪后作为起点再后来是ControlNet通过额外的网络分支把边缘、深度、姿态等条件注入 UNet 的中间层。ControlNet 的设计很巧妙它复制了 UNet 的编码器部分作为可训练的分支原 UNet 冻结。这样既保留了原模型的能力又能学习新的控制信号。而且因为原模型冻结ControlNet 可以在小数据集上训练社区开发者用几张图就能训一个自己的控制模型。这个设计思路是 Stable Diffusion 生态能如此繁荣的技术基础之一。5.3 文本编码器的选择CLIP、T5、还是混合不同模型在文本编码器上的选择不一样。Stable Diffusion 1.x/2.x 主要用 CLIPSDXL 用了 CLIP 双编码器SD3 开始引入 T5。Imagen 用的是 T5 系列。GPT-4 本身是纯语言模型但它作为多模态系统的一部分时文本理解能力是内置的。选择哪种编码器影响的是文本理解的深度和粒度。CLIP 的文本塔相对轻量对长文本和复杂语义的捕捉能力有限T5 更大更强但计算成本更高。实操中你会发现提示词超过一定长度后效果会下降这跟文本编码器的上下文窗口和注意力分配有关。SDXL 之所以用双编码器就是想兼顾轻量和表达力。你在写提示词时把核心概念放在前面是有道理的——因为注意力机制对序列前部的权重往往更高。这不是玄学是编码器和注意力机制的特性决定的。6. 落到实操部署和调优时你会撞上的那些墙6.1 Mac 上跑 Stable Diffusion 的dlopen报错排查链路这个报错我在 Mac 上遇到过不止一次ImportError: dlopen后面通常跟一长串动态库路径。排查思路是这样的先看报错里提到的具体库名通常是libtorch、libpython或者某个 MPS 相关的库。然后确认三件事PyTorch 版本和 Python 版本是否匹配、是否安装了对应架构的包Apple Silicon 要 arm64不是 x86、模型文件是否完整。我踩过的一个坑是用 pip 装了 x86 版本的 PyTorch在 M1/M2 上跑结果动态库加载失败。解决办法是卸载重装 arm64 版本或者用 conda 装。另一个坑是模型文件下载不完整.safetensors文件损坏也会导致加载时报奇怪的错。还有一种是 MPS 后端对某些算子不支持需要设置环境变量回退到 CPU 或者用PYTORCH_ENABLE_MPS_FALLBACK1。这些经验官方文档里往往不会写全都是社区里一点点试出来的。6.2 显存不够时的几个实用降级策略显存不够是跑扩散模型最常见的工程问题。降级策略按优先级排先降分辨率512x512 和 768x768 的显存差距很大再开半精度fp16 比 fp32 省一半显存质量损失很小然后启用注意力切片把注意力计算分块做用时间换空间再上 xFormers 或类似优化库优化注意力实现最后考虑 CPU offload把部分层放到内存里但速度会慢很多。这些策略不是随便选的顺序有讲究。降分辨率和半精度是“无损”或“低损”的优先做。注意力切片和 xFormers 是工程优化基本不影响质量。CPU offload 是最后手段因为速度损失太大。我在 8GB 显存的机器上跑 SDXL基本就是半精度注意力切片xFormers 三件套能跑但速度一般。如果追求速度还是得上更大显存的卡。6.3 提示词工程的底层逻辑不是玄学是注意力分配很多人觉得提示词工程是玄学其实它有明确的底层逻辑。提示词的本质是引导交叉注意力的权重分配。你写的词会被编码成向量然后在交叉注意力里和图像特征做匹配。词序、权重语法比如(word:1.2)、否定词都是在调整这个匹配过程。词放在前面注意力权重通常更高权重语法直接放大或缩小某个词的向量模长否定词则是把对应方向的权重压下去。理解了这个你写提示词就有章法了核心主体放前面风格和质量词放后面需要强调的用权重语法需要排除的用否定词。不要堆砌一堆同义词因为那会分散注意力权重。也不要写太长的句子因为编码器的上下文窗口有限。这些经验都是实际跑了几百上千张图之后总结出来的比任何“提示词大全”都管用。7. 技术支撑的边界这些模型现在还做不到什么7.1 空间推理和物理常识的短板GPT-4、Imagen、Stable Diffusion 在各自领域都很强但它们共享一个短板空间推理和物理常识。你让 GPT-4 描述一个“杯子放在桌子边缘快要掉下来”的场景它能描述得很生动但你让它判断“杯子会不会掉”它经常出错。Imagen 和 Stable Diffusion 生成“左手拿杯子”的图手指数量和朝向经常不对。这不是模型不够大而是训练数据里缺乏对物理规律的显式建模。这个短板对应用落地影响很大。比如做机器人抓取、做工业设计、做需要精确空间关系的场景这些模型目前只能做辅助不能做决策。你得在它们外面套一层规则引擎或者物理仿真才能保证输出可用。认清这个边界比盲目吹捧模型能力更重要。7.2 长尾概念和精确控制的局限另一个局限是长尾概念。模型在常见概念上表现很好但遇到罕见概念、专业术语、特定品牌就容易翻车。比如你让 Stable Diffusion 生成一个特定型号的机械零件它大概率生成一个“看起来像但细节不对”的东西。这是因为训练数据里这类样本太少模型没学到精确表征。解决办法是微调或者用参考图ControlNet但成本不低。精确控制也是类似的问题。提示词能控制大致风格和内容但精确到“第三根手指弯曲 30 度”这种程度目前做不到。ControlNet 能控制姿态和边缘但控制粒度还是粗。这是扩散模型的条件注入机制决定的——条件信号在注入过程中会被平滑细节容易丢失。理解这个你在做产品设计时就不会对模型能力有不切实际的期待。7.3 算力成本和推理延迟的现实约束最后是算力成本和推理延迟。GPT-4 的推理成本很高这也是为什么它按 token 收费。Imagen 早期只能在云端跑因为参数量大。Stable Diffusion 虽然能在本地跑但高分辨率、多步数、复杂控制条件下速度依然不理想。做实时应用比如直播滤镜、实时设计工具这些模型目前还撑不住。工程上的应对策略是模型蒸馏和量化。把大模型的能力蒸馏到小模型或者用 int8/int4 量化压缩模型能在损失少量质量的前提下大幅提速。但这些技术本身也有门槛不是开箱即用。我的经验是做产品选型时先明确“你能接受多长的延迟、多少的成本”再倒推选哪个模型、用什么优化策略而不是先选模型再想办法优化。8. 我在这几个模型上踩过的坑和攒下的经验先说一个最实在的不要迷信“最新最大”的模型。GPT-4 很强但在很多具体任务上一个用领域数据微调过的 7B 模型可能表现更好而且成本低一个数量级。Stable Diffusion 的社区模型比如各种 fine-tune 版本在特定风格上往往比原版更出彩。选型的核心不是“哪个模型最强”而是“哪个模型最适合我的场景和预算”。第二个经验是把提示词和参数当成一个整体来调。很多人只调提示词不调采样器、步数、CFG scale结果怎么调都不满意。实际上这些参数是互相影响的。CFG scale 高了提示词权重被放大但图像容易过饱和采样器不同收敛速度和风格也不一样。我一般会固定一组参数先调提示词找到大致方向再微调参数。这样效率最高。第三个经验是遇到报错先看日志别急着搜。dlopen这类报错日志里通常有具体库名和路径顺着查比盲目搜“Stable Diffusion 报错”快得多。而且很多报错是环境问题不是模型问题重装依赖或者换版本就能解决。我见过太多人一遇到报错就怀疑模型坏了其实模型文件好好的是 Python 环境乱了。最后一个经验保持对底层原理的好奇心。我一开始也只是想跑个图后来因为想搞懂为什么某些提示词有效、为什么显存这么吃才去补了注意力机制和扩散原理。补完之后很多之前觉得是“玄学”的东西都变得有迹可循了。这个投入是值得的因为它让你从“会用工具”变成“理解工具”遇到新问题时有能力自己推理和解决而不是永远在搜现成答案。 GPT-4、Imagen、Stable Diffusion共享技术栈：预训练、注意力与扩散模型解析
1. 从三个爆款模型说起它们到底共享了哪些底层能力先把结论摆在前面GPT-4、Imagen、Stable Diffusion 这三个东西表面上看一个是语言模型、一个是文生图模型、一个是开源扩散模型赛道都不一样但它们背后其实踩在同一条技术主干道上。这条主干道由四块砖铺成——大规模预训练范式、注意力机制、扩散生成框架、多模态对齐与条件控制。你把这四块搞明白了再看这三个模型就不会觉得它们是三个孤立的黑盒而是一套技术思路在不同模态上的三次落地。我最早接触这块是从 Stable Diffusion 的本地部署开始的当时只是想让自己的显卡跑起来出图结果一路被各种报错按在地上摩擦比如ImportError: dlopen这种在 Mac 上特别常见的启动问题。后来为了搞懂为什么模型要这么设计、为什么显存这么吃、为什么提示词工程能起作用才回头去补了扩散模型和 Transformer 的底层原理。补完之后最大的感受是这三个模型的技术支撑其实是同一套东西的不同切面理解了切面之间的连接点很多工程问题会自己浮出答案。这篇文章我打算按“技术支撑”这条主线来拆不按模型逐个介绍。因为逐个介绍的话你读完还是不知道它们为什么能work。我会先讲清楚预训练和注意力这两块通用地基再讲扩散模型这个生成引擎然后讲多模态对齐怎么把文字和图像接起来最后落到实际部署和调优时你会遇到的那些坑。适合谁看适合已经用过这些模型、但想搞明白背后原理的人也适合正在做AIGC应用、需要判断技术选型和优化方向的开发者。纯小白也能看我会尽量用生活化的类比把概念讲透。提示本文涉及的技术原理是基于公开论文和常见工程实践的梳理具体实现细节各家有差异但主干逻辑是相通的。2. 预训练范式为什么“大力出奇迹”能成立2.1 从“标注数据喂模型”到“让模型自己从数据里找规律”在 GPT 系列出现之前NLP 领域主流的做法是“监督学习”人工标注一批数据比如情感分类、命名实体识别然后训练模型去拟合这些标签。这种做法的问题很明显——标注成本高、数据规模上不去、每个任务都要单独训一个模型。GPT 的路线换了个思路不标注直接拿海量文本让模型做“预测下一个词”这件事。这个任务不需要人工标注因为文本本身就是标签——给定前 n 个词第 n1 个词就是答案。这个转变的意义在于它把“数据标注”这个瓶颈给绕过去了。互联网上的文本、代码、书籍全都可以拿来用。模型在预测下一个词的过程中被迫学会了语法、语义、常识、甚至一定的推理能力。这就是所谓的自监督预训练。Imagen 和 Stable Diffusion 在文本编码器这一侧用的也是类似的预训练语言模型比如 T5、CLIP 的文本塔道理是一样的——先让模型在海量数据里把语言规律吃透再拿去做具体任务。2.2 规模法则参数量、数据量、算力三者的配比关系“大力出奇迹”不是随便喊的它背后有**规模法则Scaling Law**支撑。简单说就是模型的损失可以理解为预测错误率和参数量、数据量、算力之间存在幂律关系。你把这三个量按比例放大损失会稳定下降而且下降趋势可以预测。这意味着你可以提前估算“我训一个多大的模型、用多少数据、花多少算力大概能达到什么效果”。但这里有个容易被忽略的点三者要协同放大不能只堆一个。只堆参数量不给够数据模型会过拟合只堆数据不给够参数模型容量不够学不进去。GPT-4 的具体参数没公开但从 GPT-3 的 1750 亿参数、到后续模型的演进来看参数量、数据量、算力基本是同步往上走的。Stable Diffusion 的 UNet 主干大概 8.6 亿参数文本编码器另算这个规模在扩散模型里算是“够用且能跑在消费级显卡上”的平衡点。Imagen 的参数量更大所以它早期只能在云端跑。2.3 预训练给下游任务留下了什么“遗产”预训练完之后模型其实已经是一个“通才”了但它还不知道怎么具体干活。这时候有两种用法一种是微调拿少量标注数据在预训练模型上再训一下让它适配具体任务另一种是零样本/少样本推理直接给提示词让它干活不改参数。GPT-4 主要走的是后一条路通过提示词工程和上下文学习来激发能力。Stable Diffusion 则是把预训练好的文本编码器“冻住”只训扩散部分这样既省算力又能复用语言理解能力。这里有个实操经验预训练模型的“遗产”主要是表征能力不是具体知识。什么意思就是它学会了“怎么理解语言/图像的结构”但具体到某个领域的知识还是得靠微调或者检索增强来补。很多人以为拿 GPT-4 直接问专业问题就能得到完美答案实际上它在垂直领域的表现往往不如一个用领域数据微调过的小模型。这个认知差是很多AIGC项目踩坑的根源。3. 注意力机制三个模型共享的“信息调度中心”3.1 自注意力到底在算什么一个快递分拣的类比注意力机制是 Transformer 的核心而 Transformer 是 GPT-4 的主干也是 Imagen 和 Stable Diffusion 里 UNet 的重要组成部分。所以这块必须讲清楚。自注意力的核心操作是对于序列里的每个元素计算它和其他所有元素的相关性然后根据相关性加权聚合信息。打个比方你是一个快递分拣中心的调度员手上有 100 个包裹要发往不同区域。你不会平均用力而是会看每个包裹的目的地、重量、时效要求然后决定优先处理哪些、怎么组合路线。自注意力做的就是类似的事——每个词或图像块都会“看”一遍序列里其他所有词算出“我跟谁最相关”然后从最相关的那些词那里聚合信息。这个“相关性”就是注意力权重。具体计算分三步Query查询、Key键、Value值。每个输入元素会生成这三个向量。Query 是“我想找什么”Key 是“我有什么”Value 是“我实际的内容”。用 Query 和所有 Key 做点积得到相关性分数softmax 归一化后变成权重再用权重对 Value 加权求和。整个过程可以并行计算这是 Transformer 比 RNN 快的关键原因。3.2 多头注意力为什么“多个视角”比“一个视角”强单个注意力头只能捕捉一种相关性模式。但语言和图像里的关系是多种多样的——有的词之间是语法依赖有的是语义关联有的是指代关系。多头注意力就是同时跑多组 Query/Key/Value每组关注不同的模式最后把结果拼接起来。GPT-4 用了多少个头没公开但 GPT-3 是 96 个头每个头 128 维。Stable Diffusion 的 UNet 里也大量使用了多头注意力尤其是在处理文本条件和图像特征交互的时候。实操中你会发现注意力头的数量和维度直接影响模型的表达能力和显存占用。头越多、维度越高模型能捕捉的关系越丰富但计算量和显存也越大。这就是为什么 Stable Diffusion 在高分辨率出图时显存爆炸——注意力计算量是随序列长度平方增长的。你在 Mac 上跑 Stable Diffusion 遇到ImportError: dlopen这类问题很多时候不是注意力本身的问题而是底层算子库比如 MPS 后端对某些注意力实现支持不完整导致的。3.3 交叉注意力文本和图像是怎么“对上话”的如果说自注意力是“自己人内部开会”那交叉注意力就是“两个部门对接”。在 Imagen 和 Stable Diffusion 里交叉注意力是文本条件注入图像生成过程的关键机制。具体来说图像特征作为 Query文本编码作为 Key 和 Value。图像在生成过程中会不断“询问”文本“我现在这个位置应该画什么”文本则提供对应的语义信息。这样提示词里的“一只戴帽子的猫”才能被准确地映射到图像的相应区域。这个机制解释了为什么提示词的写法会显著影响出图效果。因为交叉注意力的权重分配直接受文本编码质量影响。你写“a cat wearing a hat”模型能清楚地把“cat”和“hat”对应到不同区域你写“a cat and a hat”模型可能就分不清是猫戴着帽子还是猫和帽子并排。这不是玄学是交叉注意力的计算特性决定的。理解这一点你写提示词的时候就会更有章法而不是靠瞎试。4. 扩散生成框架从噪声里“雕刻”出图像4.1 前向加噪与反向去噪一个雕塑家的比喻扩散模型的核心思想用一句话说就是先教模型怎么把图像一步步加噪变成纯噪声再教它怎么从纯噪声一步步去噪还原成图像。前向过程是固定的不需要学——就是按一个预设的噪声调度表往图像里逐步加高斯噪声直到变成完全随机的噪声。反向过程是需要学的——训练一个神经网络让它预测每一步加进去的噪声是什么然后从噪声里减掉它。这个比喻很好理解想象一个雕塑家他先看着一块完整的石头原图然后一步步把它敲碎成粉末加噪。训练阶段他反复练习“看到粉末状态推断上一步被敲掉了什么”。练熟之后给他一堆随机粉末纯噪声他就能一步步“反向雕刻”还原出一块石头新图像。这个“石头”不是原来那块但符合他学到的“石头应该长什么样”的规律。4.2 为什么扩散模型比 GAN 更稳训练稳定性的根源在扩散模型火起来之前生成图像的主流是 GAN生成对抗网络。GAN 的问题是训练不稳定——生成器和判别器互相博弈容易出现模式崩溃生成器只生成少数几种图像或者训练震荡。扩散模型没有这个问题因为它的训练目标很明确预测噪声做回归。这是一个稳定的监督学习任务不存在博弈。这个稳定性对工程落地太重要了。GAN 时代调参调崩是家常便饭一个项目能不能成很大程度看运气。扩散模型把这个问题基本解决了你只要把噪声调度、网络结构、训练步数这些搞对结果就是可复现的。Stable Diffusion 能开源并迅速形成生态训练稳定性是重要前提——社区开发者可以放心地在它基础上做微调、做 LoRA、做 ControlNet而不用担心基础模型本身不稳定。4.3 潜空间扩散Stable Diffusion 省显存的关键一招Stable Diffusion 相比 Imagen 最大的工程差异是它做了潜空间扩散Latent Diffusion。什么意思Imagen 直接在像素空间做扩散一张 512x512 的图就是 512x512x3 个数值计算量巨大。Stable Diffusion 先用一个 VAE变分自编码器把图像压缩到潜空间比如压缩成 64x64x4数据量降到原来的几十分之一然后在潜空间做扩散最后再用 VAE 解码回像素空间。这一招直接把显存需求打下来了让消费级显卡甚至 Mac 都能跑。代价是 VAE 的压缩会损失一些细节所以 Stable Diffusion 在高频细节上不如 Imagen 细腻。但工程上这是划算的——用一点质量换大幅度的可及性这正是 Stable Diffusion 能形成庞大社区生态的原因。你在 Mac 上跑 Stable Diffusion 遇到的各种启动问题很多都和 VAE 或 MPS 后端对某些算子的支持有关比如dlopen报错往往是动态库加载失败可能涉及 PyTorch 版本、MPS 后端、或者模型文件格式不匹配。5. 多模态对齐让文字和图像说同一种“语言”5.1 CLIP 是怎么把图文对上的对比学习的威力CLIP 是连接文本和图像的关键组件Imagen 和 Stable Diffusion 都用到了它或类似结构。CLIP 的训练方式是对比学习拿一批图文对让模型学会“匹配的图文对相似度高不匹配的相似度低”。具体做法是把图像编码成向量文本编码成向量然后计算相似度矩阵对角线上的正样本要拉高非对角线上的负样本要压低。这个训练方式的好处是它不需要精细标注只需要“图文”这种粗粒度的配对数据。互联网上这种数据海量存在所以 CLIP 能训得很大。训完之后CLIP 的图像编码器和文本编码器就能把图文映射到同一个语义空间里。Stable Diffusion 用的文本编码器就是 CLIP 的文本塔后来版本也混用了 OpenCLIP 和 T5。这意味着你输入的提示词会被编码成一个语义向量这个向量和图像潜空间的特征是对齐的交叉注意力才能有效工作。5.2 条件控制的几种注入方式从提示词到 ControlNet光有文本条件还不够实际应用中你往往需要更精细的控制——比如指定构图、姿态、深度。这就涉及到条件注入方式的演进。最早是提示词通过交叉注意力注入后来有了Image-to-Image把参考图加噪后作为起点再后来是ControlNet通过额外的网络分支把边缘、深度、姿态等条件注入 UNet 的中间层。ControlNet 的设计很巧妙它复制了 UNet 的编码器部分作为可训练的分支原 UNet 冻结。这样既保留了原模型的能力又能学习新的控制信号。而且因为原模型冻结ControlNet 可以在小数据集上训练社区开发者用几张图就能训一个自己的控制模型。这个设计思路是 Stable Diffusion 生态能如此繁荣的技术基础之一。5.3 文本编码器的选择CLIP、T5、还是混合不同模型在文本编码器上的选择不一样。Stable Diffusion 1.x/2.x 主要用 CLIPSDXL 用了 CLIP 双编码器SD3 开始引入 T5。Imagen 用的是 T5 系列。GPT-4 本身是纯语言模型但它作为多模态系统的一部分时文本理解能力是内置的。选择哪种编码器影响的是文本理解的深度和粒度。CLIP 的文本塔相对轻量对长文本和复杂语义的捕捉能力有限T5 更大更强但计算成本更高。实操中你会发现提示词超过一定长度后效果会下降这跟文本编码器的上下文窗口和注意力分配有关。SDXL 之所以用双编码器就是想兼顾轻量和表达力。你在写提示词时把核心概念放在前面是有道理的——因为注意力机制对序列前部的权重往往更高。这不是玄学是编码器和注意力机制的特性决定的。6. 落到实操部署和调优时你会撞上的那些墙6.1 Mac 上跑 Stable Diffusion 的dlopen报错排查链路这个报错我在 Mac 上遇到过不止一次ImportError: dlopen后面通常跟一长串动态库路径。排查思路是这样的先看报错里提到的具体库名通常是libtorch、libpython或者某个 MPS 相关的库。然后确认三件事PyTorch 版本和 Python 版本是否匹配、是否安装了对应架构的包Apple Silicon 要 arm64不是 x86、模型文件是否完整。我踩过的一个坑是用 pip 装了 x86 版本的 PyTorch在 M1/M2 上跑结果动态库加载失败。解决办法是卸载重装 arm64 版本或者用 conda 装。另一个坑是模型文件下载不完整.safetensors文件损坏也会导致加载时报奇怪的错。还有一种是 MPS 后端对某些算子不支持需要设置环境变量回退到 CPU 或者用PYTORCH_ENABLE_MPS_FALLBACK1。这些经验官方文档里往往不会写全都是社区里一点点试出来的。6.2 显存不够时的几个实用降级策略显存不够是跑扩散模型最常见的工程问题。降级策略按优先级排先降分辨率512x512 和 768x768 的显存差距很大再开半精度fp16 比 fp32 省一半显存质量损失很小然后启用注意力切片把注意力计算分块做用时间换空间再上 xFormers 或类似优化库优化注意力实现最后考虑 CPU offload把部分层放到内存里但速度会慢很多。这些策略不是随便选的顺序有讲究。降分辨率和半精度是“无损”或“低损”的优先做。注意力切片和 xFormers 是工程优化基本不影响质量。CPU offload 是最后手段因为速度损失太大。我在 8GB 显存的机器上跑 SDXL基本就是半精度注意力切片xFormers 三件套能跑但速度一般。如果追求速度还是得上更大显存的卡。6.3 提示词工程的底层逻辑不是玄学是注意力分配很多人觉得提示词工程是玄学其实它有明确的底层逻辑。提示词的本质是引导交叉注意力的权重分配。你写的词会被编码成向量然后在交叉注意力里和图像特征做匹配。词序、权重语法比如(word:1.2)、否定词都是在调整这个匹配过程。词放在前面注意力权重通常更高权重语法直接放大或缩小某个词的向量模长否定词则是把对应方向的权重压下去。理解了这个你写提示词就有章法了核心主体放前面风格和质量词放后面需要强调的用权重语法需要排除的用否定词。不要堆砌一堆同义词因为那会分散注意力权重。也不要写太长的句子因为编码器的上下文窗口有限。这些经验都是实际跑了几百上千张图之后总结出来的比任何“提示词大全”都管用。7. 技术支撑的边界这些模型现在还做不到什么7.1 空间推理和物理常识的短板GPT-4、Imagen、Stable Diffusion 在各自领域都很强但它们共享一个短板空间推理和物理常识。你让 GPT-4 描述一个“杯子放在桌子边缘快要掉下来”的场景它能描述得很生动但你让它判断“杯子会不会掉”它经常出错。Imagen 和 Stable Diffusion 生成“左手拿杯子”的图手指数量和朝向经常不对。这不是模型不够大而是训练数据里缺乏对物理规律的显式建模。这个短板对应用落地影响很大。比如做机器人抓取、做工业设计、做需要精确空间关系的场景这些模型目前只能做辅助不能做决策。你得在它们外面套一层规则引擎或者物理仿真才能保证输出可用。认清这个边界比盲目吹捧模型能力更重要。7.2 长尾概念和精确控制的局限另一个局限是长尾概念。模型在常见概念上表现很好但遇到罕见概念、专业术语、特定品牌就容易翻车。比如你让 Stable Diffusion 生成一个特定型号的机械零件它大概率生成一个“看起来像但细节不对”的东西。这是因为训练数据里这类样本太少模型没学到精确表征。解决办法是微调或者用参考图ControlNet但成本不低。精确控制也是类似的问题。提示词能控制大致风格和内容但精确到“第三根手指弯曲 30 度”这种程度目前做不到。ControlNet 能控制姿态和边缘但控制粒度还是粗。这是扩散模型的条件注入机制决定的——条件信号在注入过程中会被平滑细节容易丢失。理解这个你在做产品设计时就不会对模型能力有不切实际的期待。7.3 算力成本和推理延迟的现实约束最后是算力成本和推理延迟。GPT-4 的推理成本很高这也是为什么它按 token 收费。Imagen 早期只能在云端跑因为参数量大。Stable Diffusion 虽然能在本地跑但高分辨率、多步数、复杂控制条件下速度依然不理想。做实时应用比如直播滤镜、实时设计工具这些模型目前还撑不住。工程上的应对策略是模型蒸馏和量化。把大模型的能力蒸馏到小模型或者用 int8/int4 量化压缩模型能在损失少量质量的前提下大幅提速。但这些技术本身也有门槛不是开箱即用。我的经验是做产品选型时先明确“你能接受多长的延迟、多少的成本”再倒推选哪个模型、用什么优化策略而不是先选模型再想办法优化。8. 我在这几个模型上踩过的坑和攒下的经验先说一个最实在的不要迷信“最新最大”的模型。GPT-4 很强但在很多具体任务上一个用领域数据微调过的 7B 模型可能表现更好而且成本低一个数量级。Stable Diffusion 的社区模型比如各种 fine-tune 版本在特定风格上往往比原版更出彩。选型的核心不是“哪个模型最强”而是“哪个模型最适合我的场景和预算”。第二个经验是把提示词和参数当成一个整体来调。很多人只调提示词不调采样器、步数、CFG scale结果怎么调都不满意。实际上这些参数是互相影响的。CFG scale 高了提示词权重被放大但图像容易过饱和采样器不同收敛速度和风格也不一样。我一般会固定一组参数先调提示词找到大致方向再微调参数。这样效率最高。第三个经验是遇到报错先看日志别急着搜。dlopen这类报错日志里通常有具体库名和路径顺着查比盲目搜“Stable Diffusion 报错”快得多。而且很多报错是环境问题不是模型问题重装依赖或者换版本就能解决。我见过太多人一遇到报错就怀疑模型坏了其实模型文件好好的是 Python 环境乱了。最后一个经验保持对底层原理的好奇心。我一开始也只是想跑个图后来因为想搞懂为什么某些提示词有效、为什么显存这么吃才去补了注意力机制和扩散原理。补完之后很多之前觉得是“玄学”的东西都变得有迹可循了。这个投入是值得的因为它让你从“会用工具”变成“理解工具”遇到新问题时有能力自己推理和解决而不是永远在搜现成答案。