1. 项目背景与核心问题在文本到图像生成领域扩散模型已成为当前最主流的技术路线。然而当生成包含多个独立主体的复杂场景时如一只红狐狸和一只北极狐并肩坐在高草丛中现有模型经常出现主体属性相互泄漏的问题——例如北极狐的白色毛发可能错误地出现在红狐狸身上或者两只狐狸的姿势高度相似缺乏多样性。这种现象的根源在于传统扩散模型中的注意力机制缺乏对多主体空间关系的显式建模。具体来说注意力坍缩问题在生成过程中不同文本token对应的注意力图容易相互重叠导致语义混合空间感知缺失标准注意力计算忽略了像素/特征之间的空间邻近关系优化目标单一现有方法通常只关注单个主体的生成质量缺乏多主体协同优化的目标函数2. FOCUS算法设计原理2.1 空间感知的Jensen-Shannon散度FOCUS的核心是设计了一个基于Jensen-Shannon散度(JSD)的空间感知注意力分离目标。与传统方法相比其创新性体现在def spatial_jsd(attention_maps): # 步骤1将token嵌入图重塑为目标图像的宽高比 h, w target_height, target_width reshaped_maps [reshape(map, (h, w)) for map in attention_maps] # 步骤2应用2D高斯平滑核大小为3 smoothed_maps [gaussian_filter(map, sigma1) for map in reshaped_maps] # 步骤3展平后计算JSD flattened_maps [flatten(map) for map in smoothed_maps] return compute_jsd(flattened_maps)这种设计的优势在于保留局部性高斯平滑确保空间邻近的激活点获得相似权重避免网格伪影平滑操作防止优化过程中出现不自然的网格状注意力分布可微分性整个计算流程保持可微适合端到端训练2.2 注意力图聚合策略现代文本到图像模型如Stable Diffusion 3.5通常采用扩散Transformer架构包含多个处理文本和图像token的注意力块。FOCUS采用先聚合后评分的策略单独处理文本和图像token的跨注意力块对每个token的所有有效注意力图进行平均排除同时处理文本和图像token的混合块这种策略相比逐块计算的优势提供更稳定的优化方向减少不同块间可能存在的冲突梯度降低计算开销只需处理聚合后的单一注意力图2.3 正则化设计取舍初期实验尝试引入熵正则项来防止注意力过度集中H(p) -\sum_i p_i \log p_i \\ \hat{H}(p) H(p)/\log d \in [0,1] \\ \mathcal{L}_{reg} \gamma_{reg} \cdot \frac{1}{|S|}\sum_{s\in S}(1-\hat{H}(m_s))但实证发现小γ_reg时正则项几乎不起作用大γ_reg会导致注意力质量从主体区域逃逸而非稳定分布最终方案完全依赖概率目标函数不引入显式正则项3. 实现细节与工程实践3.1 流匹配框架下的控制算法FOCUS可无缝集成到流匹配(FM)和扩散模型的两种生成范式确定性ODE采样def controlled_ode_step(x, t): # 基础速度场 v_base model(x, t) # 计算FOCUS梯度 grad_f compute_focus_gradient(x, t) # 时间加权控制 u -(1 - t) * grad_f # 更新步 return v_base u随机SDE采样def controlled_sde_step(x, t): drift model(x, t) diffusion sigma(t) # FOCUS梯度加权 grad_f compute_focus_gradient(x, t) u -0.5 * diffusion**2 * grad_f # 更新步 return drift u, diffusion3.2 超参数配置经验基于大量实验得出的最佳实践参数推荐值作用域调整建议λ0.1-4.0控制强度从1.0开始按0.5步长调整高斯核大小3×3空间平滑固定不变时间加权σ²_mem(t)控制调度使用预设曲线学习率5e-5微调阶段配合λ等比例缩放关键提示λ8时易产生过度锐化或纹理噪声λ0.1时效果不明显。不同模型需要独立调参。4. 多模型适配方案4.1 Stable Diffusion 3.5适配作为DiT架构的代表SD3.5的适配相对直接提取所有跨注意力层的输出按头/层平均后resize到16×16应用FOCUS算法计算梯度4.2 U-Net架构适配SD1.5对于基于U-Net的旧版模型需要特殊处理收集所有分辨率下的跨注意力图从64×64到8×8双线性插值统一上采样到32×32跨层/头平均后处理# SD1.5的特殊聚合逻辑 def aggregate_unet_maps(maps_dict): target_size 32 resized_maps [] for res in [64, 32, 16, 8]: for map in maps_dict[res]: resized_maps.append(resize(map, target_size)) return np.mean(resized_maps, axis0)5. 效果评估与对比5.1 定量指标对比在150个多主体prompt上的测试结果SD3.5方法主体留存率↑属性准确率↑CLIP分数↑人类偏好%基线69.362.10.347—AttendExcite72.165.80.34853.2CONFORM77.270.40.34957.8FOCUS(ours)78.573.60.35162.45.2 典型失败案例分析即使优秀的方法也存在局限FOCUS在以下情况可能失效极端相似主体如两个完全相同的茶杯解决方案添加细微差异描述左杯有把手右杯无把手强遮挡场景如被树遮挡的斑马解决方案分阶段生成先背景再前景超多主体超过5个明确主体时性能下降解决方案使用分区域提示词6. 实际应用建议对于不同应用场景的推荐配置电商产品图生成模型SD3.5 FOCUS微调λ2.0-3.0提示词格式主体A[属性]主体B[属性]共享场景艺术创作模型FLUX.1 测试时控制λ0.5-1.0配合ControlNet保持构图教育插图模型SD1.5 轻量微调使用分层渲染生成背景固定背景生成各主体Alpha混合输出7. 扩展应用方向FOCUS的底层思想还可应用于视频生成时序注意力解耦3D生成多视角一致性控制风格迁移内容/风格注意力分离我在实际使用中发现将FOCUS与T2I-Adapter结合使用时需要适当降低adapter的引导强度约30%否则可能引起注意力冲突。另一个实用技巧是在复杂场景生成时先用低λ值0.5生成草图再用正常λ值2.0进行细化这样能更好平衡整体协调性与主体独立性。 扩散模型中多主体生成的注意力优化技术FOCUS
1. 项目背景与核心问题在文本到图像生成领域扩散模型已成为当前最主流的技术路线。然而当生成包含多个独立主体的复杂场景时如一只红狐狸和一只北极狐并肩坐在高草丛中现有模型经常出现主体属性相互泄漏的问题——例如北极狐的白色毛发可能错误地出现在红狐狸身上或者两只狐狸的姿势高度相似缺乏多样性。这种现象的根源在于传统扩散模型中的注意力机制缺乏对多主体空间关系的显式建模。具体来说注意力坍缩问题在生成过程中不同文本token对应的注意力图容易相互重叠导致语义混合空间感知缺失标准注意力计算忽略了像素/特征之间的空间邻近关系优化目标单一现有方法通常只关注单个主体的生成质量缺乏多主体协同优化的目标函数2. FOCUS算法设计原理2.1 空间感知的Jensen-Shannon散度FOCUS的核心是设计了一个基于Jensen-Shannon散度(JSD)的空间感知注意力分离目标。与传统方法相比其创新性体现在def spatial_jsd(attention_maps): # 步骤1将token嵌入图重塑为目标图像的宽高比 h, w target_height, target_width reshaped_maps [reshape(map, (h, w)) for map in attention_maps] # 步骤2应用2D高斯平滑核大小为3 smoothed_maps [gaussian_filter(map, sigma1) for map in reshaped_maps] # 步骤3展平后计算JSD flattened_maps [flatten(map) for map in smoothed_maps] return compute_jsd(flattened_maps)这种设计的优势在于保留局部性高斯平滑确保空间邻近的激活点获得相似权重避免网格伪影平滑操作防止优化过程中出现不自然的网格状注意力分布可微分性整个计算流程保持可微适合端到端训练2.2 注意力图聚合策略现代文本到图像模型如Stable Diffusion 3.5通常采用扩散Transformer架构包含多个处理文本和图像token的注意力块。FOCUS采用先聚合后评分的策略单独处理文本和图像token的跨注意力块对每个token的所有有效注意力图进行平均排除同时处理文本和图像token的混合块这种策略相比逐块计算的优势提供更稳定的优化方向减少不同块间可能存在的冲突梯度降低计算开销只需处理聚合后的单一注意力图2.3 正则化设计取舍初期实验尝试引入熵正则项来防止注意力过度集中H(p) -\sum_i p_i \log p_i \\ \hat{H}(p) H(p)/\log d \in [0,1] \\ \mathcal{L}_{reg} \gamma_{reg} \cdot \frac{1}{|S|}\sum_{s\in S}(1-\hat{H}(m_s))但实证发现小γ_reg时正则项几乎不起作用大γ_reg会导致注意力质量从主体区域逃逸而非稳定分布最终方案完全依赖概率目标函数不引入显式正则项3. 实现细节与工程实践3.1 流匹配框架下的控制算法FOCUS可无缝集成到流匹配(FM)和扩散模型的两种生成范式确定性ODE采样def controlled_ode_step(x, t): # 基础速度场 v_base model(x, t) # 计算FOCUS梯度 grad_f compute_focus_gradient(x, t) # 时间加权控制 u -(1 - t) * grad_f # 更新步 return v_base u随机SDE采样def controlled_sde_step(x, t): drift model(x, t) diffusion sigma(t) # FOCUS梯度加权 grad_f compute_focus_gradient(x, t) u -0.5 * diffusion**2 * grad_f # 更新步 return drift u, diffusion3.2 超参数配置经验基于大量实验得出的最佳实践参数推荐值作用域调整建议λ0.1-4.0控制强度从1.0开始按0.5步长调整高斯核大小3×3空间平滑固定不变时间加权σ²_mem(t)控制调度使用预设曲线学习率5e-5微调阶段配合λ等比例缩放关键提示λ8时易产生过度锐化或纹理噪声λ0.1时效果不明显。不同模型需要独立调参。4. 多模型适配方案4.1 Stable Diffusion 3.5适配作为DiT架构的代表SD3.5的适配相对直接提取所有跨注意力层的输出按头/层平均后resize到16×16应用FOCUS算法计算梯度4.2 U-Net架构适配SD1.5对于基于U-Net的旧版模型需要特殊处理收集所有分辨率下的跨注意力图从64×64到8×8双线性插值统一上采样到32×32跨层/头平均后处理# SD1.5的特殊聚合逻辑 def aggregate_unet_maps(maps_dict): target_size 32 resized_maps [] for res in [64, 32, 16, 8]: for map in maps_dict[res]: resized_maps.append(resize(map, target_size)) return np.mean(resized_maps, axis0)5. 效果评估与对比5.1 定量指标对比在150个多主体prompt上的测试结果SD3.5方法主体留存率↑属性准确率↑CLIP分数↑人类偏好%基线69.362.10.347—AttendExcite72.165.80.34853.2CONFORM77.270.40.34957.8FOCUS(ours)78.573.60.35162.45.2 典型失败案例分析即使优秀的方法也存在局限FOCUS在以下情况可能失效极端相似主体如两个完全相同的茶杯解决方案添加细微差异描述左杯有把手右杯无把手强遮挡场景如被树遮挡的斑马解决方案分阶段生成先背景再前景超多主体超过5个明确主体时性能下降解决方案使用分区域提示词6. 实际应用建议对于不同应用场景的推荐配置电商产品图生成模型SD3.5 FOCUS微调λ2.0-3.0提示词格式主体A[属性]主体B[属性]共享场景艺术创作模型FLUX.1 测试时控制λ0.5-1.0配合ControlNet保持构图教育插图模型SD1.5 轻量微调使用分层渲染生成背景固定背景生成各主体Alpha混合输出7. 扩展应用方向FOCUS的底层思想还可应用于视频生成时序注意力解耦3D生成多视角一致性控制风格迁移内容/风格注意力分离我在实际使用中发现将FOCUS与T2I-Adapter结合使用时需要适当降低adapter的引导强度约30%否则可能引起注意力冲突。另一个实用技巧是在复杂场景生成时先用低λ值0.5生成草图再用正常λ值2.0进行细化这样能更好平衡整体协调性与主体独立性。