摘要本文详细介绍了Flux模型在ComfyUI中的多种工作流应用方式。主要内容包括1.基础文生图工作流解析重点讲解UNET加载器、双CLIP加载器和VAE加载器的使用方式以及Flux引导节点的参数设置2.介绍了三种模型加载方式官方模型、GGUF量化模型和NF4量化模型的具体实现方法3.展示了图生图工作流构建方法4.说明Lora模型的使用技巧和注意事项5.提供了常见报错的解决方案特别是虚拟内存不足导致崩溃的问题。1 基础文生图官方模型kijai的fp8模型1.1 Flux官方模型-基础文生图flux.1官方模型基础工作流中整体的逻辑与常规基础文生图工作流并无太大区别Flux工作流的特点是需要通过单独的加载器分别加载flux大模型、clip与T5文本编码模型及VAE模型。模型加载器分别为“UNET加载器”、“双CLIP加载器”同时调用clip与T5文本编码模型、“VAE加载器”我们可以通过双击鼠标左键打开搜索功能找到上述节点。核心节点采样器需要使用“自定义采样器高级”节点该节点的输入端口分别接入对应的参数调节节点输入端“噪波生成”连接“随机噪波”节点、输入端“引导”连接“基础引导”节点、输入端“采样器”连接“采样器“K采样器选择”节点、输入端“sigmas”连接“基础调度器”节点、输入端“latent”则与普通K采样器相同连接“空latent”或经VAE编码的latent信息。下图1是comfyui官方提供的Flux模型基础工作流因“模型采样算法”节点可忽略根据最大偏移、基础偏移以及图片的宽高计算出一个值,并将这个值传递到Flux模型当中,作为一个图像微调功能使用一般可省略。为方便理清flux工作流的逻辑我们忽略掉该节点并对工作流重新整理得到图2.图1 comfyui官方图像中获取的Flux文生图工作流图2 忽略“模型采样算法”节点并重新整理的基础工作流根据图2整理后的节点的连接我们可以看出flux工作流的运行逻辑仍遵循普通大模型基础工作流的基本逻辑普通大模型“checkpoint加载器”被“UNET加载器、双clip加载器及VAE加载器”三个节点代替“K采样器”则被“自定义采样器高级”及其输入的参数节点代替还有一个不同点是仅需要正向提示词的“文本编码器”且增加一个“Flux引导”节点来调整引导参数。参数说明UNET加载器可以加载官方dev/schnell版本模型、kijai的FP8版模型、GGUF版模型“剪枝类型”如选择默认会按照官方版本模型运行对显存要求较高。建议选择“fp8_e4m3fn”减少显存占用加快出图效率。双CLIP加载器同时加载两个clip模型clip_l.safetensors及t5xxl_fpXX.safetensors类型选择“flux”设备选择默认defaultGPU注意t5xxl模型也区分fp16和fp8两款一般选择fp8版即可fp16版可以使图像更为细致但是需要占用更多的显存。VAE加载器选择flux模型对应的VAE模型ae.safetensorsFLux引导是用于平衡图像质量与生成速度的节点它通过动态调整CFG值Flux工作流中设置为1来避免过度约束生成过程同时保持训练时的高质量标准。Flux引导的调整范围是2-5默认值是3.5。当引导值小于 3 时图像的艺术风格会更明显数值是3-3.5 时图像适用于不同场景可以获得最好的兼容效果当引导值大于 3.5 时会增加画面细节但会出现画面对比度过高的现象。官方推荐的采样器和调度器配置是 eulersimple其它推荐的常见组合包括ipdmnsimple、uni_pc_bh2simple、eulerbeta、dpmppsgm_uniform。latent宽高设置Flux模型的一大优势就是对图像尺寸及宽高比均无明确限制你可以根据需要尝试任意的宽高比。当需要高清大图时为防止爆显存可以先生成小图再进行放大。1.2 使用 “Clip文本编码Flux”替代“clip文本编码器”官方基础工作流中使用的是“clip文本编码器”“Flux引导”的方式来提供提示词信息目前常见的工作流中也可以采用“Clip文本编码Flux”节点来代替上述两个节点。“Clip文本编码Flux”节点包含了两个clip文本输入框分别对应clip文本及t5文本一般情况下我们仅需在t5文本输入框中填入提示词即可。不过在调用lora等一些特殊情况下clip文本框中未填写提示词可能会出现报错情况可以通过复制t5文本信息至clip文本框中即可。“Clip文本编码Flux”节点已经内置了引导可以省略“flux引导”节点。1.3 采用其它采样器的工作流除了官方工作流中使用的“自定义采样器高级”外我们尝试使用其它的采样器来测试出图情况。1.3.1 k采样器首先是最常规的k采样器我们用“K采样器”替换“自定义采样器高级”。由于flux模型无需反向提示词可以添加一个空的 Clip文本编码器节点来保证工作流正常运行下图工作流则使用“条件零化”节点清除文本信息后连入反向条件获得相同的效果。Flux 模型在标准工作流中也不需要 CFG 参数但是采用K采样器等节点中包含有 CFG 参数时CFG参数值需要设置为 1否则会影响画面效果。可以看到采用K采样器也可以使Flux工作流更加简略。1.3.2 采用essen插件的“Flux Sampler Parameters”节点使用“Flux Sampler Parameters”节点可以替代“自定义采样器高级”简化工作流。新建路径添加节点→Essen节点→采样→Flux Sampler Parameters节点中guidance即引导系数保持默认3.5即可。denoise即降噪值保持默认的1即可。“Flux Sampler Parameters”节点仅需输入一组正向提示词即可可以使用常规的clip文本编码器节点也可以使用clip文本编码Flux节点均可。2 GGUF量化模型工作流上节课已经教大家如何下载GGUF模型及安装GGUF对应插件此处我们以dev版本对应的Q4规格的GGUF模型为例进行演示。GGUF量化模型未融合clip及VAE所以使用GGUF量化模型需参考官方模型基础工作流我们仅需要把“UNET加载器”替换成GGUF插件对应的加载器“Unet Loader(GGUF)”即可成功运行。Unet Loader(GGUF)会自动显示已下载的GGUF模型需放在正确的文件夹中。3 简化加载模型工作流comfy Org发布的fp8版本模型及张吕敏博士发布的NF4版本模型已融合clip及VAE模型所以使用“checkpoint加载器”直接加载对应版本的flux模型即可。因NF4版本模型除了使用“checkpoint加载器”直接加载模型外还需要下载专门插件并使用专用采样器所以放到后文专门说明。此处先演示comfy Org发布的fp8版本模型对应的工作流。简化加载模型的方式十分简单使用“checkpoint加载器”加载flux的fp8模型其余节点参照普通大模型的基础文生图流程即可。注意K采样器的CFG值需保持为1。4 NF4量化版模型工作流上节课已经教大家如何下载NF4模型及安装NF4对应插件此处我们下载NF4的V2版本模型进行演示。使用“checkpoint加载器”加载NF4版本模型替代掉原官方模型工作流中的“UNET加载器、双clip加载器及VAE加载器”3个节点NF4模型的页面作者已经声明该模型有可能会被弃用转而推荐GGUF版本。所以大家如果遇到NF4插件无法正常使用时不用着急只需使用GGUF版本工作流即可。5 图生图工作流图生图的工作流非常简单只需在文生图的基础上通过加载图像和”VAE编码“节点将图像信息编码成潜空间信息替代空latent即可。图生图的效果主要受提示词和降噪值的影响可以通过提示词调整图像元素、风格等降噪值denoise的数值范围0-1数值越高则与原图画面差距越大。6 Lora的应用在flux工作流中lora模型也是加载在大模型后并串联进工作流中。官方工作流中在“UNET加载器”后添加“lora加载器”选择需要的lora。注意Flux模型对应的lora模型多数也需要触发词需要在正向提示词中填写触发词才可以生效。官方发布的7个lora下载页面https://huggingface.co/XLabs-AI/flux-lora-collection/tree/maincomfyui官方工作流--“lora加载器”放在“UNET加载器”后。fp8模型工作流加载lora“lora加载器”放在“checkpoint加载器简易”后。7 常见报错解决使用flux模型在内存和显存大小都满足的情况下仍旧出现程序崩溃、报错的情况[程序崩溃,退出代码为 3221225477 (0xC0000005)] 此时可能是虚拟内存大小不足需要增加虚拟内存。也有可能正常运行但是最终图像是黑图。为了防止出现上述崩溃问题使用flux模型前可以按下面的方式增加虚拟内存。1电脑系统屏幕左下角搜索设置2进入系统→系统信息→高级系统设置3系统属性→高级→设置4高级→程序→更改5取消“自动管理所有驱动器的分页文件大小”选择一个剩余空间足够大的盘选择“自定义大小”设置初始大小和最大值设置完成后需要重启电脑生效。本系列课程对应工作流已整理至网盘https://pan.quark.cn/s/f32cd4a44645wan22animate模型及Scail2模型动态迁移/人物替换工作流整理至网盘https://pan.quark.cn/s/413821d2d1c7欢迎正在学习comfyui等ai技术的伙伴VX加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴群共享资料会分享博主自用的comfyui整合包已安装超全节点与必备模型、基础学习资料、工作流等资源……致敬每一位在路上的学习者你我共勉Ai技术发展迅速学习comfyUI是紧跟时代的第一步促进商业落地并创造价值是我们学习的最终目标。——画青山Ai学习专栏———————————————————————————————零基础学Webuihttps://blog.csdn.net/vip_zgx888/category_13020854.htmlComfyui基础学习与实操https://blog.csdn.net/vip_zgx888/category_13006170.htmlcomfyui功能精进与探索https://blog.csdn.net/vip_zgx888/category_13005478.html系列专栏持续更新中欢迎订阅关注共同学习共同进步———————————————————————————————————— ◆comfyUI教程◆第4章2节 Flux.1模型工作流搭建
摘要本文详细介绍了Flux模型在ComfyUI中的多种工作流应用方式。主要内容包括1.基础文生图工作流解析重点讲解UNET加载器、双CLIP加载器和VAE加载器的使用方式以及Flux引导节点的参数设置2.介绍了三种模型加载方式官方模型、GGUF量化模型和NF4量化模型的具体实现方法3.展示了图生图工作流构建方法4.说明Lora模型的使用技巧和注意事项5.提供了常见报错的解决方案特别是虚拟内存不足导致崩溃的问题。1 基础文生图官方模型kijai的fp8模型1.1 Flux官方模型-基础文生图flux.1官方模型基础工作流中整体的逻辑与常规基础文生图工作流并无太大区别Flux工作流的特点是需要通过单独的加载器分别加载flux大模型、clip与T5文本编码模型及VAE模型。模型加载器分别为“UNET加载器”、“双CLIP加载器”同时调用clip与T5文本编码模型、“VAE加载器”我们可以通过双击鼠标左键打开搜索功能找到上述节点。核心节点采样器需要使用“自定义采样器高级”节点该节点的输入端口分别接入对应的参数调节节点输入端“噪波生成”连接“随机噪波”节点、输入端“引导”连接“基础引导”节点、输入端“采样器”连接“采样器“K采样器选择”节点、输入端“sigmas”连接“基础调度器”节点、输入端“latent”则与普通K采样器相同连接“空latent”或经VAE编码的latent信息。下图1是comfyui官方提供的Flux模型基础工作流因“模型采样算法”节点可忽略根据最大偏移、基础偏移以及图片的宽高计算出一个值,并将这个值传递到Flux模型当中,作为一个图像微调功能使用一般可省略。为方便理清flux工作流的逻辑我们忽略掉该节点并对工作流重新整理得到图2.图1 comfyui官方图像中获取的Flux文生图工作流图2 忽略“模型采样算法”节点并重新整理的基础工作流根据图2整理后的节点的连接我们可以看出flux工作流的运行逻辑仍遵循普通大模型基础工作流的基本逻辑普通大模型“checkpoint加载器”被“UNET加载器、双clip加载器及VAE加载器”三个节点代替“K采样器”则被“自定义采样器高级”及其输入的参数节点代替还有一个不同点是仅需要正向提示词的“文本编码器”且增加一个“Flux引导”节点来调整引导参数。参数说明UNET加载器可以加载官方dev/schnell版本模型、kijai的FP8版模型、GGUF版模型“剪枝类型”如选择默认会按照官方版本模型运行对显存要求较高。建议选择“fp8_e4m3fn”减少显存占用加快出图效率。双CLIP加载器同时加载两个clip模型clip_l.safetensors及t5xxl_fpXX.safetensors类型选择“flux”设备选择默认defaultGPU注意t5xxl模型也区分fp16和fp8两款一般选择fp8版即可fp16版可以使图像更为细致但是需要占用更多的显存。VAE加载器选择flux模型对应的VAE模型ae.safetensorsFLux引导是用于平衡图像质量与生成速度的节点它通过动态调整CFG值Flux工作流中设置为1来避免过度约束生成过程同时保持训练时的高质量标准。Flux引导的调整范围是2-5默认值是3.5。当引导值小于 3 时图像的艺术风格会更明显数值是3-3.5 时图像适用于不同场景可以获得最好的兼容效果当引导值大于 3.5 时会增加画面细节但会出现画面对比度过高的现象。官方推荐的采样器和调度器配置是 eulersimple其它推荐的常见组合包括ipdmnsimple、uni_pc_bh2simple、eulerbeta、dpmppsgm_uniform。latent宽高设置Flux模型的一大优势就是对图像尺寸及宽高比均无明确限制你可以根据需要尝试任意的宽高比。当需要高清大图时为防止爆显存可以先生成小图再进行放大。1.2 使用 “Clip文本编码Flux”替代“clip文本编码器”官方基础工作流中使用的是“clip文本编码器”“Flux引导”的方式来提供提示词信息目前常见的工作流中也可以采用“Clip文本编码Flux”节点来代替上述两个节点。“Clip文本编码Flux”节点包含了两个clip文本输入框分别对应clip文本及t5文本一般情况下我们仅需在t5文本输入框中填入提示词即可。不过在调用lora等一些特殊情况下clip文本框中未填写提示词可能会出现报错情况可以通过复制t5文本信息至clip文本框中即可。“Clip文本编码Flux”节点已经内置了引导可以省略“flux引导”节点。1.3 采用其它采样器的工作流除了官方工作流中使用的“自定义采样器高级”外我们尝试使用其它的采样器来测试出图情况。1.3.1 k采样器首先是最常规的k采样器我们用“K采样器”替换“自定义采样器高级”。由于flux模型无需反向提示词可以添加一个空的 Clip文本编码器节点来保证工作流正常运行下图工作流则使用“条件零化”节点清除文本信息后连入反向条件获得相同的效果。Flux 模型在标准工作流中也不需要 CFG 参数但是采用K采样器等节点中包含有 CFG 参数时CFG参数值需要设置为 1否则会影响画面效果。可以看到采用K采样器也可以使Flux工作流更加简略。1.3.2 采用essen插件的“Flux Sampler Parameters”节点使用“Flux Sampler Parameters”节点可以替代“自定义采样器高级”简化工作流。新建路径添加节点→Essen节点→采样→Flux Sampler Parameters节点中guidance即引导系数保持默认3.5即可。denoise即降噪值保持默认的1即可。“Flux Sampler Parameters”节点仅需输入一组正向提示词即可可以使用常规的clip文本编码器节点也可以使用clip文本编码Flux节点均可。2 GGUF量化模型工作流上节课已经教大家如何下载GGUF模型及安装GGUF对应插件此处我们以dev版本对应的Q4规格的GGUF模型为例进行演示。GGUF量化模型未融合clip及VAE所以使用GGUF量化模型需参考官方模型基础工作流我们仅需要把“UNET加载器”替换成GGUF插件对应的加载器“Unet Loader(GGUF)”即可成功运行。Unet Loader(GGUF)会自动显示已下载的GGUF模型需放在正确的文件夹中。3 简化加载模型工作流comfy Org发布的fp8版本模型及张吕敏博士发布的NF4版本模型已融合clip及VAE模型所以使用“checkpoint加载器”直接加载对应版本的flux模型即可。因NF4版本模型除了使用“checkpoint加载器”直接加载模型外还需要下载专门插件并使用专用采样器所以放到后文专门说明。此处先演示comfy Org发布的fp8版本模型对应的工作流。简化加载模型的方式十分简单使用“checkpoint加载器”加载flux的fp8模型其余节点参照普通大模型的基础文生图流程即可。注意K采样器的CFG值需保持为1。4 NF4量化版模型工作流上节课已经教大家如何下载NF4模型及安装NF4对应插件此处我们下载NF4的V2版本模型进行演示。使用“checkpoint加载器”加载NF4版本模型替代掉原官方模型工作流中的“UNET加载器、双clip加载器及VAE加载器”3个节点NF4模型的页面作者已经声明该模型有可能会被弃用转而推荐GGUF版本。所以大家如果遇到NF4插件无法正常使用时不用着急只需使用GGUF版本工作流即可。5 图生图工作流图生图的工作流非常简单只需在文生图的基础上通过加载图像和”VAE编码“节点将图像信息编码成潜空间信息替代空latent即可。图生图的效果主要受提示词和降噪值的影响可以通过提示词调整图像元素、风格等降噪值denoise的数值范围0-1数值越高则与原图画面差距越大。6 Lora的应用在flux工作流中lora模型也是加载在大模型后并串联进工作流中。官方工作流中在“UNET加载器”后添加“lora加载器”选择需要的lora。注意Flux模型对应的lora模型多数也需要触发词需要在正向提示词中填写触发词才可以生效。官方发布的7个lora下载页面https://huggingface.co/XLabs-AI/flux-lora-collection/tree/maincomfyui官方工作流--“lora加载器”放在“UNET加载器”后。fp8模型工作流加载lora“lora加载器”放在“checkpoint加载器简易”后。7 常见报错解决使用flux模型在内存和显存大小都满足的情况下仍旧出现程序崩溃、报错的情况[程序崩溃,退出代码为 3221225477 (0xC0000005)] 此时可能是虚拟内存大小不足需要增加虚拟内存。也有可能正常运行但是最终图像是黑图。为了防止出现上述崩溃问题使用flux模型前可以按下面的方式增加虚拟内存。1电脑系统屏幕左下角搜索设置2进入系统→系统信息→高级系统设置3系统属性→高级→设置4高级→程序→更改5取消“自动管理所有驱动器的分页文件大小”选择一个剩余空间足够大的盘选择“自定义大小”设置初始大小和最大值设置完成后需要重启电脑生效。本系列课程对应工作流已整理至网盘https://pan.quark.cn/s/f32cd4a44645wan22animate模型及Scail2模型动态迁移/人物替换工作流整理至网盘https://pan.quark.cn/s/413821d2d1c7欢迎正在学习comfyui等ai技术的伙伴VX加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴群共享资料会分享博主自用的comfyui整合包已安装超全节点与必备模型、基础学习资料、工作流等资源……致敬每一位在路上的学习者你我共勉Ai技术发展迅速学习comfyUI是紧跟时代的第一步促进商业落地并创造价值是我们学习的最终目标。——画青山Ai学习专栏———————————————————————————————零基础学Webuihttps://blog.csdn.net/vip_zgx888/category_13020854.htmlComfyui基础学习与实操https://blog.csdn.net/vip_zgx888/category_13006170.htmlcomfyui功能精进与探索https://blog.csdn.net/vip_zgx888/category_13005478.html系列专栏持续更新中欢迎订阅关注共同学习共同进步————————————————————————————————————