MiniCPM-o-4.5-nvidia-FlagOS与ComfyUI联动可视化工作流中的大模型节点集成你是不是也遇到过这样的场景手里有一堆AI工具比如用来画图的Stable Diffusion用来写文案的大语言模型还有用来处理视频的脚本。但每次想完成一个稍微复杂点的任务比如“根据一张概念草图生成一段故事再把这个故事变成视频分镜”就得在好几个软件和命令行窗口之间来回切换复制粘贴操作繁琐不说还容易出错。对于不熟悉代码的朋友来说这种割裂的体验更是让人头疼。能不能有一个地方像搭积木一样把这些AI能力都连起来用拖拖拽拽的方式就完成一个复杂的创作流程当然可以。这就是ComfyUI这类可视化工作流工具的魅力所在。而今天我们要聊的是如何把MiniCPM-o-4.5-nvidia-FlagOS这个强大的多模态大模型也变成ComfyUI工作流里的一块“积木”。这样一来你就能在一个可视化的画布上轻松调用大模型的能力比如让AI看图说话、为视频脚本自动生成分镜提示词真正实现“拖拽式”的AI应用构建。1. 为什么要把大模型“装进”ComfyUI在深入具体操作之前我们先聊聊这么做的价值。你可能已经用过ComfyUI来跑Stable Diffusion对它的节点式操作很熟悉。每个节点代表一个功能连接起来就是一条处理流水线。那么加入大模型节点到底能解决什么实际问题呢想象一下这几个场景为生成的图片自动打标签你用文生图节点创作了一张精美的画作接下来需要为它添加描述性的标签用于归档或发布。传统做法是你把图片保存下来再打开另一个AI对话窗口上传图片并提问。而现在你只需要从生成的图片节点拉一条线连接到我们即将集成的MiniCPM节点它就能直接“看懂”图片并输出一段准确的描述或关键词。基于图片生成创意故事你有一张角色设定图想围绕它展开一个短篇故事。在集成大模型节点后这个流程就变成了图片输入 → 大模型节点分析并生成故事大纲 → 文本输出。你甚至可以把输出的故事文本再作为输入连接回文生图节点生成故事中的其他场景形成一个创作闭环。视频脚本自动化分镜你写了一段视频脚本里面包含不同场景的描述。手动为每个场景构思适合的视觉提示词Prompt非常耗时。现在你可以将脚本文本输入给工作流中的大模型节点让它理解脚本内容并自动为每个场景生成高质量、可用于图生视频模型的分镜提示词列表。核心价值就体现在这里它打破了工具之间的壁垒将大模型的“思考”与“理解”能力无缝嵌入到已有的图像、视频生成流水线中。对于设计师、内容创作者或非技术背景的爱好者来说这极大地降低了使用前沿AI技术的门槛。你不再需要关心模型怎么部署、API如何调用只需要知道如何拖拽和连接节点就能组合出强大的AI应用。2. 准备工作让两个系统“认识”彼此要把MiniCPM-o-4.5-nvidia-FlagOS集成到ComfyUI前提是它们俩能正常通信。这就像给ComfyUI安装一个可以调用外部服务的“插件”。我们假设你已经通过星图镜像广场或其他方式成功部署并运行了MiniCPM-o-4.5-nvidia-FlagOS服务并且也知道它的API访问地址例如http://你的服务器地址:端口。同时你的本地或服务器上也已经安装好了ComfyUI。我们的目标是在ComfyUI中创建一个自定义节点这个节点能够向我们部署好的MiniCPM服务发送请求并处理返回的结果。2.1 理解通信原理整个过程其实很清晰ComfyUI节点接收输入这个输入可能是一张图片IMAGE类型也可能是一段文本STRING类型。节点处理并请求我们的自定义节点会将图片编码或直接组合文本按照MiniCPM服务要求的格式通常是HTTP POST请求发送到指定的API地址。MiniCPM服务处理并返回FlagOS服务中的MiniCPM模型对请求进行处理例如理解图片内容然后将生成的文本结果返回。节点输出结果自定义节点接收到返回的文本后将其作为新的输出传递给工作流中的下一个节点。2.2 创建自定义节点文件在ComfyUI的安装目录下有一个custom_nodes文件夹。所有第三方或自制的节点都放在这里。我们在其中新建一个文件夹比如叫做minicpm_comfy_node。然后在这个新文件夹里创建一个Python文件例如minicpm_node.py。这个文件将包含我们自定义节点的所有逻辑。3. 动手实现编写你的第一个大模型节点下面我们来实现一个最基本的功能一个可以接收图片并返回文本描述的节点。我们会分步骤讲解关键代码。3.1 定义节点类与输入输出首先我们需要引入必要的库并定义一个继承自ComfyUI节点基类的类。import torch import numpy as np from PIL import Image import requests import json import io import folder_paths import comfy.sd import comfy.utils import nodes class MiniCPM_V_Image2Text: 一个ComfyUI自定义节点用于将图片发送到MiniCPM-V服务并获取文本描述。 def __init__(self): pass classmethod def INPUT_TYPES(cls): 定义节点的输入类型。 return { required: { image: (IMAGE,), # 输入一张图片 api_base_url: (STRING, {default: http://localhost:8000}), # MiniCPM服务地址 prompt: (STRING, {multiline: True, default: 详细描述这张图片的内容。}), # 给模型的指令 }, } RETURN_TYPES (STRING,) # 节点输出一个字符串 RETURN_NAMES (description,) # 输出的名字叫“description” FUNCTION process_image # 节点的主要处理函数 CATEGORY AI大模型/MiniCPM # 在节点菜单中的分类 def process_image(self, image, api_base_url, prompt): 核心处理函数准备数据调用API返回结果。 # 1. 将ComfyUI的IMAGE tensor转换为PIL Image # ComfyUI中IMAGE tensor的格式通常是 [Batch, Height, Width, Channels] image_np image[0].cpu().numpy() # 取batch中的第一张转为numpy # 数值范围从[0,1]或[-1,1]转换到[0, 255]的uint8 # 这里假设输入是[0,1]范围常见于VAE解码后的输出 if image_np.max() 1.0: image_np (image_np * 255).astype(np.uint8) else: image_np image_np.astype(np.uint8) pil_image Image.fromarray(image_np) # 2. 将图片转换为base64编码以便通过JSON传输 buffered io.BytesIO() pil_image.save(buffered, formatPNG) img_base64 base64.b64encode(buffered.getvalue()).decode(utf-8) # 3. 构建请求载荷 (Payload) # 这里需要根据MiniCPM-o-4.5-nvidia-FlagOS实际的API格式来调整 # 以下是一个假设的格式具体请查阅FlagOS的API文档 payload { model: minicpm-v, # 指定模型 messages: [ { role: user, content: [ {type: image_url, image_url: {url: fdata:image/png;base64,{img_base64}}}, {type: text, text: prompt} ] } ], max_tokens: 512 } # 4. 发送HTTP POST请求到MiniCPM服务 api_url f{api_base_url.rstrip(/)}/v1/chat/completions # 假设的API端点 headers {Content-Type: application/json} try: response requests.post(api_url, headersheaders, jsonpayload, timeout30) response.raise_for_status() # 如果请求失败则抛出异常 result response.json() # 5. 从响应中提取生成的文本 # 根据实际API响应结构解析这里是一个示例 description_text result[choices][0][message][content] except requests.exceptions.RequestException as e: description_text fAPI请求失败: {e} except (KeyError, IndexError, json.JSONDecodeError) as e: description_text f解析API响应失败: {e} # 6. 返回结果 return (description_text,)3.2 关键点解析INPUT_TYPES: 这里定义了节点需要哪些输入。IMAGE是ComfyUI内置的图片类型api_base_url和prompt是字符串输入我们给了默认值。RETURN_TYPES和RETURN_NAMES: 定义了节点输出什么。这里我们输出一个字符串 (STRING)并给它起个易懂的名字description。图像格式转换: ComfyUI内部使用PyTorch Tensor表示图像我们需要将其转换为PIL Image对象然后再编码为base64这是Web API传输图片的常见方式。API请求格式:这是最关键的一步也是最需要根据实际情况调整的一步。代码中的payload结构只是一个示例。你必须查阅你所部署的MiniCPM-o-4.5-nvidia-FlagOS服务的API文档确认其接收图片和文本的确切格式、端点URL以及请求参数。不同的服务框架如OpenAI兼容格式、自定义格式会有差异。错误处理: 我们使用try...except包裹了网络请求和响应解析过程确保即使API调用失败节点也不会导致ComfyUI崩溃而是返回错误信息。3.3 注册节点并测试为了让ComfyUI发现并加载我们的节点需要在同一个文件夹下创建一个__init__.py文件。# __init__.py from .minicpm_node import MiniCPM_V_Image2Text NODE_CLASS_MAPPINGS { MiniCPM_V Image2Text: MiniCPM_V_Image2Text } NODE_DISPLAY_NAME_MAPPINGS { MiniCPM_V Image2Text: MiniCPM-V 图生文 }完成后重启ComfyUI。在节点菜单中你应该能在我们定义的分类AI大模型/MiniCPM下找到名为MiniCPM-V 图生文的节点。将其拖到画布上连接一张图片作为输入填写正确的API地址和提示词点击“执行”就可以看到生成的描述了。4. 扩展与实践构建实用工作流有了基础的图生文节点我们就可以发挥创意构建更复杂、更实用的可视化工作流了。4.1 场景一自动化图片标注与归档流水线这个工作流可以实现“生成即归档”。思路很简单使用KSampler等节点生成一张图片。将生成的图片输出连接到我们的MiniCPM-V 图生文节点。在MiniCPM节点中可以设置提示词为“请用简洁的关键词描述这张图片包含主体、风格、氛围用逗号分隔。”将MiniCPM节点输出的描述文本再连接到一个Save Image节点但需要稍加改造或使用能接收文本的存档节点或者连接到一个Text显示节点进行查看。更高级的做法是利用CLIP Text Encode节点将描述文本编码与图片一起输入给一个图像数据库节点进行存储。4.2 场景二从概念图到分镜脚本的创意循环这是一个更有趣的创作辅助循环初始图像可以是一个手绘草图或用文生图生成的初始概念图。故事生成将概念图输入MiniCPM-V 图生文提示词设为“根据这幅画面构思一个简短的故事背景或角色介绍。”细化分镜将上一步生成的故事文本输入到另一个我们新创建的文本输入型MiniCPM节点这个节点更简单只处理文本。提示词设为“将以下故事梗概分解为3个具体的视频分镜画面描述每个描述应包含场景、人物动作和氛围。”分镜生成图像将得到的3个分镜描述分别或循环地输入到新的文生图流程中生成对应的分镜画面。通过这样的连接你只需要提供一个起点草图或初始想法工作流就能自动帮你拓展创意并产出可视化的分镜素材。5. 进阶思路与优化建议当你成功运行了基础节点后可以考虑以下方向来提升体验和功能创建纯文本对话节点实现一个只处理文本输入的节点用于脚本分析、提示词润色、故事续写等API调用会更简单。优化参数配置在节点输入中增加temperature创造性、max_tokens生成长度等参数让用户能精细控制模型输出。批量处理支持修改节点逻辑使其能处理一批图片ComfyUI的IMAGE类型支持batch并返回对应的描述列表提高效率。结果缓存对于相同的输入图片提示词可以将结果缓存起来避免重复调用API节省时间和资源。UI美化利用ComfyUI的网页前端特性可以尝试为节点设计更友好的输入框比如更大的多行文本区域。把MiniCPM-o-4.5-nvidia-FlagOS集成到ComfyUI本质上是在可视化编程的框架下为你提供了一个强大的“AI大脑”节点。它让复杂的多模态AI能力变得触手可及你无需编写复杂的集成代码只需通过连接线就能让图像生成、语言理解、逻辑推理等环节协同工作。这种方式的魅力在于它的灵活性和可扩展性。今天你用它来为图片写描述明天就可以设计一个根据商品图自动生成营销文案的流水线或者一个分析用户反馈并自动生成回复思路的助手。门槛的降低意味着创意和效率提升的空间被大大打开。不妨就从今天这个简单的图生文节点开始尝试在你的ComfyUI画布上搭建属于你自己的智能创作流水线吧。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
MiniCPM-o-4.5-nvidia-FlagOS与ComfyUI联动：可视化工作流中的大模型节点集成
发布时间：2026/6/20 19:44:20
MiniCPM-o-4.5-nvidia-FlagOS与ComfyUI联动可视化工作流中的大模型节点集成你是不是也遇到过这样的场景手里有一堆AI工具比如用来画图的Stable Diffusion用来写文案的大语言模型还有用来处理视频的脚本。但每次想完成一个稍微复杂点的任务比如“根据一张概念草图生成一段故事再把这个故事变成视频分镜”就得在好几个软件和命令行窗口之间来回切换复制粘贴操作繁琐不说还容易出错。对于不熟悉代码的朋友来说这种割裂的体验更是让人头疼。能不能有一个地方像搭积木一样把这些AI能力都连起来用拖拖拽拽的方式就完成一个复杂的创作流程当然可以。这就是ComfyUI这类可视化工作流工具的魅力所在。而今天我们要聊的是如何把MiniCPM-o-4.5-nvidia-FlagOS这个强大的多模态大模型也变成ComfyUI工作流里的一块“积木”。这样一来你就能在一个可视化的画布上轻松调用大模型的能力比如让AI看图说话、为视频脚本自动生成分镜提示词真正实现“拖拽式”的AI应用构建。1. 为什么要把大模型“装进”ComfyUI在深入具体操作之前我们先聊聊这么做的价值。你可能已经用过ComfyUI来跑Stable Diffusion对它的节点式操作很熟悉。每个节点代表一个功能连接起来就是一条处理流水线。那么加入大模型节点到底能解决什么实际问题呢想象一下这几个场景为生成的图片自动打标签你用文生图节点创作了一张精美的画作接下来需要为它添加描述性的标签用于归档或发布。传统做法是你把图片保存下来再打开另一个AI对话窗口上传图片并提问。而现在你只需要从生成的图片节点拉一条线连接到我们即将集成的MiniCPM节点它就能直接“看懂”图片并输出一段准确的描述或关键词。基于图片生成创意故事你有一张角色设定图想围绕它展开一个短篇故事。在集成大模型节点后这个流程就变成了图片输入 → 大模型节点分析并生成故事大纲 → 文本输出。你甚至可以把输出的故事文本再作为输入连接回文生图节点生成故事中的其他场景形成一个创作闭环。视频脚本自动化分镜你写了一段视频脚本里面包含不同场景的描述。手动为每个场景构思适合的视觉提示词Prompt非常耗时。现在你可以将脚本文本输入给工作流中的大模型节点让它理解脚本内容并自动为每个场景生成高质量、可用于图生视频模型的分镜提示词列表。核心价值就体现在这里它打破了工具之间的壁垒将大模型的“思考”与“理解”能力无缝嵌入到已有的图像、视频生成流水线中。对于设计师、内容创作者或非技术背景的爱好者来说这极大地降低了使用前沿AI技术的门槛。你不再需要关心模型怎么部署、API如何调用只需要知道如何拖拽和连接节点就能组合出强大的AI应用。2. 准备工作让两个系统“认识”彼此要把MiniCPM-o-4.5-nvidia-FlagOS集成到ComfyUI前提是它们俩能正常通信。这就像给ComfyUI安装一个可以调用外部服务的“插件”。我们假设你已经通过星图镜像广场或其他方式成功部署并运行了MiniCPM-o-4.5-nvidia-FlagOS服务并且也知道它的API访问地址例如http://你的服务器地址:端口。同时你的本地或服务器上也已经安装好了ComfyUI。我们的目标是在ComfyUI中创建一个自定义节点这个节点能够向我们部署好的MiniCPM服务发送请求并处理返回的结果。2.1 理解通信原理整个过程其实很清晰ComfyUI节点接收输入这个输入可能是一张图片IMAGE类型也可能是一段文本STRING类型。节点处理并请求我们的自定义节点会将图片编码或直接组合文本按照MiniCPM服务要求的格式通常是HTTP POST请求发送到指定的API地址。MiniCPM服务处理并返回FlagOS服务中的MiniCPM模型对请求进行处理例如理解图片内容然后将生成的文本结果返回。节点输出结果自定义节点接收到返回的文本后将其作为新的输出传递给工作流中的下一个节点。2.2 创建自定义节点文件在ComfyUI的安装目录下有一个custom_nodes文件夹。所有第三方或自制的节点都放在这里。我们在其中新建一个文件夹比如叫做minicpm_comfy_node。然后在这个新文件夹里创建一个Python文件例如minicpm_node.py。这个文件将包含我们自定义节点的所有逻辑。3. 动手实现编写你的第一个大模型节点下面我们来实现一个最基本的功能一个可以接收图片并返回文本描述的节点。我们会分步骤讲解关键代码。3.1 定义节点类与输入输出首先我们需要引入必要的库并定义一个继承自ComfyUI节点基类的类。import torch import numpy as np from PIL import Image import requests import json import io import folder_paths import comfy.sd import comfy.utils import nodes class MiniCPM_V_Image2Text: 一个ComfyUI自定义节点用于将图片发送到MiniCPM-V服务并获取文本描述。 def __init__(self): pass classmethod def INPUT_TYPES(cls): 定义节点的输入类型。 return { required: { image: (IMAGE,), # 输入一张图片 api_base_url: (STRING, {default: http://localhost:8000}), # MiniCPM服务地址 prompt: (STRING, {multiline: True, default: 详细描述这张图片的内容。}), # 给模型的指令 }, } RETURN_TYPES (STRING,) # 节点输出一个字符串 RETURN_NAMES (description,) # 输出的名字叫“description” FUNCTION process_image # 节点的主要处理函数 CATEGORY AI大模型/MiniCPM # 在节点菜单中的分类 def process_image(self, image, api_base_url, prompt): 核心处理函数准备数据调用API返回结果。 # 1. 将ComfyUI的IMAGE tensor转换为PIL Image # ComfyUI中IMAGE tensor的格式通常是 [Batch, Height, Width, Channels] image_np image[0].cpu().numpy() # 取batch中的第一张转为numpy # 数值范围从[0,1]或[-1,1]转换到[0, 255]的uint8 # 这里假设输入是[0,1]范围常见于VAE解码后的输出 if image_np.max() 1.0: image_np (image_np * 255).astype(np.uint8) else: image_np image_np.astype(np.uint8) pil_image Image.fromarray(image_np) # 2. 将图片转换为base64编码以便通过JSON传输 buffered io.BytesIO() pil_image.save(buffered, formatPNG) img_base64 base64.b64encode(buffered.getvalue()).decode(utf-8) # 3. 构建请求载荷 (Payload) # 这里需要根据MiniCPM-o-4.5-nvidia-FlagOS实际的API格式来调整 # 以下是一个假设的格式具体请查阅FlagOS的API文档 payload { model: minicpm-v, # 指定模型 messages: [ { role: user, content: [ {type: image_url, image_url: {url: fdata:image/png;base64,{img_base64}}}, {type: text, text: prompt} ] } ], max_tokens: 512 } # 4. 发送HTTP POST请求到MiniCPM服务 api_url f{api_base_url.rstrip(/)}/v1/chat/completions # 假设的API端点 headers {Content-Type: application/json} try: response requests.post(api_url, headersheaders, jsonpayload, timeout30) response.raise_for_status() # 如果请求失败则抛出异常 result response.json() # 5. 从响应中提取生成的文本 # 根据实际API响应结构解析这里是一个示例 description_text result[choices][0][message][content] except requests.exceptions.RequestException as e: description_text fAPI请求失败: {e} except (KeyError, IndexError, json.JSONDecodeError) as e: description_text f解析API响应失败: {e} # 6. 返回结果 return (description_text,)3.2 关键点解析INPUT_TYPES: 这里定义了节点需要哪些输入。IMAGE是ComfyUI内置的图片类型api_base_url和prompt是字符串输入我们给了默认值。RETURN_TYPES和RETURN_NAMES: 定义了节点输出什么。这里我们输出一个字符串 (STRING)并给它起个易懂的名字description。图像格式转换: ComfyUI内部使用PyTorch Tensor表示图像我们需要将其转换为PIL Image对象然后再编码为base64这是Web API传输图片的常见方式。API请求格式:这是最关键的一步也是最需要根据实际情况调整的一步。代码中的payload结构只是一个示例。你必须查阅你所部署的MiniCPM-o-4.5-nvidia-FlagOS服务的API文档确认其接收图片和文本的确切格式、端点URL以及请求参数。不同的服务框架如OpenAI兼容格式、自定义格式会有差异。错误处理: 我们使用try...except包裹了网络请求和响应解析过程确保即使API调用失败节点也不会导致ComfyUI崩溃而是返回错误信息。3.3 注册节点并测试为了让ComfyUI发现并加载我们的节点需要在同一个文件夹下创建一个__init__.py文件。# __init__.py from .minicpm_node import MiniCPM_V_Image2Text NODE_CLASS_MAPPINGS { MiniCPM_V Image2Text: MiniCPM_V_Image2Text } NODE_DISPLAY_NAME_MAPPINGS { MiniCPM_V Image2Text: MiniCPM-V 图生文 }完成后重启ComfyUI。在节点菜单中你应该能在我们定义的分类AI大模型/MiniCPM下找到名为MiniCPM-V 图生文的节点。将其拖到画布上连接一张图片作为输入填写正确的API地址和提示词点击“执行”就可以看到生成的描述了。4. 扩展与实践构建实用工作流有了基础的图生文节点我们就可以发挥创意构建更复杂、更实用的可视化工作流了。4.1 场景一自动化图片标注与归档流水线这个工作流可以实现“生成即归档”。思路很简单使用KSampler等节点生成一张图片。将生成的图片输出连接到我们的MiniCPM-V 图生文节点。在MiniCPM节点中可以设置提示词为“请用简洁的关键词描述这张图片包含主体、风格、氛围用逗号分隔。”将MiniCPM节点输出的描述文本再连接到一个Save Image节点但需要稍加改造或使用能接收文本的存档节点或者连接到一个Text显示节点进行查看。更高级的做法是利用CLIP Text Encode节点将描述文本编码与图片一起输入给一个图像数据库节点进行存储。4.2 场景二从概念图到分镜脚本的创意循环这是一个更有趣的创作辅助循环初始图像可以是一个手绘草图或用文生图生成的初始概念图。故事生成将概念图输入MiniCPM-V 图生文提示词设为“根据这幅画面构思一个简短的故事背景或角色介绍。”细化分镜将上一步生成的故事文本输入到另一个我们新创建的文本输入型MiniCPM节点这个节点更简单只处理文本。提示词设为“将以下故事梗概分解为3个具体的视频分镜画面描述每个描述应包含场景、人物动作和氛围。”分镜生成图像将得到的3个分镜描述分别或循环地输入到新的文生图流程中生成对应的分镜画面。通过这样的连接你只需要提供一个起点草图或初始想法工作流就能自动帮你拓展创意并产出可视化的分镜素材。5. 进阶思路与优化建议当你成功运行了基础节点后可以考虑以下方向来提升体验和功能创建纯文本对话节点实现一个只处理文本输入的节点用于脚本分析、提示词润色、故事续写等API调用会更简单。优化参数配置在节点输入中增加temperature创造性、max_tokens生成长度等参数让用户能精细控制模型输出。批量处理支持修改节点逻辑使其能处理一批图片ComfyUI的IMAGE类型支持batch并返回对应的描述列表提高效率。结果缓存对于相同的输入图片提示词可以将结果缓存起来避免重复调用API节省时间和资源。UI美化利用ComfyUI的网页前端特性可以尝试为节点设计更友好的输入框比如更大的多行文本区域。把MiniCPM-o-4.5-nvidia-FlagOS集成到ComfyUI本质上是在可视化编程的框架下为你提供了一个强大的“AI大脑”节点。它让复杂的多模态AI能力变得触手可及你无需编写复杂的集成代码只需通过连接线就能让图像生成、语言理解、逻辑推理等环节协同工作。这种方式的魅力在于它的灵活性和可扩展性。今天你用它来为图片写描述明天就可以设计一个根据商品图自动生成营销文案的流水线或者一个分析用户反馈并自动生成回复思路的助手。门槛的降低意味着创意和效率提升的空间被大大打开。不妨就从今天这个简单的图生文节点开始尝试在你的ComfyUI画布上搭建属于你自己的智能创作流水线吧。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
