基于Llama-3.2V-11B-cot与MCP协议构建模块化AI工作流最近在折腾AI应用开发时我总在想一个问题为什么每次想让大模型干点稍微复杂的事比如让它先分析一张图表再根据结果做个计算最后生成份报告过程总是那么别扭要么得写一大堆胶水代码要么模型调用起来不够灵活。后来接触到Model Context Protocol也就是MCP再结合Llama-3.2V-11B-cot这个多模态模型我好像找到了一个更优雅的解法。简单来说就是把每个AI能力或者工具都打包成一个个标准的“乐高积木”然后用MCP这个“说明书”把它们拼装起来想搭什么就搭什么。今天我就来聊聊这套思路具体怎么玩希望能给你带来一些搭建AI工作流的新灵感。1. 为什么需要模块化从一次头疼的调试说起上个月我接了个需求要做一个智能数据分析助手。用户上传一张销售数据的截图系统需要识别图中的表格提取关键数字计算同比增长率最后生成一段分析文案。最初的实现非常“直男”我写了一个庞大的Python脚本里面糅合了图像识别、数据清洗、逻辑计算和文本生成。代码很快膨胀到几百行调试起来简直是噩梦。改一个计算逻辑可能影响到前面的数据解析调整提示词又怕破坏了后面的文案生成。更麻烦的是当我想把这个“识别图表并计算”的能力复用到另一个项目——比如用户上传健身数据图表生成周报——时我发现几乎要重写一遍。那些计算逻辑、模型调用方式都被死死地绑在了第一个项目里。这就是传统集成方式的痛点高耦合、难复用、不透明。每一个功能都像被焊死在一起的电路板牵一发而动全身。而MCP倡导的模块化思路则是把电路板拆解成标准的芯片和接口。Llama-3.2V-11B-cot可以是一个“视觉理解芯片”计算器是一个“数学芯片”数据库连接器是一个“数据芯片”。MCP协议就是定义它们如何插拔、如何通信的接口规范。这样一来构建工作流就变成了组合标准件而不是每次都从零开始焊接。2. 核心组件拆解Llama-3.2V-11B-cot与MCP协议在开始搭建之前我们得先搞清楚手里这两块最重要的“积木”到底是什么。2.1 Llama-3.2V-11B-cot不只是个看图模型Llama-3.2V-11B-cot这个名字有点长我们拆开看Llama-3.2 指的是Meta的Llama 3.2模型家族。V 代表Vision说明它具备视觉理解能力能处理图像输入。11B 110亿参数在精度和效率之间一个不错的平衡点。cot 这是关键代表“Chain-of-Thought”。它不是一个简单的“看图说话”模型而是被专门训练或微调过能够展示出推理的中间步骤。比如你问它“图片里桌子上有几个苹果”它可能先输出“图中有一盘水果里面有3个苹果和2个香蕉”然后再回答“所以苹果的数量是3个”。这种显式的思维链对于我们构建可靠的工作流至关重要因为我们可以检查它的推理过程确保结果的可信度。在实际工作流中我们可以把它定位为**“感知与初步解析”模块**。它的任务是将非结构化的图像或文本转化为结构化的、可供下游工具处理的信息。2.2 Model Context Protocol工具间的“通用插座”MCP的核心思想很简单标准化工具的描述与调用方式。它主要包含几个关键部分工具定义 每个工具比如计算器、数据库查询、乃至Llama模型本身都需要按照MCP的格式来声明自己。这包括工具的名称、描述、它需要哪些输入参数每个参数的类型和说明、以及它会输出什么。服务器 工具提供者会启动一个MCP服务器这个服务器“挂载”了一个或多个工具并对外提供标准的接口。客户端 工作流引擎或AI应用作为客户端可以连接到多个MCP服务器发现它们提供了哪些工具然后按需调用。你可以把MCP服务器想象成一个智能插座排插。计算器工具插在第一个口数据库工具插在第二个口Llama模型插在第三个口。你的工作流客户端只要知道这个排插的地址就能按说明书工具定义安全地使用上面的任何电器而不需要关心它们内部是交流电还是直流电。这种设计带来了几个明显的好处解耦 工具开发和工具使用分离。我可以独立升级计算器工具只要接口不变工作流完全不用动。可发现性 客户端能动态地发现服务器提供了什么新工具工作流可以设计得更灵活。组合性 轻松地将不同来源的工具组合在一起形成强大的功能链。3. 实战构建一个智能图表分析工作流光说不练假把式。我们一起来搭建一个具体的例子“智能图表分析工作流”。这个工作流的目标是用户上传一张折线图或柱状图的截图系统自动描述图表内容、提取关键数据点、进行指定的计算如计算平均值、增长率最后生成一段文字分析。我们会创建三个MCP工具并将它们串联起来。3.1 第一步将Llama-3.2V-11B-cot封装为MCP工具首先我们需要让Llama模型能够通过MCP被调用。这里我们使用一个现成的MCP服务器实现它已经支持了通过标准接口调用各种大模型。我们创建一个名为mcp-server-llama.py的服务器脚本# mcp-server-llama.py import asyncio from mcp.server import Server, NotificationOptions from mcp.server.models import InitializationOptions import httpx from PIL import Image import io import base64 # 初始化MCP服务器 server Server(llama-vision-tool) # 定义工具分析图片并推理 server.list_tools() async def handle_list_tools(): return [ { name: analyze_chart_image, description: 分析一张图表图片识别其类型、数据趋势、关键数据点并以结构化的思维链形式输出。, inputSchema: { type: object, properties: { image_base64: { type: string, description: 图表图片的base64编码字符串 }, user_query: { type: string, description: 用户针对图表的具体问题例如‘计算Q1和Q2的平均值’留空则进行通用描述。 } }, required: [image_base64] } } ] # 实现工具调用逻辑 server.call_tool() async def handle_call_tool(name: str, arguments: dict): if name analyze_chart_image: image_b64 arguments[image_base64] user_query arguments.get(user_query, 请描述这张图表的内容并提取关键数据。) # 1. 准备图像数据 image_data base64.b64decode(image_b64) image Image.open(io.BytesIO(image_data)) # 2. 构建给Llama-3.2V-11B-cot的提示词 # 利用其cot特性要求它分步推理 prompt f你是一个数据分析专家。请分析用户提供的图表。 用户的问题是{user_query} 请按以下步骤思考你的回答应体现这些步骤 1. 描述图表类型折线图、柱状图等和标题。 2. 描述坐标轴X轴和Y轴分别代表什么。 3. 提取图中可见的关键数据点例如各个柱子的高度、线条上的点值。请尽量以数字形式列出。 4. 根据用户的问题进行推理和计算如果问题涉及计算。 5. 给出最终答案。 图表分析 # 3. 调用实际的Llama-3.2V-11B-cot API # 这里假设模型服务部署在本地8000端口并使用兼容OpenAI的API接口 async with httpx.AsyncClient(timeout30.0) as client: # 对于多模态模型需要通过特定方式传递图片这里使用base64嵌入提示词的方式示例 # 实际部署时需根据模型API的具体要求调整例如使用LLaVA格式或直接multipart response await client.post( http://localhost:8000/v1/chat/completions, json{ model: llama-3.2-11b-vision, # 你的模型名称 messages: [ { role: user, content: [ {type: text, text: prompt}, { type: image_url, image_url: {url: fdata:image/jpeg;base64,{image_b64}} } ] } ], max_tokens: 1024, } ) result response.json() analysis_text result[choices][0][message][content] return { content: [{type: text, text: analysis_text}] } raise ValueError(f未知工具: {name}) async def main(): async with server.run(port8001): # 此服务器运行在8001端口 await asyncio.Future() # 永久运行 if __name__ __main__: asyncio.run(main())这个服务器定义了一个工具analyze_chart_image。它接收一个图片和可选的问题然后去调用真正的Llama模型服务并返回模型带有思维链的分析结果。3.2 第二步创建辅助工具MCP服务器一个工作流只有视觉模型不够我们还需要计算工具。我们再创建一个独立的MCP服务器来提供计算功能mcp-server-calculator.py# mcp-server-calculator.py import asyncio from mcp.server import Server import re server Server(calculator-tools) server.list_tools() async def handle_list_tools(): return [ { name: calculate_expression, description: 计算一个数学表达式的结果支持加减乘除、乘方和括号。, inputSchema: { type: object, properties: { expression: { type: string, description: 数学表达式例如 (5 3) * 2 / 4 } }, required: [expression] } }, { name: calculate_growth_rate, description: 计算增长率公式为(新值 - 旧值) / 旧值 * 100%。, inputSchema: { type: object, properties: { old_value: {type: number, description: 旧值}, new_value: {type: number, description: 新值} }, required: [old_value, new_value] } } ] server.call_tool() async def handle_call_tool(name: str, arguments: dict): if name calculate_expression: expr arguments[expression] # 安全评估数学表达式生产环境应使用更安全的库如ast.literal_eval或限制字符 # 此处为示例简单处理 try: # 移除潜在危险字符仅保留数字、运算符和括号 safe_expr re.sub(r[^\d\\-\*\/\(\)\.\^], , expr) # 将^替换为**以支持乘方 safe_expr safe_expr.replace(^, **) result eval(safe_expr, {__builtins__: {}}, {}) return {content: [{type: text, text: f表达式 {expr} 的计算结果是: {result}}]} except Exception as e: return {content: [{type: text, text: f计算错误: {e}}]} elif name calculate_growth_rate: old_val arguments[old_value] new_val arguments[new_value] if old_val 0: return {content: [{type: text, text: 错误旧值不能为零。}]} growth (new_val - old_val) / old_val * 100 return {content: [{type: text, text: f从{old_val}到{new_val}的增长率是: {growth:.2f}%}]} raise ValueError(f未知工具: {name}) async def main(): async with server.run(port8002): # 计算器服务器运行在8002端口 await asyncio.Future() if __name__ __main__: asyncio.run(main())这个服务器提供了两个计算工具它们将作为工作流中的“计算单元”。3.3 第三步工作流客户端——编排与执行现在我们有了两个MCP服务器一个在8001端口提供视觉分析一个在8002端口提供计算。最后我们需要一个客户端来编排整个工作流。这个客户端会按顺序调用这些工具传递数据完成复杂任务。我们创建一个工作流客户端workflow_orchestrator.py# workflow_orchestrator.py import asyncio from mcp import ClientSession from mcp.client.stdio import stdio_client import base64 import json async def run_smart_chart_analysis(image_path: str): 智能图表分析工作流 1. 调用Llama服务器分析图片提取数据。 2. 从分析结果中解析出具体数值。 3. 调用计算器服务器进行所需的计算。 4. 整合所有结果生成最终报告。 # 1. 读取并编码图片 with open(image_path, rb) as f: image_b64 base64.b64encode(f.read()).decode(utf-8) final_report_parts [] # 2. 连接并调用Llama视觉分析服务器 final_report_parts.append(## 阶段一图表视觉分析) async with ClientSession(stdio_client(python, mcp-server-llama.py)) as session: # 假设通过stdio连接 # 在实际生产中更可能是通过网络socket连接 # 这里为简化我们模拟直接调用 pass # 模拟调用结果 (实际应通过MCP客户端调用) # 假设我们有一个函数可以直接调用本地服务器 llama_analysis await call_llama_server_direct(image_b64, 提取2023年Q1到Q4的销售额数据并计算全年平均季度销售额。) final_report_parts.append(f**模型分析结果**\n{llama_analysis}) # 3. 从文本分析结果中提取数值这里简化实际可用正则表达式或让模型返回结构化JSON # 假设我们从分析文本中手动/用简单规则提取了四个季度的数据 quarterly_sales [120, 150, 130, 180] # 单位万 # 4. 连接并调用计算器服务器 final_report_parts.append(\n## 阶段二数据计算) # 模拟调用计算器工具 total_sales sum(quarterly_sales) avg_sales total_sales / len(quarterly_sales) growth_q1_to_q4 ((quarterly_sales[3] - quarterly_sales[0]) / quarterly_sales[0]) * 100 calculation_results [ f- 全年总销售额{total_sales} 万, f- 平均季度销售额{avg_sales:.1f} 万, f- 第一季度到第四季度增长率{growth_q1_to_q4:.1f}% ] final_report_parts.append(\n.join(calculation_results)) # 5. 生成最终分析报告 final_report_parts.append(\n## 阶段三综合分析报告) summary f 根据图表分析该产品年度销售额呈现波动上升趋势。 - **销售高峰**出现在第四季度{quarterly_sales[3]}万可能与季节性促销活动有关。 - **销售低谷**在第一季度{quarterly_sales[0]}万后续通过市场调整逐步回升。 - **年度表现**全年保持了{growth_q1_to_q4:.1f}%的显著增长平均每季度贡献{avg_sales:.1f}万销售额。 建议可进一步分析第四季度成功因素并尝试将其策略应用于其他季度以提升整体表现。 final_report_parts.append(summary) # 输出最终报告 print(\n *50) print(智能图表分析工作流完成报告) print(*50) print(\n.join(final_report_parts)) async def call_llama_server_direct(image_b64: str, query: str) - str: 模拟直接调用Llama MCP服务器实际应使用MCP客户端库 # 这里省略了实际的HTTP客户端调用代码 # 返回一个模拟的模型分析结果 return f 1. **图表类型与标题**这是一张柱状图标题为“2023年度产品季度销售额”。 2. **坐标轴描述**X轴代表四个季度Q1, Q2, Q3, Q4Y轴代表销售额单位万。 3. **关键数据点提取** - Q1销售额约120万 - Q2销售额约150万 - Q3销售额约130万 - Q4销售额约180万 4. **推理与计算**用户要求计算全年平均季度销售额。 - 全年总销售额 120 150 130 180 580万 - 平均季度销售额 580 / 4 145万 5. **最终答案**2023年平均季度销售额为145万。 if __name__ __main__: # 假设我们有一张名为 sales_chart_2023.png 的图表 asyncio.run(run_smart_chart_analysis(sales_chart_2023.png))运行这个工作流客户端你就能得到一个完整的分析报告。它先后利用了视觉模型的“感知”能力和计算器的“逻辑”能力而这两者是通过标准的MCP协议进行通信的。4. 模块化工作流的优势与想象空间通过上面这个例子你可以感受到模块化设计带来的变化调试变得简单 如果最终报告的数字错了我可以单独测试计算器工具输入输出是否正确也可以单独验证Llama模型提取的数据是否准确而不是在几百行代码里大海捞针。功能复用轻而易举 现在“计算增长率”这个工具已经被标准化了。我的另一个“健身数据分析工作流”可以直接使用calculate_growth_rate工具无需重写代码。系统易于扩展 下周我需要从数据库拉取历史数据做对比我只需要再启动一个“数据库查询MCP服务器”然后在工作流客户端里新增一个调用步骤即可。原有的视觉和计算模块完全不受影响。技术栈灵活 计算器工具我用Python写数据库工具可能用Go写Llama模型部署在另一台机器上。只要它们都遵循MCP协议就能无缝协作。这种架构的想象空间很大。你可以把一个文本摘要模型封装成工具。一个代码解释器封装成工具。一个发送邮件的服务封装成工具。一个查询天气的API封装成工具。然后你就可以用自然语言指示AI助手比如另一个大模型“请分析附件中的销售图表计算核心指标与去年同期的数据从数据库查进行对比将分析摘要通过邮件发送给经理。” AI助手会自动发现可用的工具并编排执行这个复杂的工作流。5. 总结把Llama-3.2V-11B-cot这样的多模态模型和MCP协议结合起来其实是在做一件很有意思的事将AI的“智能”与各种“技能”标准化、模块化。模型负责理解和规划而一个个MCP工具则是它可靠的手和脚。这种模式特别适合快速构建和迭代AI应用。初期你可能只有一个视觉分析模块随着需求增加可以像搭积木一样加入计算、查询、通知等模块整个系统的复杂度是线性增长的而不是指数级爆炸的。当然这套体系还在发展初期比如工具描述的标准化、更智能的动态编排、错误处理与回退机制等都还有不少可以优化的地方。但它的方向是清晰的——让AI应用的开发变得更像组装而不是炼金。如果你也在为如何管理越来越复杂的AI能力而头疼不妨试试用MCP的思路来重新设计你的工作流说不定会有意想不到的清爽感。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
基于Llama-3.2V-11B-cot与MCP协议构建模块化AI工作流
发布时间：2026/7/8 3:13:53
基于Llama-3.2V-11B-cot与MCP协议构建模块化AI工作流最近在折腾AI应用开发时我总在想一个问题为什么每次想让大模型干点稍微复杂的事比如让它先分析一张图表再根据结果做个计算最后生成份报告过程总是那么别扭要么得写一大堆胶水代码要么模型调用起来不够灵活。后来接触到Model Context Protocol也就是MCP再结合Llama-3.2V-11B-cot这个多模态模型我好像找到了一个更优雅的解法。简单来说就是把每个AI能力或者工具都打包成一个个标准的“乐高积木”然后用MCP这个“说明书”把它们拼装起来想搭什么就搭什么。今天我就来聊聊这套思路具体怎么玩希望能给你带来一些搭建AI工作流的新灵感。1. 为什么需要模块化从一次头疼的调试说起上个月我接了个需求要做一个智能数据分析助手。用户上传一张销售数据的截图系统需要识别图中的表格提取关键数字计算同比增长率最后生成一段分析文案。最初的实现非常“直男”我写了一个庞大的Python脚本里面糅合了图像识别、数据清洗、逻辑计算和文本生成。代码很快膨胀到几百行调试起来简直是噩梦。改一个计算逻辑可能影响到前面的数据解析调整提示词又怕破坏了后面的文案生成。更麻烦的是当我想把这个“识别图表并计算”的能力复用到另一个项目——比如用户上传健身数据图表生成周报——时我发现几乎要重写一遍。那些计算逻辑、模型调用方式都被死死地绑在了第一个项目里。这就是传统集成方式的痛点高耦合、难复用、不透明。每一个功能都像被焊死在一起的电路板牵一发而动全身。而MCP倡导的模块化思路则是把电路板拆解成标准的芯片和接口。Llama-3.2V-11B-cot可以是一个“视觉理解芯片”计算器是一个“数学芯片”数据库连接器是一个“数据芯片”。MCP协议就是定义它们如何插拔、如何通信的接口规范。这样一来构建工作流就变成了组合标准件而不是每次都从零开始焊接。2. 核心组件拆解Llama-3.2V-11B-cot与MCP协议在开始搭建之前我们得先搞清楚手里这两块最重要的“积木”到底是什么。2.1 Llama-3.2V-11B-cot不只是个看图模型Llama-3.2V-11B-cot这个名字有点长我们拆开看Llama-3.2 指的是Meta的Llama 3.2模型家族。V 代表Vision说明它具备视觉理解能力能处理图像输入。11B 110亿参数在精度和效率之间一个不错的平衡点。cot 这是关键代表“Chain-of-Thought”。它不是一个简单的“看图说话”模型而是被专门训练或微调过能够展示出推理的中间步骤。比如你问它“图片里桌子上有几个苹果”它可能先输出“图中有一盘水果里面有3个苹果和2个香蕉”然后再回答“所以苹果的数量是3个”。这种显式的思维链对于我们构建可靠的工作流至关重要因为我们可以检查它的推理过程确保结果的可信度。在实际工作流中我们可以把它定位为**“感知与初步解析”模块**。它的任务是将非结构化的图像或文本转化为结构化的、可供下游工具处理的信息。2.2 Model Context Protocol工具间的“通用插座”MCP的核心思想很简单标准化工具的描述与调用方式。它主要包含几个关键部分工具定义 每个工具比如计算器、数据库查询、乃至Llama模型本身都需要按照MCP的格式来声明自己。这包括工具的名称、描述、它需要哪些输入参数每个参数的类型和说明、以及它会输出什么。服务器 工具提供者会启动一个MCP服务器这个服务器“挂载”了一个或多个工具并对外提供标准的接口。客户端 工作流引擎或AI应用作为客户端可以连接到多个MCP服务器发现它们提供了哪些工具然后按需调用。你可以把MCP服务器想象成一个智能插座排插。计算器工具插在第一个口数据库工具插在第二个口Llama模型插在第三个口。你的工作流客户端只要知道这个排插的地址就能按说明书工具定义安全地使用上面的任何电器而不需要关心它们内部是交流电还是直流电。这种设计带来了几个明显的好处解耦 工具开发和工具使用分离。我可以独立升级计算器工具只要接口不变工作流完全不用动。可发现性 客户端能动态地发现服务器提供了什么新工具工作流可以设计得更灵活。组合性 轻松地将不同来源的工具组合在一起形成强大的功能链。3. 实战构建一个智能图表分析工作流光说不练假把式。我们一起来搭建一个具体的例子“智能图表分析工作流”。这个工作流的目标是用户上传一张折线图或柱状图的截图系统自动描述图表内容、提取关键数据点、进行指定的计算如计算平均值、增长率最后生成一段文字分析。我们会创建三个MCP工具并将它们串联起来。3.1 第一步将Llama-3.2V-11B-cot封装为MCP工具首先我们需要让Llama模型能够通过MCP被调用。这里我们使用一个现成的MCP服务器实现它已经支持了通过标准接口调用各种大模型。我们创建一个名为mcp-server-llama.py的服务器脚本# mcp-server-llama.py import asyncio from mcp.server import Server, NotificationOptions from mcp.server.models import InitializationOptions import httpx from PIL import Image import io import base64 # 初始化MCP服务器 server Server(llama-vision-tool) # 定义工具分析图片并推理 server.list_tools() async def handle_list_tools(): return [ { name: analyze_chart_image, description: 分析一张图表图片识别其类型、数据趋势、关键数据点并以结构化的思维链形式输出。, inputSchema: { type: object, properties: { image_base64: { type: string, description: 图表图片的base64编码字符串 }, user_query: { type: string, description: 用户针对图表的具体问题例如‘计算Q1和Q2的平均值’留空则进行通用描述。 } }, required: [image_base64] } } ] # 实现工具调用逻辑 server.call_tool() async def handle_call_tool(name: str, arguments: dict): if name analyze_chart_image: image_b64 arguments[image_base64] user_query arguments.get(user_query, 请描述这张图表的内容并提取关键数据。) # 1. 准备图像数据 image_data base64.b64decode(image_b64) image Image.open(io.BytesIO(image_data)) # 2. 构建给Llama-3.2V-11B-cot的提示词 # 利用其cot特性要求它分步推理 prompt f你是一个数据分析专家。请分析用户提供的图表。 用户的问题是{user_query} 请按以下步骤思考你的回答应体现这些步骤 1. 描述图表类型折线图、柱状图等和标题。 2. 描述坐标轴X轴和Y轴分别代表什么。 3. 提取图中可见的关键数据点例如各个柱子的高度、线条上的点值。请尽量以数字形式列出。 4. 根据用户的问题进行推理和计算如果问题涉及计算。 5. 给出最终答案。 图表分析 # 3. 调用实际的Llama-3.2V-11B-cot API # 这里假设模型服务部署在本地8000端口并使用兼容OpenAI的API接口 async with httpx.AsyncClient(timeout30.0) as client: # 对于多模态模型需要通过特定方式传递图片这里使用base64嵌入提示词的方式示例 # 实际部署时需根据模型API的具体要求调整例如使用LLaVA格式或直接multipart response await client.post( http://localhost:8000/v1/chat/completions, json{ model: llama-3.2-11b-vision, # 你的模型名称 messages: [ { role: user, content: [ {type: text, text: prompt}, { type: image_url, image_url: {url: fdata:image/jpeg;base64,{image_b64}} } ] } ], max_tokens: 1024, } ) result response.json() analysis_text result[choices][0][message][content] return { content: [{type: text, text: analysis_text}] } raise ValueError(f未知工具: {name}) async def main(): async with server.run(port8001): # 此服务器运行在8001端口 await asyncio.Future() # 永久运行 if __name__ __main__: asyncio.run(main())这个服务器定义了一个工具analyze_chart_image。它接收一个图片和可选的问题然后去调用真正的Llama模型服务并返回模型带有思维链的分析结果。3.2 第二步创建辅助工具MCP服务器一个工作流只有视觉模型不够我们还需要计算工具。我们再创建一个独立的MCP服务器来提供计算功能mcp-server-calculator.py# mcp-server-calculator.py import asyncio from mcp.server import Server import re server Server(calculator-tools) server.list_tools() async def handle_list_tools(): return [ { name: calculate_expression, description: 计算一个数学表达式的结果支持加减乘除、乘方和括号。, inputSchema: { type: object, properties: { expression: { type: string, description: 数学表达式例如 (5 3) * 2 / 4 } }, required: [expression] } }, { name: calculate_growth_rate, description: 计算增长率公式为(新值 - 旧值) / 旧值 * 100%。, inputSchema: { type: object, properties: { old_value: {type: number, description: 旧值}, new_value: {type: number, description: 新值} }, required: [old_value, new_value] } } ] server.call_tool() async def handle_call_tool(name: str, arguments: dict): if name calculate_expression: expr arguments[expression] # 安全评估数学表达式生产环境应使用更安全的库如ast.literal_eval或限制字符 # 此处为示例简单处理 try: # 移除潜在危险字符仅保留数字、运算符和括号 safe_expr re.sub(r[^\d\\-\*\/\(\)\.\^], , expr) # 将^替换为**以支持乘方 safe_expr safe_expr.replace(^, **) result eval(safe_expr, {__builtins__: {}}, {}) return {content: [{type: text, text: f表达式 {expr} 的计算结果是: {result}}]} except Exception as e: return {content: [{type: text, text: f计算错误: {e}}]} elif name calculate_growth_rate: old_val arguments[old_value] new_val arguments[new_value] if old_val 0: return {content: [{type: text, text: 错误旧值不能为零。}]} growth (new_val - old_val) / old_val * 100 return {content: [{type: text, text: f从{old_val}到{new_val}的增长率是: {growth:.2f}%}]} raise ValueError(f未知工具: {name}) async def main(): async with server.run(port8002): # 计算器服务器运行在8002端口 await asyncio.Future() if __name__ __main__: asyncio.run(main())这个服务器提供了两个计算工具它们将作为工作流中的“计算单元”。3.3 第三步工作流客户端——编排与执行现在我们有了两个MCP服务器一个在8001端口提供视觉分析一个在8002端口提供计算。最后我们需要一个客户端来编排整个工作流。这个客户端会按顺序调用这些工具传递数据完成复杂任务。我们创建一个工作流客户端workflow_orchestrator.py# workflow_orchestrator.py import asyncio from mcp import ClientSession from mcp.client.stdio import stdio_client import base64 import json async def run_smart_chart_analysis(image_path: str): 智能图表分析工作流 1. 调用Llama服务器分析图片提取数据。 2. 从分析结果中解析出具体数值。 3. 调用计算器服务器进行所需的计算。 4. 整合所有结果生成最终报告。 # 1. 读取并编码图片 with open(image_path, rb) as f: image_b64 base64.b64encode(f.read()).decode(utf-8) final_report_parts [] # 2. 连接并调用Llama视觉分析服务器 final_report_parts.append(## 阶段一图表视觉分析) async with ClientSession(stdio_client(python, mcp-server-llama.py)) as session: # 假设通过stdio连接 # 在实际生产中更可能是通过网络socket连接 # 这里为简化我们模拟直接调用 pass # 模拟调用结果 (实际应通过MCP客户端调用) # 假设我们有一个函数可以直接调用本地服务器 llama_analysis await call_llama_server_direct(image_b64, 提取2023年Q1到Q4的销售额数据并计算全年平均季度销售额。) final_report_parts.append(f**模型分析结果**\n{llama_analysis}) # 3. 从文本分析结果中提取数值这里简化实际可用正则表达式或让模型返回结构化JSON # 假设我们从分析文本中手动/用简单规则提取了四个季度的数据 quarterly_sales [120, 150, 130, 180] # 单位万 # 4. 连接并调用计算器服务器 final_report_parts.append(\n## 阶段二数据计算) # 模拟调用计算器工具 total_sales sum(quarterly_sales) avg_sales total_sales / len(quarterly_sales) growth_q1_to_q4 ((quarterly_sales[3] - quarterly_sales[0]) / quarterly_sales[0]) * 100 calculation_results [ f- 全年总销售额{total_sales} 万, f- 平均季度销售额{avg_sales:.1f} 万, f- 第一季度到第四季度增长率{growth_q1_to_q4:.1f}% ] final_report_parts.append(\n.join(calculation_results)) # 5. 生成最终分析报告 final_report_parts.append(\n## 阶段三综合分析报告) summary f 根据图表分析该产品年度销售额呈现波动上升趋势。 - **销售高峰**出现在第四季度{quarterly_sales[3]}万可能与季节性促销活动有关。 - **销售低谷**在第一季度{quarterly_sales[0]}万后续通过市场调整逐步回升。 - **年度表现**全年保持了{growth_q1_to_q4:.1f}%的显著增长平均每季度贡献{avg_sales:.1f}万销售额。 建议可进一步分析第四季度成功因素并尝试将其策略应用于其他季度以提升整体表现。 final_report_parts.append(summary) # 输出最终报告 print(\n *50) print(智能图表分析工作流完成报告) print(*50) print(\n.join(final_report_parts)) async def call_llama_server_direct(image_b64: str, query: str) - str: 模拟直接调用Llama MCP服务器实际应使用MCP客户端库 # 这里省略了实际的HTTP客户端调用代码 # 返回一个模拟的模型分析结果 return f 1. **图表类型与标题**这是一张柱状图标题为“2023年度产品季度销售额”。 2. **坐标轴描述**X轴代表四个季度Q1, Q2, Q3, Q4Y轴代表销售额单位万。 3. **关键数据点提取** - Q1销售额约120万 - Q2销售额约150万 - Q3销售额约130万 - Q4销售额约180万 4. **推理与计算**用户要求计算全年平均季度销售额。 - 全年总销售额 120 150 130 180 580万 - 平均季度销售额 580 / 4 145万 5. **最终答案**2023年平均季度销售额为145万。 if __name__ __main__: # 假设我们有一张名为 sales_chart_2023.png 的图表 asyncio.run(run_smart_chart_analysis(sales_chart_2023.png))运行这个工作流客户端你就能得到一个完整的分析报告。它先后利用了视觉模型的“感知”能力和计算器的“逻辑”能力而这两者是通过标准的MCP协议进行通信的。4. 模块化工作流的优势与想象空间通过上面这个例子你可以感受到模块化设计带来的变化调试变得简单 如果最终报告的数字错了我可以单独测试计算器工具输入输出是否正确也可以单独验证Llama模型提取的数据是否准确而不是在几百行代码里大海捞针。功能复用轻而易举 现在“计算增长率”这个工具已经被标准化了。我的另一个“健身数据分析工作流”可以直接使用calculate_growth_rate工具无需重写代码。系统易于扩展 下周我需要从数据库拉取历史数据做对比我只需要再启动一个“数据库查询MCP服务器”然后在工作流客户端里新增一个调用步骤即可。原有的视觉和计算模块完全不受影响。技术栈灵活 计算器工具我用Python写数据库工具可能用Go写Llama模型部署在另一台机器上。只要它们都遵循MCP协议就能无缝协作。这种架构的想象空间很大。你可以把一个文本摘要模型封装成工具。一个代码解释器封装成工具。一个发送邮件的服务封装成工具。一个查询天气的API封装成工具。然后你就可以用自然语言指示AI助手比如另一个大模型“请分析附件中的销售图表计算核心指标与去年同期的数据从数据库查进行对比将分析摘要通过邮件发送给经理。” AI助手会自动发现可用的工具并编排执行这个复杂的工作流。5. 总结把Llama-3.2V-11B-cot这样的多模态模型和MCP协议结合起来其实是在做一件很有意思的事将AI的“智能”与各种“技能”标准化、模块化。模型负责理解和规划而一个个MCP工具则是它可靠的手和脚。这种模式特别适合快速构建和迭代AI应用。初期你可能只有一个视觉分析模块随着需求增加可以像搭积木一样加入计算、查询、通知等模块整个系统的复杂度是线性增长的而不是指数级爆炸的。当然这套体系还在发展初期比如工具描述的标准化、更智能的动态编排、错误处理与回退机制等都还有不少可以优化的地方。但它的方向是清晰的——让AI应用的开发变得更像组装而不是炼金。如果你也在为如何管理越来越复杂的AI能力而头疼不妨试试用MCP的思路来重新设计你的工作流说不定会有意想不到的清爽感。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
