尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

AI从对话到执行:Agent与多AI协作的工程实践与落地观察

AI从对话到执行:Agent与多AI协作的工程实践与落地观察 1. 本周AI热度主线Agent不再是概念1.1 从“聊”到“干”Agent是怎么火的每个周五我习惯把本周的AI热点拉出来做一轮精读3月13日这个星期五最明显的信号是大家已经不太满足于“在对话框里问答案”了。热搜和社区里高频出现的词变成了AI Agent、多AI协作、AI Agent搭建、AI编程、AI测试开发甚至还有Altium Designer这类专业硬件设计软件要接AI接口的消息。用一个现象概括就是——AI正在从“嘴上说说”转向“手上干活”。先说Agent为什么这么火。它本质上不是一套多玄乎的技术而是把一个完整任务拆给大模型去规划和执行。一个Agent至少包含四块规划能力、记忆能力、工具调用能力和反思机制。规划能力负责把大目标拆成小步骤记忆负责记住上下文和中间结果工具调用负责搜索、执行代码、操作文件反思机制则让它在出错后能自我修正。我自己的体验是过去写自动化脚本得把每一步都写死先读取文件再调用接口再写日志最后处理异常。有了Agent之后我可以只描述目标比如“把tests目录下所有用例跑一遍失败信息汇总成Markdown格式的报告放到report目录里”。它能自己决定先看哪几个文件、用什么命令、怎么解析输出甚至发现某个用例因为环境变量缺失失败后会返回去检查配置。这个从“执行”到“规划”的转变是最近讨论热度急剧上升的根本原因。不过要提醒的是Agent再能干也还是个“需要带教的新人”。它擅长把活儿拆开但很容易在一个错误方向上猛干很久。所以现在做Agent工程实践大家开始更看重一件事自主容错控制。也就是说给Agent的运行过程设置超时、重试、回滚和人工确认的节点。构建可靠AI系统的工程实践重点已经不在模型本身的精度而在运行时的控制逻辑。1.2 多AI协作一个Agent不够那就组队本周关键词里“多AI协作”频繁出现。我理解这个词不是指你同时打开好几个聊天窗口互相复制粘贴而是让多个Agent或模型在同一个工作流里各司其职。常见做法是中心化编排一个Manager Agent负责任务拆解和分配几个Worker Agent分别执行最后再由一个Review Agent汇总和检查。举个实际例子。我最近用一个四角色方案做项目方案输出产品Agent负责把需求整理成功能清单开发Agent把功能清单转换为技术方案和任务估算测试Agent根据技术方案生成测试要点和风险清单评审Agent把三份结果合并找出现有方案里的矛盾点。这样设计之后我发现结果质量确实比单次对话要高因为每个Agent只需要聚焦自己的领域不会被无关信息干扰。但多AI协作也有很现实的坑。第一次跑的时候四个Agent在对话里反复引用对方的内容每份输出都像把前一份重新复述一遍最后等于没有增量价值。后来我加了一条纪律每个Agent必须按照结构化模板输出不允许互相讨论只允许读上一环节的结果最终产出必须和原始需求做一次差异对比。等于把“群聊式协作”改成了“流水线式协作”效果立刻不一样。从工程角度看多AI协作本质上是把任务接口标准化。每个Agent的输入输出越明确协作就越稳定。指望Agent之间靠自然语言聊着聊着就对齐需求目前还不现实。作为使用方你应该扮演的是“项目经理”而不是“观众”把任务边界、交付格式、验收标准都提前定义好再让AI们去跑。2. 先把地基打牢大模型基础理论与模型部署2.1 大模型基础理论补课就补这三点这周热词里“AI大模型基础理论”热度不低。说实话很多刚开始接触大模型的人第一步就想冲去写Agent或者微调但连模型为什么输出不稳定都解释不了。我建议基础理论至少补三块生成原理、上下文窗口、注意力机制。生成原理其实很好理解大模型的底层任务就是预测下一个词。你给它一段文字它根据训练学到的规律生成最可能的后续。所谓“思考过程”本质是一长串概率计算的结果。这解释了为什么模型会一本正经胡说八道——它不是在查数据库而是在做概率推测。理解了这一点你就知道为什么任何生产级AI应用都不能在无监督状态下直接交付结果。注意力机制解决的是相关性判断问题。模型生成本文时要自己判断上下文里哪些词更重要。这不复杂但很关键因为它决定了模型能不能处理好长依赖。你写一段5000字的业务文档让模型在最后总结时能不能回头抓住文档最开头定义的术语靠的就是注意力机制。上下文窗口则是很多人误解最深的概念。它不等于模型的知识量而是模型一次能处理的“工作记忆”上限。就像你临时记住一串电话号码窗口大的模型能同时记住更多内容但超出窗口的部分它就完全看不见了。所以你会看到很多高级用法比如把产品文档塞进上下文再让模型回答这叫作“长上下文提示”。它有用但和长期记忆完全是两回事。2.2 模型部署显存估算、量化与问题排查本周“AI模型部署”也上了热搜这是很多团队从“玩API”转向“自己部署”的标志。第一步就是要弄清模型体积和显存的关系。我自己常用一个简单估算模型参数的量级乘以字节数FP16精度下每个参数占2字节INT8量化下每个参数占1字节4Bit量化下大概0.5字节左右。以7B模型为例FP16需要约14GB显存INT8约7GB4Bit量化约3.5到4GB。部署时不是只放参数还有KV Cache和激活值所以实操经验是“再预留20%到30%”。如果你拿一张24GB显存的卡跑7B模型FP16勉强能塞下但并发一大就容易内存溢出。反过来拿72B模型想单卡部署FP16需要约144GB普通单卡根本不可能这就算错了账。部署时最常见的几个问题我整理成一个排查表参考现象常见原因处理思路CUDA Out of Memory模型太大或并发过高换更小模型、量化、限制并发、释放KV Cache响应超时输入过长或推理设备太慢缩短上下文、换GPU、加推理框架如vLLM输出乱码分词器不匹配或温度过高检查tokenizer配置、降低temperature结果不稳定随机采样导致固定seed、降低temperature、使用确定性解码对刚上手的人我还有一个很实在的建议能先用别人封装好的推理框架就不要自己从头写。vLLM、SGLang这类框架在批处理、KV Cache复用、连续批处理上做得非常成熟。自己从零搭一个推理服务看着酷但大概率一周之后你花最多时间的不是模型逻辑而是并发调度和内存管理。2.3 RAG、微调、长上下文与工具调用怎么选基础理论补完之后紧接着会面临一个技术选型问题到底用RAG、微调、长上下文还是工具调用这周也有不少人在讨论我把常见的四种手段放在一起对比过方案适用场景典型成本RAG检索增强需要引用最新知识、私有文档、动态内容中等需维护向量库和检索链路微调需要固定输出风格、特定格式、领域术语较高需要数据集的构造与训练资源长上下文单次需要通读大文档、做全局总结每次请求费用高响应慢工具调用需要实时计算、查数据库、操作外部系统中低需开发函数接口我的个人原则是90%的场景先用RAG不要一上来就微调。很多人以为微调是万能药觉得模型答得不好就是“训练不够”实际上多数问题出在检索不到相关内容或者提示词没写清楚。RAG结构的调试成本和风险都远低于微调数据更新也灵活。工具调用则是让模型“动手”的能力。比如你让模型算一笔分期付款如果它只能靠推理大概率会有误差但让它调用一个计算函数结果就完全可靠。所以做Agent的时候工具调用的设计质量往往决定了整个系统的稳定性。每个工具的函数描述要写清楚参数、边界和返回格式模型才不容易用错。3. AI编程与测试开发实测下来的经验3.1 PyCharm里的AI插件从Fitten Code到Codex类工具这周热词里有一项很具体“PyCharm好用的AI插件Fitten Code”。我去年就在PyCharm里试过Fitten Code整体感觉是轻量、响应快、补全不打断思路。它和有编程能力的Agent工具思路不太一样Fitten Code更像一个贴身协作者写代码时给补全遇到问题时可以直接在IDE里问而Codex这类收费的AI编程软件更倾向于“自动完成一整段开发任务”。我的建议是两者搭配使用。日常写函数、补充注释、写测试用例用IDE插件就够了它和当前文件结合的上下文非常自然。当你需要跨多个文件改代码、处理重构、或者完成一个比较独立的开发任务时再用Agent型工具。它会在后台自己读文件、跑命令最后把改动提交给你Review省的时间确实可观。使用的时候我总结了三个提高成功率的关键。第一给足上下文不要只丢一句“帮我优化代码”要指出文件路径、函数名、你希望保留的约束。第二明确输出格式让它不要长篇大论解释直接给可粘贴的完整文件。第三对于Agent型工具第一次运行前先给它划定权限范围比如只允许操作某个目录避免它把无关文件改坏。这里也分享一个我用的编程提示词模板你可以直接套用# role 你是Python后端工程师熟悉pytest和FastAPI # task 为 app/services/calc.py 中的 add 和 divide 函数补充单元测试 # constraint - 不修改被测函数 - 使用 pytest.mark.parametrize 参数化 - 对 divide 的除零情况断言抛出 ValueError # output 输出一个可直接放入 tests/test_calc.py 的完整代码文件把角色、任务、约束、输出形态写清楚生成的代码可用性会大幅提升。这也是“AI编程提示词”这个热词背后真正值钱的部分。3.2 MCP接口正在把专业软件变成AI的“可操作对象”本周另一个值得写进精读的信号是专业软件也开始接AI接口了。热词里提到的Altium Designer AI接口MCP Server就很有意思。Altium Designer是硬件工程师常用的PCB设计软件过去它的数据和AI之间隔着一道墙AI只能看看你贴的截图。但如果通过MCP模型上下文协议把工程数据暴露给AIAI就能读取原理图、网表、DRC报告做元器件核对、走线问题分析这类辅助工作。我常把MCP比作AI界的USB-C接口。过去每个AI应用要对接一个软件都得单独写适配器现在只要软件方提供一个MCP ServerAI模型就能通过统一协议去读写它的数据。这个思路对生产力工具的冲击比对聊天机器人大多了。以后AI不是只会回答而是能在你熟悉的专业软件里直接“看到”你在做什么然后给出可执行建议。需要强调一点硬件设计、专利检索这类专业场景AI的作用是“辅助分析”而不是“自主修改”。比如我用AI辅助专利检索时只是让模型把一个技术方案拆成结构、功能、材料、算法几个维度再为每个维度生成多组检索关键词和检索式最后由人工去专利数据库验证。AI负责扩大检索覆盖面和整理对比表最终的查新结论必须由人来判断。所以如果你也想给专业工作流接AI我的经验是先选一个数据边界清晰、风险可控的环节做起。不要一开始就想全流程自动化先把“读数据、给建议、人确认”跑通后面再逐步扩大到更复杂的操作。3.3 用AI做测试开发别只会“生成用例”“AI测试开发”是个经常被低估的话题。不少人觉得让AI写测试用例嘛不就是输入“给这个函数写测试”就行。我试过这样生成的用例往往非常“敷衍”断言只覆盖正常路径边界值基本没有更别提异常场景和mock依赖了。要让AI真正做好测试开发你得给它“边界感”。什么意思要在提示词里说清楚被测函数的行为边界比如输入范围、返回值类型、异常条件、外部依赖怎么mock。AI生成测试用例时最怕的是它自己“脑补”函数行为。你提前把函数的行为“喂”给它它就能生成真正有用的边界测试。另外一个常见问题是测完了不跑。AI写200行测试很快但如果你不执行这些用例就只是“看起来像测试”的文本。我的做法是加一条提示词约束所有生成的测试必须能直接用pytest运行且生成后立刻执行不通过必须自己修复。这会让AI更加谨慎因为它知道自己写完要负责跑通。我还遇到过一种情况被测模块依赖数据库和外部服务。直接测试会失败得很惨。后来我在提示词里明确要求测试必须用fixture完成依赖替换并给了一个最小示例结构AI就能让测试在隔离环境里稳定运行。说到底AI测试开发的核心不是“生成”而是“按边界条件生成并真正执行”。你把它当实习生带它才能产出能用的测试代码。4. 行业落地观察短剧、旅游、空间音频与一条龙建站4.1 AI短剧/AI漫剧的制作流程拆解“AI短剧”和“AI漫剧”这周讨论度很高。很多人以为AI漫剧就是输入一个故事AI自动出成片。实际操作下来流程要完整得多我把完整链路拆成六步用LLM生成故事大纲和分镜包括场景描述、镜头景别、人物对白、画面关键词。确定角色视觉设定生成角色参考图固定脸部特征、服装、发型等一致性要素。文生图根据分镜逐镜头生成关键画面这一步是最需要反复抽卡的。图生视频把静态画面变成动态镜头片段时长控制在3到5秒最稳定。配音配乐生成对白语音、背景音乐和简单音效。剪辑合成把片段按分镜顺序拼接加字幕、转场和片头片尾。在这个流程里最容易翻车的地方是“人物一致性”。同一个角色前一个镜头是穿蓝衣服后一个镜头衣服变了看剧的人立刻出戏。我现在会用固定角色参考图加固定seed值的方式保证生成画面不跑偏。如果工具支持“角色一致性”功能优先用这个模式。我也要泼一点冷水AI工具大幅降低了制作门槛但不等于你可以全程不管。尤其涉及公开作品内容是否合适、画面上有没有明显瑕疵、逻辑是否连贯最后都需要人来把关。把成品的完整性全扔给AI是最容易翻车的操作。4.2 AI旅游、AI英语和AI声音空间化的小实验这周热词里“AI旅游”不只是一句口号。我上个月试过让AI规划一次周边三日游效果比想象中好前提是提示词必须具体。不能只问“给我一个旅游计划”你要告诉它天数、出发地点、交通方式、预算上限、偏好类型、每天最多去几个地方。比如可以这么问请规划一次上海出发的三天两夜文化主题旅行。 约束全程公共交通每天不超过4个地点包含至少1个免费场馆。 输出每天的行程时间表包含交通衔接和午餐建议。这样生成出来的行程至少有参考价值。真正出门前还是要人工确认景点开放时间、预订信息和路线变化。AI擅长的是快速搭建骨架落地细节得靠人补全。AI英语学习我也试过不少。最有价值的用法不是简单的“英语对话”而是让AI扮演固定角色做情景对话并在对话结束后把错误句子挑出来说明是语法错误、搭配错误还是表达不够自然再给三个改写版本。连续使用两周之后我对自己的高频错误会非常清楚这种纠错效率比传统教材高很多。“AI声音空间化”则比较技术向。简而言之AI可以把声音精确放到一个虚拟三维空间里的指定位置你戴着耳机听时会觉得说话人在左边三米远、右边两米高等等。它在VR、线上会议、电影混音里的应用空间非常大。我最近用支持空间音频的会议软件开会明显感觉多人同时发言时辨认谁在说话比普通立体声容易得多。这个方向值得长期关注。4.3 AI建站、AI演示与Interior AI的一条龙思路“AI建站”和“AI演示”放在一起说是因为它们思路完全一致让AI先出框架和素材人再做关键决策。以建站为例先让AI生成站点的信息架构、文案基调、板块顺序甚至生成一套色彩方案和占位图然后再到建站工具里具体搭建。这样比你打开空白页面从零开始快得多而且能避免“想不出文案”导致的拖延。AI演示也是同理。我从最近两年的使用经验看效率最高的路径是先把内容大纲写好再让AI根据大纲生成一份PPT结构也就是每一页的标题、要点、配图描述、演讲备注。这一步AI非常擅长。拿到结构后再由人工调整逻辑主次和细节措辞最后套用统一的视觉模板。很多人用AI做PPT觉得不靠谱是因为跳过了大纲直接让AI生成完整设计稿期待值放错了地方。室内设计领域热词里“Interior AI”这类工具我很喜欢。它的用法是上传一张房间照片选择风格关键词比如“现代侘寂风、浅色橡木、减少开放格、突出电视墙”AI会直接输出几种不同风格的渲染方案。对于普通人来说这比请设计师画效果图便宜太多也能帮你把想法具象化再拿着渲染图去和设计师沟通。这类“一条龙”工具的共同规律是AI负责生成多个备选方案人负责打分、调整、选择。单纯的生成并不值钱值钱的是你通过快速试错找到的最优路径。5. 本周速览与一点自己的检索方法5.1 热点方向速览哪些值得继续投入把3月13日这周的高频词过了一遍之后我按自己的判断把它们分成了几个梯队方向本周信号我的优先级建议多AI协作从组队聊天走向流水线协作很高适合先做内部小项目验证AI Agent搭建规划、工具调用、反思成为共识很高但先定义好人工确认节点模型部署7B以下量化部署门槛明显降低中高有私有化需求就值得投入AI测试开发从生成用例转向边界执行高几乎所有软件团队都能用AI短剧/漫剧制作链路逐步标准化中内容质量仍是核心壁垒AI编程IDE插件和Agent工具并存高建议个人先深度掌握一个Altium Designer等专业软件接MCP专业软件开始“被AI读取”中硬件设计类团队重点关注AI语音空间化在XR和会议场景快速落地中偏体验创新机器人领域OpenClawROS给AI Agent装上机械本体中低门槛高但方向很前沿AI操作系统概念讨论多但产品明显不成熟低先观察不急着投入我个人的盘点标准很简单一个方向能不能在旧工作流里找到一个具体环节落地并且两周内看到效率提升。按这个标准AI编程和AI测试开发是目前性价比最高的两个方向因为它们离现有工程流程最近。5.2 我整理AI科技精读的3个习惯说了这么多最后也从方法层面分享一下我每周整理AI科技精读时的做法。第一先收集热词再筛选题不要在每个链接上平均用力。我会把所有热词分成“工具类”“理论类”“场景类”每类只留一个真正值得读深的内容。第二每个方向至少要亲手试一次。光看文章和演示视频很难判断一个东西适不适合你。哪怕是跑一个最小示例都比看十篇深度解读强。第三克制追新冲动。很多热词只是同一个概念的再次包装判断它是否有增量就看它有没有改变你上一个工作流里的某个环节。本周给我的最大感受是AI的落地已经到了“把繁琐流程交给AI、把关键决策留给自己”的阶段。真正拉开效率差距的不是谁的模型更强而是谁更早把AI安排到一个边界清晰、反馈及时的工作岗位上。如果你这周只带走一个观点我的建议是不要急着追求“全自动”先给AI划定一个足够具体的小任务配好接口和验收标准它往往比你想象中靠谱得多。这期AI科技精读先到这里我还想继续动手试试那些“多AI协作”的新玩法等有更多实测结果再回来分享。
返回列表