尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

边缘虚拟Agent如何做好Think与Memory?关键在系统设计而非模型参数

边缘虚拟Agent如何做好Think与Memory?关键在系统设计而非模型参数 当“思考”和“记忆”出现在技术关键词里时开发者会面临两种完全不同的搜索结果一边是模型层的 Think Token、Memory 管理、上下文窗口另一边是 Java 的 OutOfMemoryError、C 的 memory access violation、数据库连接池的缓存淘汰。这种语义分裂本身就是当前 Agent 工程现状的缩影大家都在说 Agent 要有思考、要有记忆可真到代码层面思考被简化成“提示词里加一句 think step by step”记忆被简化成“把聊天记录塞进上下文”。论文标题 《Enhancing Virtual Agents through SLMs and Edge-Computing: An Exploratory Evaluation of Think and Memory Processes》 把这两个过程放到了严肃的评估框架里。它想解决的问题不是“哪个模型更强”而是在模型资源有限、计算发生在边缘的前提下如何让虚拟 Agent 的思考过程和记忆过程真正支撑起产品体验。先说判断当外围条件从“云端大模型随便调用”变成“端侧小模型、边缘算力、隐私受限”时决定 Agent 上限的不再是模型的单轮智力而是 Think 与 Memory 的系统性设计。把这两个过程当作一等公民来设计远比换一个大参数模型更值得投入。1. 从论文标题看问题Agent 差的不是模型而是两个过程一个可用的虚拟 Agent至少要完成四件事听懂用户意图、判断当前该做什么、调用已有信息完成任务、记住这次交互的结论并用于以后。前两件事依赖推理能力后两件事依赖记忆能力。当虚拟 Agent 运行在云端并调用超大规模模型时上述能力有相当一部分被模型“硬扛”下来了。上下文窗口足够大开发者可以把多轮历史一次性塞进去提示词足够灵活模型可以凭借强推理能力理解各种复杂指令。此时即使每个任务都从头开始处理用户依然会觉得对话流畅。一旦把模型换成 SLM并把推理放到边缘侧问题立刻暴露。小模型的上下文窗口有限不能无脑塞历史小模型的指令跟随和复杂推理能力较弱不能指望它在一条长提示词里完成所有推导。于是原先被模型隐藏的
返回列表