图片来自于 midjourneyIntroduction to Generative AI 2024 Spring第9講以大型語言模型打造的AI Agent24.04.12我们现在使用 AI 的方式请帮我翻译请帮我画图往往是单步骤任务功能单一的任务人类可以做需要多步骤的复杂任务现在的 AI 能不能做到呢有 LLM 加持后不久的将来也许可以做到由 AI 村民组成的虚拟村庄会自己玩我的世界“的AI学会的技能越来越多可以打造钻石剑OpenAIFigure onehttps://www.youtube.com/watch?vSq1QZB5baNw厉害的是手臂和手指非常灵活而不是用语言模型来操作机器人用 LLM 操作机器人的例子之前就有https://innermonologue.github.io/https://arxiv.org/abs/2207.056081指令输入人机交互Verbal Commands,III口头指令2环境感知与上下文Driving Context Information,CCCHHH为了做出正确决策LLM 不仅仅接收指令还需要大量的背景信息天气与路况Weather/Traffic交通规则Traffic Rules历史数据Historical Data,HHH系统会调取之前的驾驶习惯和特定路段的处理经验。3核心推理从文本到代码Generated Codes,PPP这是该架构最核心的创新点LLM 不直接控制方向盘而是生成执行代码Generated Codes。这种方式规避了 LLM 直接输出物理值可能带来的抖动或不可解释性通过“代码”这一桥梁将逻辑推理与硬件驱动解耦。4车辆执行Actuators ECU生成的代码被发送到车辆的 ECU电子控制单元。硬件响应ECU 驱动底盘执行机构包括Throttle油门/推力控制Brake制动/刹车Gear换挡Steering转向控制5闭环反馈与长效记忆Human Feedback,FFF Memory Module反馈回路人对车辆的表现给出评价或修正Human Feedback。记忆模块这些反馈会被存入 Memory Module存储模块并回传到云端的历史数据库HHH。技术联系这本质上是一个 RLHF基于人类反馈的强化学习 或 In-Context Learning上下文学习 的过程让自动驾驶系统越开越像“你”实现个性化驾驶。根据接收到的终极目标感知到的外界状态积累记忆经验拟定计划根据计划产生行动收到新的外界状态变化后重新拟定计划更新记忆action …每次开始新对话一切都重头来过MemGPT基于 GPT 打造有记忆能力的 GPTeg 从记忆中 RAG魔法考试护身符是泥人哥雷姆放弃比赛打破瓶子哥雷姆会带你成功退赛看看哥雷姆运行的逻辑终极目标是把考生安全带出迷宫看到的是画面可以利用 Image caption 技术把画面转化为文字然后输入 LLM 中刚出来的时候记忆是空如何把文字的 action 转化为真实世界中可执行的 actionslow agent 和 fast agent将复杂的长程目标如“在我的世界中制作一把木镐”拆分为高层的逻辑规划Slow Agent和底层的具体交互动作Fast Agent。特性Slow Agent (慢代理 / 思考系统)Fast Agent (快代理 / 执行系统)角色定位决策大脑、高层规划器执行肢体、低层交互器技术基础通常为大语言模型 (LLM)RL 策略网络或Python 代码脚本处理内容符号化的抽象逻辑如导航 - 采集 - 制作具体的原子动作如转动视角、点击、放置运行频率低频仅在任务切换或环境重大变化时触发高频实时与环境交互快速响应核心目的解决“做什么”What to do的长程逻辑规划。解决“怎么做”How to do的具体执行问题。你在评估雇主伤势的情况下还有可能遭受到复制体的攻击外在的状态变了可以通过反思的方式改变自己的计划ChatGPT 给出了自己的答案保护雇主优先LLM 如何通过反思取得未来可用的经验可以参考reflexion、reAct经验会影响所采取的行动没有记忆的时候第二点是立刻急救现在第二点是保持高度的环境警觉性参考https://speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.phphttps://www.bilibili.com/video/BV18fXbY6Eis/?spm_id_from333.1387.homepage.video_card.clickvd_source8e91f8e604278558ec015e749d1a3719
【Hung-yi Lee】《Introduction to Generative Artificial Intelligence》（4）
发布时间：2026/7/15 18:31:52
图片来自于 midjourneyIntroduction to Generative AI 2024 Spring第9講以大型語言模型打造的AI Agent24.04.12我们现在使用 AI 的方式请帮我翻译请帮我画图往往是单步骤任务功能单一的任务人类可以做需要多步骤的复杂任务现在的 AI 能不能做到呢有 LLM 加持后不久的将来也许可以做到由 AI 村民组成的虚拟村庄会自己玩我的世界“的AI学会的技能越来越多可以打造钻石剑OpenAIFigure onehttps://www.youtube.com/watch?vSq1QZB5baNw厉害的是手臂和手指非常灵活而不是用语言模型来操作机器人用 LLM 操作机器人的例子之前就有https://innermonologue.github.io/https://arxiv.org/abs/2207.056081指令输入人机交互Verbal Commands,III口头指令2环境感知与上下文Driving Context Information,CCCHHH为了做出正确决策LLM 不仅仅接收指令还需要大量的背景信息天气与路况Weather/Traffic交通规则Traffic Rules历史数据Historical Data,HHH系统会调取之前的驾驶习惯和特定路段的处理经验。3核心推理从文本到代码Generated Codes,PPP这是该架构最核心的创新点LLM 不直接控制方向盘而是生成执行代码Generated Codes。这种方式规避了 LLM 直接输出物理值可能带来的抖动或不可解释性通过“代码”这一桥梁将逻辑推理与硬件驱动解耦。4车辆执行Actuators ECU生成的代码被发送到车辆的 ECU电子控制单元。硬件响应ECU 驱动底盘执行机构包括Throttle油门/推力控制Brake制动/刹车Gear换挡Steering转向控制5闭环反馈与长效记忆Human Feedback,FFF Memory Module反馈回路人对车辆的表现给出评价或修正Human Feedback。记忆模块这些反馈会被存入 Memory Module存储模块并回传到云端的历史数据库HHH。技术联系这本质上是一个 RLHF基于人类反馈的强化学习 或 In-Context Learning上下文学习 的过程让自动驾驶系统越开越像“你”实现个性化驾驶。根据接收到的终极目标感知到的外界状态积累记忆经验拟定计划根据计划产生行动收到新的外界状态变化后重新拟定计划更新记忆action …每次开始新对话一切都重头来过MemGPT基于 GPT 打造有记忆能力的 GPTeg 从记忆中 RAG魔法考试护身符是泥人哥雷姆放弃比赛打破瓶子哥雷姆会带你成功退赛看看哥雷姆运行的逻辑终极目标是把考生安全带出迷宫看到的是画面可以利用 Image caption 技术把画面转化为文字然后输入 LLM 中刚出来的时候记忆是空如何把文字的 action 转化为真实世界中可执行的 actionslow agent 和 fast agent将复杂的长程目标如“在我的世界中制作一把木镐”拆分为高层的逻辑规划Slow Agent和底层的具体交互动作Fast Agent。特性Slow Agent (慢代理 / 思考系统)Fast Agent (快代理 / 执行系统)角色定位决策大脑、高层规划器执行肢体、低层交互器技术基础通常为大语言模型 (LLM)RL 策略网络或Python 代码脚本处理内容符号化的抽象逻辑如导航 - 采集 - 制作具体的原子动作如转动视角、点击、放置运行频率低频仅在任务切换或环境重大变化时触发高频实时与环境交互快速响应核心目的解决“做什么”What to do的长程逻辑规划。解决“怎么做”How to do的具体执行问题。你在评估雇主伤势的情况下还有可能遭受到复制体的攻击外在的状态变了可以通过反思的方式改变自己的计划ChatGPT 给出了自己的答案保护雇主优先LLM 如何通过反思取得未来可用的经验可以参考reflexion、reAct经验会影响所采取的行动没有记忆的时候第二点是立刻急救现在第二点是保持高度的环境警觉性参考https://speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.phphttps://www.bilibili.com/video/BV18fXbY6Eis/?spm_id_from333.1387.homepage.video_card.clickvd_source8e91f8e604278558ec015e749d1a3719
