Agent AI学习笔记)
前言李飞飞 Agent AI survey读这篇文章想弄明白如下问题Agent AI的入门门槛需要具备哪些基础知识Agent AI能自动化到什么程度能否完全把一个较为复杂的问题交给 Agent 来解决Contents1. IntroductionbackgroundEmbodied AI用 Agent AI 解决实际问题Interactive Learning用用户的显式和隐式反馈来迭代大模型overview2. Agent AI IntegrationAgent AI当前的问题幻觉Hallucinationspretrain 的语料在某个领域的语料比较少导致模型在 inference 时出现幻觉。内在幻觉和源知识相悖外在幻觉在源知识的基础上额外添加一些不正确的信息。可以通过 rag 来缓解幻觉问题。偏见和包容性生成的内容有偏且包容性较差可以通过搜集更多的训练数据以及用户反馈来缓解偏见和包容性的问题。隐私和安全性暂时不关注。可解释性从模仿到解耦模仿一个专家的 policy 很不通用可以将一个复杂的任务转换成多个简单的子任务实现一个复杂任务到多个子任务的“解耦”。从解耦到泛化性每个子任务都比较简单生成的 policy 可以做到比较通用甚至可以 transfer 到其他任务中。从泛化性到涌现能力多个泛化的子结构组合在一起通常能够解决一些更复杂的任务。增强推理能力加数据、加 human feedback等等规范化prompt engineering3. Agent AI Paradigmnew paradigm for training Agent AILLMtask planning、reasoningVLMvisual recognition capabilityAgent transformer definitionadd agent tokens into transformer model structure, such as controller actions.过程中目标定义和实时监控非常重要。4. Agent AI Learning后续疑问是否得到解答Agent AI 的入门门槛Agent AI 的自动化程度