AI 现在确实很强。它能写代码、能写文案、能解释复杂概念甚至能像上一篇讲的 Agent 那样自己拆任务、调工具、跑出结果。但同时你也会有一种困惑——这么强的 AI为什么转头就忘了你刚说的话为什么给它一堆资料反而越答越乱为什么换个会话窗口它就像从来没认识你一样到底是哪里出了问题是模型不够聪明是提示词没写好还是 AI 本来就这样反复无常都不是。真正的原因藏在一个很多人没听过、但又决定了 AI 表现下限的概念里——上下文。理解了上下文你就会发现很多看起来AI 不行的时刻其实是上下文没给对。模型决定了 AI 能力的上限上下文决定了它每一次回答的下限。一、AI 不是没记性它每次只看眼前这张纸先打破一个常见误解。很多人以为 AI 像个人有记忆——你今天告诉它的事它明天还能记得。不是的。更准确的画面是这样每次你向 AI 提问它面前都摆着一张有限大小的纸。它能用来回答你的只有这张纸上写着的内容。这张纸上写了什么你这一次输入的问题这次会话里前面已经说过的话系统在背后偷偷塞进去的一些设定比如它的角色、它的规则如果接了工具或知识库工具返回的结果、检索到的资料。仅此而已。不在这张纸上的东西对它来说就不存在。你上周和它聊过的话题不在你电脑里的文件不在你公司内部的文档不在甚至同一个产品的另一个会话窗口里说过的话也不在。这张纸就是上下文。它是 AI 在这一次回答里能看到的全部世界。所以AI 忘了其实是个误解。它不是忘了而是这一次根本没看到。二、它看到的不是字而是 Token这张纸有多大很多人听过一个词叫上下文窗口比如 8K、32K、128K、200K。这些数字指的不是字数而是 Token 数。Token 是 AI 处理语言的最小单位。你可以粗略地理解成Token 是 AI 眼里的字符块。一个英文单词大致是 1 个 Token一个汉字大致是 1 到 2 个 Token一段标点、一个换行也都要算。为什么要讲这个因为这决定了两件实际的事。第一这张纸是用 Token 计价的。你贴进去的每一段资料、每一次对话历史都在消耗这张纸的容量。第二这张纸装满了就装不下了。容量到顶之后旧的内容会被挤出去。被挤出去的部分就是 AI忘掉的部分。所以你会看到一种典型场景你和 AI 聊了几十轮之后它突然开始答非所问或者反复问你你之前提到的那个 X 是什么。不是它笨了是最早那段你以为它记住了的内容已经被挤出纸面了。三、会话和上下文不是一回事讲到这里有一个特别容易混淆的地方需要说清楚会话不等于上下文。什么是会话就是你打开的这个聊天窗口、这次对话。什么是上下文就是 AI 这一次回答时那张纸上实际写着的内容。很多人以为只要在同一个会话窗口里AI 就自动记得前面说过的所有话。实际上不是。它每次回答你新一句话之前系统都会把这次会话的历史重新拼到那张纸上再交给模型。如果历史太长超出纸的容量就会被截掉。更扎心的是换一个会话窗口那张纸就是全新的白纸关掉 App 重开那张纸也可能是全新的同一个产品的不同入口比如手机端和网页端上下文经常完全不互通。你以为你在和同一个 AI聊天其实每一次它都是一个没有过去的临时存在。它的个性和风格看起来稳定是因为模型本身的训练让它在所有会话里都倾向于那种表达方式。但具体的事实、你的偏好、你给它的资料——这些只存在于当前这张纸上。理解了这一点你就不会再问AI 怎么又忘了我昨天说的而会问我这次有没有把它该看到的内容放进它的上下文里四、为什么资料越多反而越糊涂知道纸有限之后很多人的第一反应是那我就把所有资料都塞进去让它看个够。这恰恰是另一个常见错误。上下文不是越长越好而是越相关越好。道理其实很朴素。想象你请一个专家帮你判断一份合同里的风险点。如果你只递给他这份合同他会专心看这份合同但如果你顺手把过去十年的所有合同、邮件、聊天记录、甚至和合同无关的会议纪要全都塞到他面前对他说你随便看里面有用的你自己挑——他会怎么样他会被淹没。重要的细节会被次要信息稀释他的注意力会被无关内容拉走他甚至会把不同合同里的条款搞混。AI 也一样。上下文里塞的内容越多越杂模型就越容易抓不住重点把次要信息当主要信息回答被无关内容带偏你贴了一段示例代码它就开始模仿那段示例的风格哪怕和你的问题无关混淆事实把多份资料里的细节张冠李戴挤掉真正关键的部分前面真正重要的那条规则被挤出纸了。所以好的上下文不是塞得多而是塞得准。只放和当前任务有关的内容把无关的信息留在纸外。五、Agent 为什么必须做上下文管理回到上一篇我们讲的 Agent。一个 Agent 在执行任务时会经历目标、计划、工具调用、观察、修正这一整个闭环。每一步都会产生新的内容你给它的目标和指令它的中间思考它调用工具的请求工具返回的结果它对结果的解读下一步的计划。这些内容统统都要回到那张纸上。问题来了工具返回的内容动辄几千字纸很快就装满中间思考越多越容易把最初的目标挤出去几轮之后它可能已经忘了你最早说的不要改那个文件。所以一个真正可靠的 Agent工程上做的事不是让模型变聪明而是主动管理这张纸哪些资料该一直留着比如目标、约束、用户偏好哪些信息看完就可以丢比如某次工具返回里的冗余数据什么时候该把过去的对话压缩成摘要再放回纸上什么时候该主动检索外部资料补进来什么时候该意识到纸快满了我需要收尾。这件事有个专门的名字叫上下文工程Context Engineering。它比提示词工程更底层。提示词只是上下文的一部分。真正决定 AI 表现的是这张纸整体怎么被组织、被管理、被更新。六、普通人怎么用这个认知理解了上下文你和 AI 协作的方式会发生几个具体变化。第一不要指望它记得要主动给它看。如果你昨天和它聊过一个项目今天接着聊最好把昨天的关键结论简短复述一遍。别假设它知道。第二长任务里主动开新会话。一个会话聊得太久旧内容被挤出去AI 表现会变差。如果你已经聊了几十轮效果开始下滑开个新会话把当前结论整理一下重新喂进去往往比继续在旧会话里挣扎更高效。第三喂资料要少而准。需要它判断 A 文档就只贴 A 文档不要顺手把 B、C、D 都贴进去以防万一。无关资料只会稀释它的注意力。第四关键约束要重复说。你最在意的那条要求比如不要修改这个字段“所有金额都要保留两位小数”写在最前面必要时在后续提问里再提一次。AI 不会自动加粗你的偏好是你需要让它一直看见。第五别在错误的会话里硬撑。如果一个会话已经把你的指令理解偏了反复纠正往往没用——错误的上下文已经在那张纸上扎根了。直接开新会话比在旧会话里再解释一次高效得多。七、工程师真正要关心什么如果你是要做 AI 应用、Agent、工作流的工程师那么写好提示词远远不够。你真正要做的事是把上下文当成一个一等公民来设计。需要回答的几个问题上下文里有什么系统设定、用户输入、对话历史、检索结果、工具返回这些内容的优先级和顺序是怎么排的谁负责更新它是模型自己决定要不要检索还是上层编排器主动塞进去什么时候压缩、什么时候丢弃长对话怎么摘要工具返回的冗余字段怎么裁剪谁来约束它哪些内容是任何时候都不能被挤出去的硬约束比如安全策略、用户身份、租户隔离怎么审计它出了问题能不能复盘当时那张纸上到底写着什么在这套实践里回答这些问题的工程载体之一就是AGENTS.md。它不是一份说明书而是一份会被 AI 每次都读到的、稳定写在上下文里的法条。它定义了任务边界、写作口径、工具权限、验收标准模型在它的约束下执行系统负责验证和审计。换句话说Prompt 是临时的指令上下文是 AI 看到的世界AGENTS.md 是这个世界里稳定不变的那部分约束。理解上下文之后你就理解了为什么 AI 工程化不能只靠写更好的 Prompt。Prompt 解决的是这一次怎么说AGENTS.md 解决的是每一次都该看到什么。如果你想看这套思路在工程上长成什么样可以直接读我们维护的几个公开样例frameworkDDD 分层、多租户、领域事件与AGENTS.md契约结合的工程底座。gateway网关层如何把鉴权、租户上下文透传、反应式纪律显式化。agent-workflows把代码审查、质量评估、知识整理封装成可加载的 Skills 与 Agents。这些仓库本身就是上下文工程的产物——每一个AGENTS.md都在尝试把架构判断变成 AI 每次都能稳定看到的那部分上下文。八、写在最后回到最开始那个困惑AI 为什么有时候像聪明助手有时候又像失忆的同事现在你有答案了。不是它忘了是它每次只看眼前那张纸。那张纸的大小由模型决定那张纸上写什么由你和系统决定。模型决定上限上下文决定下限。这也是为什么未来真正会用 AI 的人不一定是最会写 Prompt 的人而是最懂得怎么管理这张纸的人知道什么该放上去什么不该知道什么时候该清空重来什么时候该继续知道哪些约束必须一直在哪些信息可以丢。下一篇我们会接着聊这张纸上最重要的一类内容——提示词。它不是技巧也不是咒语而是你主动写给 AI 的那部分上下文。理解了上下文再看提示词你会发现很多所谓的提示词技巧其实只是上下文工程的一个小切片。关于 ArchAIHarness这篇文章是「看懂 AI 与智能体」专栏的一部分由ArchAIHarness持续输出。ArchAIHarness 是一套面向 AI 时代软件工程的人机协同架构哲学与公开工程资产主张架构师定义秩序AI 在秩序中生长。人立法AI 执行体系审计。如果你认同这套思路欢迎到 GitHub 上跟进我们的工程样例、AI 协作工具和长期方法论沉淀组织主页https://github.com/ArchAIHarness方法论沉淀docs工程样例frameworkgatewayAI 协作工作流agent-workflowsEngineered by Architects · Empowered by AI · Audited by Discipline
AI 很强，但为什么还会“忘”？看懂上下文，你就知道怎么和它合作
发布时间：2026/7/6 14:54:21
AI 现在确实很强。它能写代码、能写文案、能解释复杂概念甚至能像上一篇讲的 Agent 那样自己拆任务、调工具、跑出结果。但同时你也会有一种困惑——这么强的 AI为什么转头就忘了你刚说的话为什么给它一堆资料反而越答越乱为什么换个会话窗口它就像从来没认识你一样到底是哪里出了问题是模型不够聪明是提示词没写好还是 AI 本来就这样反复无常都不是。真正的原因藏在一个很多人没听过、但又决定了 AI 表现下限的概念里——上下文。理解了上下文你就会发现很多看起来AI 不行的时刻其实是上下文没给对。模型决定了 AI 能力的上限上下文决定了它每一次回答的下限。一、AI 不是没记性它每次只看眼前这张纸先打破一个常见误解。很多人以为 AI 像个人有记忆——你今天告诉它的事它明天还能记得。不是的。更准确的画面是这样每次你向 AI 提问它面前都摆着一张有限大小的纸。它能用来回答你的只有这张纸上写着的内容。这张纸上写了什么你这一次输入的问题这次会话里前面已经说过的话系统在背后偷偷塞进去的一些设定比如它的角色、它的规则如果接了工具或知识库工具返回的结果、检索到的资料。仅此而已。不在这张纸上的东西对它来说就不存在。你上周和它聊过的话题不在你电脑里的文件不在你公司内部的文档不在甚至同一个产品的另一个会话窗口里说过的话也不在。这张纸就是上下文。它是 AI 在这一次回答里能看到的全部世界。所以AI 忘了其实是个误解。它不是忘了而是这一次根本没看到。二、它看到的不是字而是 Token这张纸有多大很多人听过一个词叫上下文窗口比如 8K、32K、128K、200K。这些数字指的不是字数而是 Token 数。Token 是 AI 处理语言的最小单位。你可以粗略地理解成Token 是 AI 眼里的字符块。一个英文单词大致是 1 个 Token一个汉字大致是 1 到 2 个 Token一段标点、一个换行也都要算。为什么要讲这个因为这决定了两件实际的事。第一这张纸是用 Token 计价的。你贴进去的每一段资料、每一次对话历史都在消耗这张纸的容量。第二这张纸装满了就装不下了。容量到顶之后旧的内容会被挤出去。被挤出去的部分就是 AI忘掉的部分。所以你会看到一种典型场景你和 AI 聊了几十轮之后它突然开始答非所问或者反复问你你之前提到的那个 X 是什么。不是它笨了是最早那段你以为它记住了的内容已经被挤出纸面了。三、会话和上下文不是一回事讲到这里有一个特别容易混淆的地方需要说清楚会话不等于上下文。什么是会话就是你打开的这个聊天窗口、这次对话。什么是上下文就是 AI 这一次回答时那张纸上实际写着的内容。很多人以为只要在同一个会话窗口里AI 就自动记得前面说过的所有话。实际上不是。它每次回答你新一句话之前系统都会把这次会话的历史重新拼到那张纸上再交给模型。如果历史太长超出纸的容量就会被截掉。更扎心的是换一个会话窗口那张纸就是全新的白纸关掉 App 重开那张纸也可能是全新的同一个产品的不同入口比如手机端和网页端上下文经常完全不互通。你以为你在和同一个 AI聊天其实每一次它都是一个没有过去的临时存在。它的个性和风格看起来稳定是因为模型本身的训练让它在所有会话里都倾向于那种表达方式。但具体的事实、你的偏好、你给它的资料——这些只存在于当前这张纸上。理解了这一点你就不会再问AI 怎么又忘了我昨天说的而会问我这次有没有把它该看到的内容放进它的上下文里四、为什么资料越多反而越糊涂知道纸有限之后很多人的第一反应是那我就把所有资料都塞进去让它看个够。这恰恰是另一个常见错误。上下文不是越长越好而是越相关越好。道理其实很朴素。想象你请一个专家帮你判断一份合同里的风险点。如果你只递给他这份合同他会专心看这份合同但如果你顺手把过去十年的所有合同、邮件、聊天记录、甚至和合同无关的会议纪要全都塞到他面前对他说你随便看里面有用的你自己挑——他会怎么样他会被淹没。重要的细节会被次要信息稀释他的注意力会被无关内容拉走他甚至会把不同合同里的条款搞混。AI 也一样。上下文里塞的内容越多越杂模型就越容易抓不住重点把次要信息当主要信息回答被无关内容带偏你贴了一段示例代码它就开始模仿那段示例的风格哪怕和你的问题无关混淆事实把多份资料里的细节张冠李戴挤掉真正关键的部分前面真正重要的那条规则被挤出纸了。所以好的上下文不是塞得多而是塞得准。只放和当前任务有关的内容把无关的信息留在纸外。五、Agent 为什么必须做上下文管理回到上一篇我们讲的 Agent。一个 Agent 在执行任务时会经历目标、计划、工具调用、观察、修正这一整个闭环。每一步都会产生新的内容你给它的目标和指令它的中间思考它调用工具的请求工具返回的结果它对结果的解读下一步的计划。这些内容统统都要回到那张纸上。问题来了工具返回的内容动辄几千字纸很快就装满中间思考越多越容易把最初的目标挤出去几轮之后它可能已经忘了你最早说的不要改那个文件。所以一个真正可靠的 Agent工程上做的事不是让模型变聪明而是主动管理这张纸哪些资料该一直留着比如目标、约束、用户偏好哪些信息看完就可以丢比如某次工具返回里的冗余数据什么时候该把过去的对话压缩成摘要再放回纸上什么时候该主动检索外部资料补进来什么时候该意识到纸快满了我需要收尾。这件事有个专门的名字叫上下文工程Context Engineering。它比提示词工程更底层。提示词只是上下文的一部分。真正决定 AI 表现的是这张纸整体怎么被组织、被管理、被更新。六、普通人怎么用这个认知理解了上下文你和 AI 协作的方式会发生几个具体变化。第一不要指望它记得要主动给它看。如果你昨天和它聊过一个项目今天接着聊最好把昨天的关键结论简短复述一遍。别假设它知道。第二长任务里主动开新会话。一个会话聊得太久旧内容被挤出去AI 表现会变差。如果你已经聊了几十轮效果开始下滑开个新会话把当前结论整理一下重新喂进去往往比继续在旧会话里挣扎更高效。第三喂资料要少而准。需要它判断 A 文档就只贴 A 文档不要顺手把 B、C、D 都贴进去以防万一。无关资料只会稀释它的注意力。第四关键约束要重复说。你最在意的那条要求比如不要修改这个字段“所有金额都要保留两位小数”写在最前面必要时在后续提问里再提一次。AI 不会自动加粗你的偏好是你需要让它一直看见。第五别在错误的会话里硬撑。如果一个会话已经把你的指令理解偏了反复纠正往往没用——错误的上下文已经在那张纸上扎根了。直接开新会话比在旧会话里再解释一次高效得多。七、工程师真正要关心什么如果你是要做 AI 应用、Agent、工作流的工程师那么写好提示词远远不够。你真正要做的事是把上下文当成一个一等公民来设计。需要回答的几个问题上下文里有什么系统设定、用户输入、对话历史、检索结果、工具返回这些内容的优先级和顺序是怎么排的谁负责更新它是模型自己决定要不要检索还是上层编排器主动塞进去什么时候压缩、什么时候丢弃长对话怎么摘要工具返回的冗余字段怎么裁剪谁来约束它哪些内容是任何时候都不能被挤出去的硬约束比如安全策略、用户身份、租户隔离怎么审计它出了问题能不能复盘当时那张纸上到底写着什么在这套实践里回答这些问题的工程载体之一就是AGENTS.md。它不是一份说明书而是一份会被 AI 每次都读到的、稳定写在上下文里的法条。它定义了任务边界、写作口径、工具权限、验收标准模型在它的约束下执行系统负责验证和审计。换句话说Prompt 是临时的指令上下文是 AI 看到的世界AGENTS.md 是这个世界里稳定不变的那部分约束。理解上下文之后你就理解了为什么 AI 工程化不能只靠写更好的 Prompt。Prompt 解决的是这一次怎么说AGENTS.md 解决的是每一次都该看到什么。如果你想看这套思路在工程上长成什么样可以直接读我们维护的几个公开样例frameworkDDD 分层、多租户、领域事件与AGENTS.md契约结合的工程底座。gateway网关层如何把鉴权、租户上下文透传、反应式纪律显式化。agent-workflows把代码审查、质量评估、知识整理封装成可加载的 Skills 与 Agents。这些仓库本身就是上下文工程的产物——每一个AGENTS.md都在尝试把架构判断变成 AI 每次都能稳定看到的那部分上下文。八、写在最后回到最开始那个困惑AI 为什么有时候像聪明助手有时候又像失忆的同事现在你有答案了。不是它忘了是它每次只看眼前那张纸。那张纸的大小由模型决定那张纸上写什么由你和系统决定。模型决定上限上下文决定下限。这也是为什么未来真正会用 AI 的人不一定是最会写 Prompt 的人而是最懂得怎么管理这张纸的人知道什么该放上去什么不该知道什么时候该清空重来什么时候该继续知道哪些约束必须一直在哪些信息可以丢。下一篇我们会接着聊这张纸上最重要的一类内容——提示词。它不是技巧也不是咒语而是你主动写给 AI 的那部分上下文。理解了上下文再看提示词你会发现很多所谓的提示词技巧其实只是上下文工程的一个小切片。关于 ArchAIHarness这篇文章是「看懂 AI 与智能体」专栏的一部分由ArchAIHarness持续输出。ArchAIHarness 是一套面向 AI 时代软件工程的人机协同架构哲学与公开工程资产主张架构师定义秩序AI 在秩序中生长。人立法AI 执行体系审计。如果你认同这套思路欢迎到 GitHub 上跟进我们的工程样例、AI 协作工具和长期方法论沉淀组织主页https://github.com/ArchAIHarness方法论沉淀docs工程样例frameworkgatewayAI 协作工作流agent-workflowsEngineered by Architects · Empowered by AI · Audited by Discipline
