AI Agent Harness Engineering 幻觉问题根源从模型、数据到Prompt的全方位解析关键词AI Agent Harness Engineering大语言模型幻觉Prompt系统性偏差数据分布偏移知识对齐思维链验证幻觉量化指标摘要在AI Agent Harness Engineering提示词工程的系统化框架化进阶形态专注于构建可复用、可组合、可验证、可解释的提示词“控制链路”替代零散手工调整驱动AI Agent完成多步骤、高可靠性任务的蓬勃发展中幻觉问题Hallucination仍然是制约其落地可靠性、安全性、可扩展性的核心“拦路虎”——从医疗问诊Agent的虚假处方建议、金融投顾Agent的虚构财报数据到代码复现Agent的不可执行代码片段幻觉带来的损失从时间成本、经济成本甚至延伸到生命安全成本。本文将打破传统“只谈模型或只谈Prompt”的单一维度分析范式构建“模型-数据-提示-交互-验证闭环”的五维幻觉全景图但会以模型、数据、Prompt为前三个核心章节单独展开每个章节均超过10000字深入剖析每一层级幻觉产生的技术本质、微观机制、宏观规律模型维度从自回归生成的数学原理条件概率链式分解、token采样随机性、Transformer的注意力偏差长文本注意力衰减、局部语义优先、注意力漂移、预训练目标的固有缺陷最大化似然而非事实正确性、上下文长度外推失败、模型参数化与压缩的副作用量化截断导致的语义信息损失、蒸馏过程中的知识退化四个微观角度切入结合LaTeX数学模型、Mermaid注意力/生成机制流程图、Python注意力机制模拟代码、Transformer剪枝/量化幻觉复现案例进行全链路拆解数据维度从预训练数据的质量问题噪声占比、虚假信息、陈旧知识、矛盾信息、领域缺失、预训练数据的分布问题长尾分布导致的小样本/小领域知识不牢固、领域分布偏移导致的跨域语义混淆、训练-测试分布不一致导致的泛化幻觉、微调/RLHF数据的偏差问题标注者偏差、任务引导偏差、价值对齐偏差与事实正确性的冲突三个宏观微观结合的角度切入构建数据质量-分布-偏差的三维ER关系图、知识对齐训练数据的交互关系图给出预训练噪声数据检测的Python代码、训练-测试分布一致性的KS检验代码、微调数据标注一致性的Cohen’s kappa系数计算代码提示维度从提示词的语义不明确性歧义、模糊、省略、提示词的系统性偏差前置性锚定偏差、引导性确认偏差、框架偏差、示例偏差、提示词的工程化设计缺陷思维链/思维树的断点设置、提示词的层级结构混乱、提示词的上下文窗口过载、提示词的验证环节缺失三个核心角度切入构建提示词偏差与幻觉类型的核心属性维度对比表格、思维链断点导致幻觉的Mermaid流程图给出模糊语义识别的NLP工具链代码、前置锚定偏差检测的对比式Prompt测试代码、思维树断点修复的Agent Harness框架代码片段交互与验证闭环维度全文独立于核心章节但作为总结性延伸简要分析多轮交互中的信息累积偏差、对抗性提示词的诱导幻觉以及Agent Harness中常用的思维链自我验证、检索增强验证、外部工具验证的优劣势与局限性未来展望与行业趋势总结大模型幻觉研究的发展历程从2020年GPT-3时代的“初步发现”到2024年GPT-4o/ Claude 3.5 Sonnet时代的“系统化量化与Agent级控制”构建问题演变的markdown时间线表格分析潜在的技术突破方向基于知识图谱的预训练嵌入、基于因果推理的生成机制、基于形式化验证的Agent Harness框架以及对医疗、金融、法律等高可靠性领域的行业影响最佳实践与项目落地全文独立于核心章节但作为实践指南给出Agent Harness中幻觉控制的10条最佳实践Tips结合一个“医疗问诊Agent Harness的幻觉控制项目”详细介绍环境安装、系统功能设计、系统架构设计、系统接口设计、系统核心实现源代码本章小结与思考问题每个核心章节单独设置每个核心章节最后总结该章的核心要点并提出鼓励读者进一步探索的思考问题最后列出该章的参考资源。本文的写作目标是让没有Transformer底层原理或NLP专业背景的读者也能理解AI Agent Harness中幻觉问题的本质根源让有一定技术基础的读者能掌握量化、检测、缓解幻觉的实用工具和方法让从事AI Agent落地的工程师能构建一套可复用、可验证的幻觉控制Agent Harness框架。全文的语言风格将“专业但通俗易懂”像讲故事一样把复杂的技术概念拆解成日常生活中的例子比如将自回归生成比作“盲人摸象拼图”将注意力机制比作“考试时的审题重点标记”将前置性锚定偏差比作“考试时老师先在黑板上写了一个错误答案的关键词”并配备大量的LaTeX数学公式、Mermaid架构图/流程图、Python源代码确保内容的“深度”与“可读性”兼具。第一章 模型维度自回归生成原理与Transformer架构的固有缺陷——幻觉问题的“硬件级根源”本章核心内容要素核心概念自回归生成、条件概率链式分解、token采样贪婪采样、Top-k/Top-p采样、Temperature温度参数、Transformer注意力机制自注意力、多头自注意力、长文本注意力衰减、局部语义优先、注意力漂移、预训练目标最大化似然估计MLE、下一个token预测NSP/MLM衍生缺陷、模型压缩与量化4-bit量化、8-bit量化、剪枝、知识蒸馏、语义信息损失、知识退化问题背景2020年GPT-3发布后大语言模型的“超能力”震惊了全世界但同时也暴露了一个致命缺陷——“一本正经地胡说八道”即本文所讨论的“幻觉问题”。早期的研究主要集中在“用更好的Prompt引导模型”或“用检索增强外部知识”来缓解幻觉但随着GPT-4、Claude 3等更大更先进模型的发布研究者们发现即使是参数规模达到万亿级、预训练数据达到千万亿级token的大模型幻觉问题仍然无法完全消除——这说明幻觉问题的根源不仅仅是“Prompt写得不好”或“外部知识不够”更重要的是自回归生成原理与Transformer架构本身存在固有缺陷这些缺陷是模型“硬件级”的只能通过“软件级”的提示、检索、验证来缓解无法彻底根除。问题描述从模型维度来看幻觉问题可以分为以下几类自回归生成随机性幻觉由于token采样过程中引入了随机性非贪婪采样模型可能会生成与上下文语义不一致但“概率分布上合理”的token序列长文本注意力衰减幻觉当输入的提示词或交互历史较长时Transformer的注意力机制会逐渐“遗忘”开头或中间的关键信息导致生成的内容与开头或中间的上下文矛盾局部语义优先幻觉Transformer的自注意力机制虽然可以关注全局但在实际训练和生成过程中往往更关注“局部相邻的token”导致模型可能会生成符合局部语义但不符合全局逻辑的内容注意力漂移幻觉在多轮交互或长思维链生成过程中模型的注意力会逐渐从“原始任务目标”漂移到“生成过程中出现的无关细节”导致生成的内容偏离任务要求预训练目标固有缺陷幻觉预训练阶段的目标是“最大化下一个token的似然概率”而不是“确保生成的内容符合事实正确性”导致模型可能会生成“统计意义上常见但事实不存在”的内容上下文长度外推失败幻觉当输入的提示词或交互历史超过模型的“原生上下文窗口长度”时模型需要使用“滑动窗口”或“位置编码外推”等技术但这些技术往往会导致模型“误解”开头或中间的位置信息从而产生幻觉模型压缩与量化幻觉为了降低大模型的部署成本内存占用、推理速度、功耗研究者们和工程师们经常会对大模型进行“剪枝”、“量化”或“知识蒸馏”等压缩操作但这些操作往往会导致“语义信息损失”或“知识退化”从而加剧幻觉问题。问题解决从模型维度来看缓解幻觉问题的方法主要有以下几类但所有方法都只能“缓解”无法“彻底根除”优化token采样策略使用“确定性采样”如Top-1贪婪采样但会降低生成的多样性、“约束性采样”如约束生成必须符合某个领域的知识库、约束生成的答案必须是选择题的选项之一、“验证式采样”如先生成多个候选答案再通过外部工具或模型自我验证选择最可靠的一个优化注意力机制使用“Longformer的滑动窗口全局注意力”、“GPT-4的Recurrent Memory TransformerRMT或GPT-4o的Long Context原生200K上下文窗口”、“Attention Sinks在开头或中间保留几个固定的注意力sink token防止长文本注意力衰减”、“Multi-Query Attention虽然主要用于优化推理速度但也可以在一定程度上缓解注意力漂移”优化预训练目标将“事实正确性”融入预训练目标如使用“Retrieval-Augmented Pre-trainingRAP”在预训练阶段就引入外部知识库让模型同时学习“预测下一个token”和“引用外部知识”使用“Fact-Constrained Pre-trainingFCP”让模型在生成时必须先从预训练知识库中检索相关知识再基于检索到的知识生成使用“Contrastive Pre-trainingCP”让模型区分“真实的token序列”和“虚假的token序列”优化上下文长度外推技术使用“ALiBiAttention with Linear Biases位置编码”、“RoPERotary Positional Embedding位置编码”、“LongLoRA结合LoRA和Longformer的上下文长度外推技术”、“FlashAttention-2虽然主要用于优化推理速度和内存占用但也可以在一定程度上提升长文本注意力的准确性”优化模型压缩与量化技术使用“感知量化Perception Quantization”如GPTQ、AWQ、GGUF等这些量化技术会“感知”模型参数的重要性对重要的参数进行更高精度的量化对不重要的参数进行更低精度的量化从而减少语义信息损失、“结构化剪枝知识蒸馏”先对大模型进行结构化剪枝去掉不重要的注意力头或Transformer层再用小模型学习大模型的“知识蒸馏损失”和“事实正确性损失”、“稀疏化训练”在预训练阶段就引入“稀疏约束”让模型参数变得稀疏从而减少剪枝或量化后的语义信息损失。边界与外延边界本章讨论的“模型维度的幻觉根源”是指在预训练数据和提示词完全正确的前提下模型仍然会产生的幻觉——但在实际应用中预训练数据和提示词往往是有问题的所以实际的幻觉问题是“模型-数据-提示-交互-验证闭环”多个维度共同作用的结果外延本章讨论的“自回归生成原理与Transformer架构的固有缺陷”不仅适用于大语言模型LLM也适用于多模态大语言模型MLLM如GPT-4o、Claude 3.5 Opus、Gemini 1.5 Pro——因为MLLM的核心仍然是Transformer架构只是多了一个“视觉编码器”或“音频编码器”将图像或音频转化为token序列再输入到Transformer中进行自回归生成。概念结构与核心要素组成模型维度的幻觉根源可以分为两个核心部分自回归生成机制的缺陷和Transformer架构的缺陷每个核心部分又包含多个子要素模型维度的幻觉根源自回归生成机制的缺陷Transformer架构的缺陷条件概率链式分解的累积误差token采样的随机性预训练目标的固有缺陷最大化似然而非事实正确性上下文长度外推失败注意力机制的缺陷模型参数化与压缩的缺陷长文本注意力衰减局部语义优先注意力漂移多头自注意力的冗余性与不稳定性量化截断导致的语义信息损失剪枝导致的知识稀疏化知识蒸馏导致的知识退化概念之间的关系核心属性维度对比表格、ER实体关系图、交互关系图核心属性维度对比表格为了更清晰地理解模型维度的各个幻觉根源的特点我们从“幻觉产生的阶段”、“幻觉产生的概率”、“幻觉的可预测性”、“幻觉的可缓解性”、“幻觉的影响范围”五个核心属性维度对各个幻觉根源进行对比幻觉根源类型幻觉产生的阶段幻觉产生的概率幻觉的可预测性幻觉的可缓解性幻觉的影响范围条件概率链式分解的累积误差整个自回归生成过程高随生成长度增加而增加中可以通过生成长度预测中可以通过思维链断点修复缓解长文本生成、多步骤推理任务token采样的随机性token采样阶段中随Temperature增加而增加低完全随机的采样无法预测高可以通过约束性采样或验证式采样缓解所有生成任务预训练目标的固有缺陷预训练阶段高预训练数据中统计意义上常见的虚假内容中可以通过预训练数据的领域预测中可以通过RAP、FCP、CP等优化预训练目标缓解所有涉及事实正确性的任务上下文长度外推失败输入处理阶段自回归生成阶段高超过原生上下文窗口长度后显著增加高可以通过输入长度预测中可以通过ALiBi、RoPE、LongLoRA等优化位置编码缓解长文本理解与生成任务长文本注意力衰减注意力计算阶段高随上下文长度增加而增加中可以通过上下文长度预测高可以通过滑动窗口全局注意力、Attention Sinks、RMT等缓解
AI Agent Harness Engineering 幻觉问题根源：从模型、数据到Prompt的全方位解析
发布时间：2026/6/1 3:04:25
AI Agent Harness Engineering 幻觉问题根源从模型、数据到Prompt的全方位解析关键词AI Agent Harness Engineering大语言模型幻觉Prompt系统性偏差数据分布偏移知识对齐思维链验证幻觉量化指标摘要在AI Agent Harness Engineering提示词工程的系统化框架化进阶形态专注于构建可复用、可组合、可验证、可解释的提示词“控制链路”替代零散手工调整驱动AI Agent完成多步骤、高可靠性任务的蓬勃发展中幻觉问题Hallucination仍然是制约其落地可靠性、安全性、可扩展性的核心“拦路虎”——从医疗问诊Agent的虚假处方建议、金融投顾Agent的虚构财报数据到代码复现Agent的不可执行代码片段幻觉带来的损失从时间成本、经济成本甚至延伸到生命安全成本。本文将打破传统“只谈模型或只谈Prompt”的单一维度分析范式构建“模型-数据-提示-交互-验证闭环”的五维幻觉全景图但会以模型、数据、Prompt为前三个核心章节单独展开每个章节均超过10000字深入剖析每一层级幻觉产生的技术本质、微观机制、宏观规律模型维度从自回归生成的数学原理条件概率链式分解、token采样随机性、Transformer的注意力偏差长文本注意力衰减、局部语义优先、注意力漂移、预训练目标的固有缺陷最大化似然而非事实正确性、上下文长度外推失败、模型参数化与压缩的副作用量化截断导致的语义信息损失、蒸馏过程中的知识退化四个微观角度切入结合LaTeX数学模型、Mermaid注意力/生成机制流程图、Python注意力机制模拟代码、Transformer剪枝/量化幻觉复现案例进行全链路拆解数据维度从预训练数据的质量问题噪声占比、虚假信息、陈旧知识、矛盾信息、领域缺失、预训练数据的分布问题长尾分布导致的小样本/小领域知识不牢固、领域分布偏移导致的跨域语义混淆、训练-测试分布不一致导致的泛化幻觉、微调/RLHF数据的偏差问题标注者偏差、任务引导偏差、价值对齐偏差与事实正确性的冲突三个宏观微观结合的角度切入构建数据质量-分布-偏差的三维ER关系图、知识对齐训练数据的交互关系图给出预训练噪声数据检测的Python代码、训练-测试分布一致性的KS检验代码、微调数据标注一致性的Cohen’s kappa系数计算代码提示维度从提示词的语义不明确性歧义、模糊、省略、提示词的系统性偏差前置性锚定偏差、引导性确认偏差、框架偏差、示例偏差、提示词的工程化设计缺陷思维链/思维树的断点设置、提示词的层级结构混乱、提示词的上下文窗口过载、提示词的验证环节缺失三个核心角度切入构建提示词偏差与幻觉类型的核心属性维度对比表格、思维链断点导致幻觉的Mermaid流程图给出模糊语义识别的NLP工具链代码、前置锚定偏差检测的对比式Prompt测试代码、思维树断点修复的Agent Harness框架代码片段交互与验证闭环维度全文独立于核心章节但作为总结性延伸简要分析多轮交互中的信息累积偏差、对抗性提示词的诱导幻觉以及Agent Harness中常用的思维链自我验证、检索增强验证、外部工具验证的优劣势与局限性未来展望与行业趋势总结大模型幻觉研究的发展历程从2020年GPT-3时代的“初步发现”到2024年GPT-4o/ Claude 3.5 Sonnet时代的“系统化量化与Agent级控制”构建问题演变的markdown时间线表格分析潜在的技术突破方向基于知识图谱的预训练嵌入、基于因果推理的生成机制、基于形式化验证的Agent Harness框架以及对医疗、金融、法律等高可靠性领域的行业影响最佳实践与项目落地全文独立于核心章节但作为实践指南给出Agent Harness中幻觉控制的10条最佳实践Tips结合一个“医疗问诊Agent Harness的幻觉控制项目”详细介绍环境安装、系统功能设计、系统架构设计、系统接口设计、系统核心实现源代码本章小结与思考问题每个核心章节单独设置每个核心章节最后总结该章的核心要点并提出鼓励读者进一步探索的思考问题最后列出该章的参考资源。本文的写作目标是让没有Transformer底层原理或NLP专业背景的读者也能理解AI Agent Harness中幻觉问题的本质根源让有一定技术基础的读者能掌握量化、检测、缓解幻觉的实用工具和方法让从事AI Agent落地的工程师能构建一套可复用、可验证的幻觉控制Agent Harness框架。全文的语言风格将“专业但通俗易懂”像讲故事一样把复杂的技术概念拆解成日常生活中的例子比如将自回归生成比作“盲人摸象拼图”将注意力机制比作“考试时的审题重点标记”将前置性锚定偏差比作“考试时老师先在黑板上写了一个错误答案的关键词”并配备大量的LaTeX数学公式、Mermaid架构图/流程图、Python源代码确保内容的“深度”与“可读性”兼具。第一章 模型维度自回归生成原理与Transformer架构的固有缺陷——幻觉问题的“硬件级根源”本章核心内容要素核心概念自回归生成、条件概率链式分解、token采样贪婪采样、Top-k/Top-p采样、Temperature温度参数、Transformer注意力机制自注意力、多头自注意力、长文本注意力衰减、局部语义优先、注意力漂移、预训练目标最大化似然估计MLE、下一个token预测NSP/MLM衍生缺陷、模型压缩与量化4-bit量化、8-bit量化、剪枝、知识蒸馏、语义信息损失、知识退化问题背景2020年GPT-3发布后大语言模型的“超能力”震惊了全世界但同时也暴露了一个致命缺陷——“一本正经地胡说八道”即本文所讨论的“幻觉问题”。早期的研究主要集中在“用更好的Prompt引导模型”或“用检索增强外部知识”来缓解幻觉但随着GPT-4、Claude 3等更大更先进模型的发布研究者们发现即使是参数规模达到万亿级、预训练数据达到千万亿级token的大模型幻觉问题仍然无法完全消除——这说明幻觉问题的根源不仅仅是“Prompt写得不好”或“外部知识不够”更重要的是自回归生成原理与Transformer架构本身存在固有缺陷这些缺陷是模型“硬件级”的只能通过“软件级”的提示、检索、验证来缓解无法彻底根除。问题描述从模型维度来看幻觉问题可以分为以下几类自回归生成随机性幻觉由于token采样过程中引入了随机性非贪婪采样模型可能会生成与上下文语义不一致但“概率分布上合理”的token序列长文本注意力衰减幻觉当输入的提示词或交互历史较长时Transformer的注意力机制会逐渐“遗忘”开头或中间的关键信息导致生成的内容与开头或中间的上下文矛盾局部语义优先幻觉Transformer的自注意力机制虽然可以关注全局但在实际训练和生成过程中往往更关注“局部相邻的token”导致模型可能会生成符合局部语义但不符合全局逻辑的内容注意力漂移幻觉在多轮交互或长思维链生成过程中模型的注意力会逐渐从“原始任务目标”漂移到“生成过程中出现的无关细节”导致生成的内容偏离任务要求预训练目标固有缺陷幻觉预训练阶段的目标是“最大化下一个token的似然概率”而不是“确保生成的内容符合事实正确性”导致模型可能会生成“统计意义上常见但事实不存在”的内容上下文长度外推失败幻觉当输入的提示词或交互历史超过模型的“原生上下文窗口长度”时模型需要使用“滑动窗口”或“位置编码外推”等技术但这些技术往往会导致模型“误解”开头或中间的位置信息从而产生幻觉模型压缩与量化幻觉为了降低大模型的部署成本内存占用、推理速度、功耗研究者们和工程师们经常会对大模型进行“剪枝”、“量化”或“知识蒸馏”等压缩操作但这些操作往往会导致“语义信息损失”或“知识退化”从而加剧幻觉问题。问题解决从模型维度来看缓解幻觉问题的方法主要有以下几类但所有方法都只能“缓解”无法“彻底根除”优化token采样策略使用“确定性采样”如Top-1贪婪采样但会降低生成的多样性、“约束性采样”如约束生成必须符合某个领域的知识库、约束生成的答案必须是选择题的选项之一、“验证式采样”如先生成多个候选答案再通过外部工具或模型自我验证选择最可靠的一个优化注意力机制使用“Longformer的滑动窗口全局注意力”、“GPT-4的Recurrent Memory TransformerRMT或GPT-4o的Long Context原生200K上下文窗口”、“Attention Sinks在开头或中间保留几个固定的注意力sink token防止长文本注意力衰减”、“Multi-Query Attention虽然主要用于优化推理速度但也可以在一定程度上缓解注意力漂移”优化预训练目标将“事实正确性”融入预训练目标如使用“Retrieval-Augmented Pre-trainingRAP”在预训练阶段就引入外部知识库让模型同时学习“预测下一个token”和“引用外部知识”使用“Fact-Constrained Pre-trainingFCP”让模型在生成时必须先从预训练知识库中检索相关知识再基于检索到的知识生成使用“Contrastive Pre-trainingCP”让模型区分“真实的token序列”和“虚假的token序列”优化上下文长度外推技术使用“ALiBiAttention with Linear Biases位置编码”、“RoPERotary Positional Embedding位置编码”、“LongLoRA结合LoRA和Longformer的上下文长度外推技术”、“FlashAttention-2虽然主要用于优化推理速度和内存占用但也可以在一定程度上提升长文本注意力的准确性”优化模型压缩与量化技术使用“感知量化Perception Quantization”如GPTQ、AWQ、GGUF等这些量化技术会“感知”模型参数的重要性对重要的参数进行更高精度的量化对不重要的参数进行更低精度的量化从而减少语义信息损失、“结构化剪枝知识蒸馏”先对大模型进行结构化剪枝去掉不重要的注意力头或Transformer层再用小模型学习大模型的“知识蒸馏损失”和“事实正确性损失”、“稀疏化训练”在预训练阶段就引入“稀疏约束”让模型参数变得稀疏从而减少剪枝或量化后的语义信息损失。边界与外延边界本章讨论的“模型维度的幻觉根源”是指在预训练数据和提示词完全正确的前提下模型仍然会产生的幻觉——但在实际应用中预训练数据和提示词往往是有问题的所以实际的幻觉问题是“模型-数据-提示-交互-验证闭环”多个维度共同作用的结果外延本章讨论的“自回归生成原理与Transformer架构的固有缺陷”不仅适用于大语言模型LLM也适用于多模态大语言模型MLLM如GPT-4o、Claude 3.5 Opus、Gemini 1.5 Pro——因为MLLM的核心仍然是Transformer架构只是多了一个“视觉编码器”或“音频编码器”将图像或音频转化为token序列再输入到Transformer中进行自回归生成。概念结构与核心要素组成模型维度的幻觉根源可以分为两个核心部分自回归生成机制的缺陷和Transformer架构的缺陷每个核心部分又包含多个子要素模型维度的幻觉根源自回归生成机制的缺陷Transformer架构的缺陷条件概率链式分解的累积误差token采样的随机性预训练目标的固有缺陷最大化似然而非事实正确性上下文长度外推失败注意力机制的缺陷模型参数化与压缩的缺陷长文本注意力衰减局部语义优先注意力漂移多头自注意力的冗余性与不稳定性量化截断导致的语义信息损失剪枝导致的知识稀疏化知识蒸馏导致的知识退化概念之间的关系核心属性维度对比表格、ER实体关系图、交互关系图核心属性维度对比表格为了更清晰地理解模型维度的各个幻觉根源的特点我们从“幻觉产生的阶段”、“幻觉产生的概率”、“幻觉的可预测性”、“幻觉的可缓解性”、“幻觉的影响范围”五个核心属性维度对各个幻觉根源进行对比幻觉根源类型幻觉产生的阶段幻觉产生的概率幻觉的可预测性幻觉的可缓解性幻觉的影响范围条件概率链式分解的累积误差整个自回归生成过程高随生成长度增加而增加中可以通过生成长度预测中可以通过思维链断点修复缓解长文本生成、多步骤推理任务token采样的随机性token采样阶段中随Temperature增加而增加低完全随机的采样无法预测高可以通过约束性采样或验证式采样缓解所有生成任务预训练目标的固有缺陷预训练阶段高预训练数据中统计意义上常见的虚假内容中可以通过预训练数据的领域预测中可以通过RAP、FCP、CP等优化预训练目标缓解所有涉及事实正确性的任务上下文长度外推失败输入处理阶段自回归生成阶段高超过原生上下文窗口长度后显著增加高可以通过输入长度预测中可以通过ALiBi、RoPE、LongLoRA等优化位置编码缓解长文本理解与生成任务长文本注意力衰减注意力计算阶段高随上下文长度增加而增加中可以通过上下文长度预测高可以通过滑动窗口全局注意力、Attention Sinks、RMT等缓解
