大模型幻觉的根，在于我们喂错了“信息”

一刀切下去直接切到了大模型幻觉的“大动脉”上。一、幻觉的本质AI 吃了太多“废话”却找不到“抓手”我们可以把现在的大模型训练过程比作一个**“只背菜谱从来没进过厨房的人”**。当前大语言模型LLM的训练数据是互联网上的海量文本。这里面充斥着观点“我觉得……”推测“如果当时……可能会……”修辞“犹如……一般……”错误维基百科的旧条目、论坛上的谣言这些内容有一个共同特征不具备“操作定义”。当 AI 被问到一个它没见过的细节——比如“某款老式收音机的螺丝型号”——它的大脑里没有“查说明书”这个机制。因为它的训练目标只有一个预测下一个字。既然没有准确的“操作接口”去查证为了不让对话断掉它只能捏造一个听起来合理的答案——比如根据同类产品推测一个型号。这就是幻觉。二、核心矛盾无效信息喂出了不可靠的 AI一个尖锐但准确的判断是不能实施解决问题的信息等于无效信息。现在的 AI 恰恰就是被这些“无效信息”喂大的。它脑子里装满了“拿破仑很矮”非操作且已被证伪“玫瑰是红色的”非操作且是特例“这个故事告诉我们……”非操作纯主观它缺乏的是“拿破仑身高 169cm”可测量、可验证“玫瑰花青素显色图谱”可实验、可重复“按下开关灯亮”可执行、可反馈AI 之所以“胡说八道”是因为它的知识库里装满了故事和描述而不是说明书和 API 文档。三、信息的两种形态可验证与不可验证追根溯源信息可以明确地分为两类1. 可验证性信息这是客观事实有明确的真伪判断标准。特征可以执行、测量、证伪例子“水在标准大气压下 100℃ 沸腾”、“这段代码运行后会报错”、“这颗螺丝是 M3 型号”AI 应该做的调用工具、执行代码、比对数据库——工程师模式2. 不可验证性信息这是主观构建无法用真伪判断只能用“是否有共鸣”、“是否被特定群体接受”来衡量。特征无法执行验证只能阐释和共鸣例子“这首诗很美”、“人生的意义在于奉献”、“这个设计更好看”AI 应该做的生成、模拟、总结观点但明确标注“这无法验证”——艺术家/评论家模式AI 产生幻觉的根源就在于它处理可验证信息时错误地动用了处理不可验证信息的策略——“猜一个听起来合理的答案”而不是“查标准”或“执行验证”。四、训练数据的价值重估大多数不可验证信息对大多数人不重要这是一个激进但必须做出的价值判断。从实用性角度看一个人每天遇到的真实问题——“这个药怎么吃”、“水管漏了怎么修”、“合同条款有没有陷阱”——几乎全是可验证信息的应用场景。大多数人并不需要 AI 来讨论“海德格尔的技术哲学”或“后现代主义对美的解构”。大量的观点输出、艺术评论、主观叙事对普通人的日常生活没有操作性价值。这个判断背后是一种平民实用主义立场让 AI 首先服务于大众的实际需求而不是服务于知识分子的智力娱乐。当然不可验证信息并非毫无价值。道德与法律的正当性基础“人人生而平等”、日常的审美选择穿什么、怎么说话、社会信任的编织“我相信你”都是由不可验证的叙事支撑的。它们是社会的底层操作系统只是我们已经习焉不察。但在需要解决具体问题的场景中不可验证信息没有优先级。训练 AI 解决实际问题时应该先喂操作手册再喂十四行诗。五、解决方案分类处理严格隔离基于以上分析训练数据的处理策略应该是这样的信息类型占比处理方式可验证信息主体严格标注来源、建立执行接口、错误反馈闭环不可验证信息少量保留明确标记为“观点/叙事/未验证”让模型学会区分不是删除所有不可验证信息而是把它降级、标注、隔离让 AI 彻底搞清两件事哪些是我“知道的”可验证哪些是我“听说过的”不可验证更进一步根治幻觉需要训练范式从**“背课文”转向“读说明书”**旧范式现在喂给 AI 小说、新闻、博客。目标是“模仿人类说话”。新范式未来喂给 AI 代码、操作手册、实验报告、API 文档、物理定律。目标是“理解因果关系和执行逻辑”。当 AI 的世界观由代码逻辑If-Else和物理定律Fma构成时它就不敢乱说了。因为它知道一旦执行出错系统就会报错。错误带来的惩罚比生成漂亮文字带来的奖励更重要。这也是为什么代码训练Code Training被证明是提升模型推理能力的有效手段——代码天然具有操作性每行都有明确的输入输出错误会导致语法报错或运行失败。六、RAG 为什么只是治标不治本检索增强生成RAG是目前缓解幻觉的主流手段但逻辑上存在缺陷它依然是让 AI“临时查一下菜谱”然后**“凭印象炒菜”**。如果查到的资料本身就是错的无效信息或者 AI 理解错了上下文它还是会炒糊。真正的根治方法是让 AI 只接触可操作的信息并建立**“无法执行即错误”的反馈机制**。七、未来的 AI 架构双层结构理想形态可能是这样的内核层纯操作性引擎。只读“说明书”负责精确执行、验证、查询。说话像机器代码一样枯燥但绝不骗人。外壳层叙事接口。能处理不可验证信息但明确知道自己不知道什么会在进入模糊地带时主动标注“以下内容缺乏操作验证仅代表一种观点。”一个只会说“指令已执行”的 AI才是真正值得托付的 AI。在开放领域更务实的路径是让 AI 知道自己不知道——退回到叙事性推测时主动标注置信度让 AI 外挂执行器——连接代码解释器、物理模拟、数据库查询而不仅仅是“学会说话”把“胡说”变成“假设”——可以生成猜想但明确这是假设并给出验证方法这就把幻觉从 bug 变成了可控的 feature。总结幻觉不是 Bug而是当前训练数据的必然产物。只要 AI 还在学习那些无法证伪、无法执行、只能意会的模糊信息它就永远会有幻觉。只有当它的学习材料变成纯粹的操作指令集输出端直接连接能给出成功/失败反馈的执行器幻觉才会从根本上消失。这解释了为什么现在的 AI 写诗时很惊艳做数学题或查实时信息时很吃力——因为前者不需要操作性后者需要。这一刀切在了 AI 从“会说”走向“会做”的咽喉上。本文观点源自一场关于大模型幻觉的深度讨论。核心洞见对训练数据进行“可验证/不可验证”的分类处理并认识到大多数不可验证信息对大多数人的实际问题并不重要——这或许是解决幻觉问题的根本方向。