2025_NIPS_Alleviating Hallucinations in Large Language Models through Multi-Model Contrastive Decodi

文章核心总结与翻译一、主要内容该研究针对大型语言模型（LLMs）的幻觉问题（生成与预训练语料不一致的内容），提出了多模型对比解码（MCD）策略及配套机制，具体包括：核心痛点：现有对比解码方法仅依赖单一易幻觉模型（邪恶模型）进行对比，虽能缓解幻觉，但对事实性内容的置信度不足，难以准确区分事实与幻觉token。核心框架：训练阶段：通过反向直接偏好优化（CDPO）诱导幻觉生成邪恶模型，通过直接偏好优化（DPO）增强事实性生成真实模型；推理阶段：整合预训练模型、邪恶模型和真实模型的输出概率，构建多模型对比分布，放大事实token与幻觉token的概率差距；辅助机制：引入动态幻觉检测（逐token识别潜在幻觉）和树形修正机制（多路径探索并筛选最优事实路径），进一步降低幻觉。实验验证：在TruthfulQA、FActScore、FACTOR（News/Expert/Wiki）三大基准测试中，MCD在开放式生成、多项选择、长文本生成等任务上均优于现有对比解码（CD、DoLa等）和表征编辑（CCS、ITI等）方法，显著提升模型输出的事实准确性。二、创新点提出多模型对比解码（MCD）：首次整合邪恶模型（诱导幻觉）和真实模型（强化事实）进行对比，解决了单一对比模型置信度不足的问题，提升事实token的置