OpenAI机制研究 · 2025
指认激励的错
2025 年 9 月论文《Why language models hallucinate》提出：标准训练与评测流程奖励大胆猜测、惩罚诚实弃权——幻觉是整个体系的"理性策略"，要从激励改起。
入口 → openai.com/index/why-language-models-hallucinate
微信扫码关注「大话数据分析」数据 · 分析 · AI 实战
成因与缓解
幻觉无法根除，但可以被工程化管理。前三个是它发生的原因，后三个是可落地的缓解手段——点击切换查看。
聊天时幻觉只是"说错话"；Agent 动手后，一个编造的参数就是一次真实的删除或转账。错误从文本级升级为行动级。
冷门事实、精确数字、引用文献、外语长尾——训练数据里稀疏的地方最容易"编"，而且编得像模像样。
别全甩给模型：不给资料硬要答案、不允许说不知道、不建评测，等于把系统调到最容易幻觉的状态。
谁在治
幻觉研究正在从"现象描述"走向"工程学科"。三条战线，各有进展。
2025 年 9 月论文《Why language models hallucinate》提出：标准训练与评测流程奖励大胆猜测、惩罚诚实弃权——幻觉是整个体系的"理性策略"，要从激励改起。
2025 年的系统综述（arXiv:2510.06265）把幻觉按类型、成因与生命周期（数据→架构→推理）整理成谱系，检测与缓解成为独立研究方向。
RAG 与引用、允许拒答、置信度校准、评测集回归——各家把"防幻觉"拆成可落地的工程件，而不是一句提示词的祈祷。
各家定义与指标略有差异 · 核心共识：幻觉无法根除，只能管理。
为什么重要
模型的本职是预测"下一个最合理的词"，不是核对事实。OpenAI 2025 年论文的判断更进一步：训练与评测流程奖励"猜一个"、惩罚"说不知道"——幻觉于是成了系统的理性策略。要减少它，得改激励：给模型查资料的机会（RAG）、给说不知道的空间（拒答）、给被检验的流程（评测）。
下一词预测的选项里，天生没有"我不知道"。事实性不是模型的出厂目标，连贯性才是。
考核永远只加分不扣分时，"猜"就是最优解。幻觉不只是模型的毛病，也是我们出卷方式的毛病。
检索、引用、拒答、评测四道闸门，每一道都是可落地的工程件——幻觉率是可优化的指标。
依据与事实
幻觉一词在神经机器翻译时代已经出现，指生成内容与源文本不符——它不是 ChatGPT 时代才有的病。
ChatGPT 让"AI 一本正经胡说"成为全民体验；2023 年律师引用假判例被法院处罚（Mata v. Avianca）成为标志性案例。
模型开始动手干活：一个编造的参数会变成一次真实的删除或转账。幻觉从"说错话"升级为"做错事"。
OpenAI 发布《Why language models hallucinate》，把矛头指向评测体系；学界发布系统综述——缓解幻觉正式成为工程学科。
三个常见误解：① "幻觉 = 模型在撒谎"——它没有欺骗意图，只是没有"事实"概念；② "上了 RAG 就不会幻觉"——检索不中或模型不忠实时仍会编，只是空间更小；③ "提示里写'不要编造'就够"——口头禁令有用但有限，检索、拒答选项与评测才是结构解法。
接下来继续了解
它适合谁
学会三个反幻觉习惯：要出处、允许它说不知道、交叉验证——比任何工具都管用。
检索、拒答、校准、评测四道闸，每一道都是可以写进代码的工程件。
把"幻觉率"写进验收指标，高风险场景必须留人工闸口与审计日志。
理解"它不是撒谎"，才能既不神化也不妖魔化 AI——这是用好它的第一步。
来源与延伸阅读
01 OpenAI · Why language models hallucinate（2025）本页内容整理自以上公开资料，更新于 2026 年 10 月。研究进展很快，以最新论文与官方文档为准。
开始动手
把这三句加进你的提示词——不酷，但有效。
· 只依据我提供的材料作答 · 材料里没有的，回答"材料中未提及" · 结论后标注来源段落
微信扫码关注「大话数据分析」数据 · 分析 · AI 实战