幻觉不是偶发 Bug：建立核验习惯

建议用时：25 分钟（含练习）

学习目标

能够区分事实、推断和建议，并为关键主张选择可追溯的一手来源。

本节产出

一张主张—证据核验表

核心知识：流畅程度不能当作证据

术语

幻觉

你让 AI 推荐一篇论文，它给出完整标题、作者、年份和看起来正规的链接。文字如此具体，很容易让人以为已经查证过。但生成式模型可以组合出符合论文格式的内容，其中某些字段可能不存在或彼此不匹配。通常把这种无依据、错误或与来源不一致的生成内容称为幻觉。不同研究对术语范围有不同划分，学习时更重要的是识别具体错误，而不是争论标签。

标题中的“不是偶发 Bug”不表示所有错误都来自模型机制。读取失败、检索错误、旧缓存、计算程序缺陷和产品界面问题同样会导致错误结果。它强调的是：不能把一次错误视为罕见意外，随后继续默认其他回答可信。对于需要事实准确的任务，应把核验作为正常流程的一部分。

生成时，模型倾向于产生在上下文中合理的内容；合理的语言形式与可核实的现实事实并不相同。训练资料可能不足或过时，用户问题可能含有错误前提，输入材料也可能彼此冲突。即使接入搜索，系统仍可能选错来源或误读限定条件。因此“有联网标志”不能替代逐项核验。

把回答拆成可检查的断言

一句“某活动去年有两千人参加，是当地规模最大的读书活动”至少包含时间、人数、比较范围和排名四个断言。你可能能找到人数证据，却找不到“最大”的可靠比较。此时应该保留有依据的部分，删除或限定没有证据的部分，而不是因为整句大致合理就整体放行。

图中的“限定”是一种合格结果。例如原文只讨论一组实验条件，就写“在该实验条件下”，而不推广到所有场景。核验不是非黑即白地判整篇文章对错，而是让每个结论的强度与证据匹配。

不要把模型自检当成独立复核

让同一个模型再检查一遍可以发现格式遗漏或明显矛盾，但它可能重复原来的错误。换一个模型也不自动构成独立证据：两个系统可能使用相似资料，或同样被错误前提影响。真正的独立性来自不同的证据与方法，例如回到原始数据、使用计算程序、打开论文正文或由掌握业务事实的人确认。

要求模型“给出引用”也不能保证引用真实。更可靠的做法是先收集可打开的原文，为材料编号，然后要求输出中的关键断言对应材料编号和段落位置。对找不到支持的内容，明确允许写“未确认”。这会降低填满答案的冲动，也使审核者知道在哪里投入精力。

案例：一条看起来完整的活动介绍

以下材料完全虚构，仅作核验练习。原始通知写着：“去年试办活动收到 120 份报名，实际到场 86 人；今年活动安排尚未确定。”AI 草稿写成：“活动去年吸引了 120 人到场，今年将在原场地继续举办，规模增长明显。”

第一处错误是把报名人数改成到场人数；第二处是把未确定安排写成已经确认；第三处“增长明显”缺少对比基准。正确修订可以是：“去年试办活动收到 120 份报名，86 人到场。今年安排尚未公布。”如果任务还要求增长率，应先询问比较哪一年度或哪一口径，不能拿报名与到场相除来冒充同比增长。

接着检查引用：即便草稿链接指向那份真实通知，也无法支持错误的到场人数。引用存在与引用支持是两项不同检查。为此，证据表应保存原文中的短定位片段或段落编号，方便他人迅速复核，而不是堆一串网页地址。

动手练习

1. 用上面的虚构通知建立断言清单，列出草稿中的每个事实与推断。
2. 为每项标注“支持、矛盾、未确认”，写明判断依据。不要让“未确认”自动等于“错误”。
3. 写一版修订稿，并另列两个需要继续核实的问题。最后让另一人仅凭证据表检查你的修订是否成立。

参考答案与推演

展开

完成检查

• 断言清单覆盖数字、时间、比较与推断，没有只检查错别字。
• 明确区分与证据矛盾和证据不足。
• 至少一次通过原始资料或独立计算完成核验。
• 最终文章中结论强度与证据一致，引用可以帮助别人定位。

参考与来源

• NIST：Generative AI Profile（AI 600-1）：了解生成式 AI 中虚构内容等风险及管理措施。
• Anthropic：Effective context engineering for AI agents：了解如何为模型提供相关、清晰的上下文。