Skip to content

06 · 幻觉怎么治:生成前、生成中、生成后三道关 ​

学完你能说出:

  • 幻觉的根源,以及为什么只能降低、不能根除。
  • 沿「生成」的流程分三道关:生成前给对资料、生成中管住输出、生成后做校验,每关的具体做法;最后用测试集评估。
  • 温度、Top-p、do_sample 各管什么,以及「温度的局限」。

先看地图 ​

「大模型幻觉怎么优化」是 AI 应用岗的高频题,很多人只答出「用 RAG」「改 prompt」两点就停了。这一篇用流程走查法把它答全。本篇讲 4 个点:

① 幻觉从哪来 → ② 三道关(每关 3 个做法)→ ③ 采样参数和它的局限 → ④ 怎么评估

一句话本质 ​

模型追求生成得像而不是生成得对,所以幻觉只能降低、不能根除:生成前给对资料,生成中管住输出,生成后做校验,再用测试集持续评估。

生活类比 ​

让一个口才很好、但记性一般的实习生写对外通知:

  • 生成前:把准确的资料打印好给他,数字直接从系统里导出,不让他凭记忆写;
  • 生成中:规定「只能写资料里有的,不知道就写『待确认』,每条注明出处」;
  • 生成后:发出去之前,主管按清单核对一遍,不合格就换成标准模板,或者自己改。

一步步看 ​

1. 幻觉从哪来 ​

原因例子
训练目标是「预测最可能的下一个词」,优化的是像不像问一本不存在的书的作者,它会接出一个「像作者名」的名字
不知道私有数据、知识有截止时间问公司最新的报销标准,它只能猜
资料给了,但没用好资料写「5 天」,回答写「7 天」
数字和计算不可靠让它把 30 个数相加,结果差了一点

2. 三道关 ​

← 左右滑动看完整图 →① 生成前:给对资料RAG 检索真实资料知识库清洗、去重、更新数字交给 SQL / 工具算② 生成中:管住输出只依据资料、没有就说不知道要求标出处低温度、结构化输出③ 生成后:做校验规则校验(长度、禁用词)引用核对、另一个模型检查不通过 → 降级 / 转人工④ 持续评估:测试问题集 → 忠实度、引用准确率、「不知道」的比例根源:模型追求「生成得像」而不是「生成得对」,所以每一关都只能降低、不能根除
大模型幻觉沿着「生成」的流程分三道关来治:生成前给对资料,生成中管住输出,生成后做校验;最后用测试集持续评估。只能降低,不能根除。

第一关:生成前,给对资料

做法说明
RAG 检索真实资料回答前先查,把相关资料放进提示词,见 RAG 是什么
保证资料本身是对的知识库要清洗、去重、及时更新、记录来源和版本;旧版本制度不下线,模型就会照着旧的答
保证检索质量混合检索 + 重排,检索没命中,后面怎么调都没用,见 检索与重排
数字类问题不让模型算「上月销售额多少」交给 SQL 查,「这 30 项加起来多少」交给计算工具;模型只负责组织语言

第二关:生成中,管住输出

做法说明
提示词约束「只依据下面的资料回答;资料里没有就回答『资料中没有相关信息』;每句话后标注来源编号」
调低随机性问答、抽取类任务用低温度(如 0–0.3)
结构化输出要求输出 JSON,字段固定(答案、引用编号、置信度),方便后面校验
拆小任务一次只让它做一件事(先抽取事实、再组织语言),比一步到位更少出错

第三关:生成后,做校验

做法说明
规则校验长度、格式、禁用词(如「保证」「一定」这类承诺词)、数字是否和数据库一致
引用核对检查回答里引用的编号是否真实存在,引用的那段资料里是否真有这句话
另一个模型检查让另一个模型判断「这个回答是否都能在资料里找到依据」
不通过就降级换成固定模板、回答「暂时无法回答」,或者转人工审核

一个降级的例子:自动生成的日报里,事实(日期、数字、名称)由程序从核验过的清单直接填入,模型只写一句开场白;开场白再用规则检查长度和推测、承诺类词语,不合格就换成固定模板。模型能出错的范围被压到了最小。

3. 采样参数和「温度的局限」 ​

参数管什么例子
temperature 温度把概率分布压尖(低温)或摊平(高温)0.2:几乎总选概率最高的词;1.2:冷门词也有机会
top_p只在累计概率达到 p 的候选里选p = 0.8:砍掉长尾里离谱的选项
do_sample是否随机采样(Hugging Face 等框架的参数)False:贪心解码,每次都选最高的,结果固定

细节见 Prompt 与采样参数。

温度的局限:低温只能减少「随机选到冷门词」造成的错误。如果模型本身就把错误答案排在第一位(它「记错了」),低温只会让它每次都稳定地答错。所以调温度只是第二关里的一个小手段,不能代替给资料和做校验。

4. 怎么评估 ​

  • 准备一套测试问题(包括资料里没有答案的问题),看:
    • 忠实度:回答里的说法是否都有资料依据;
    • 引用准确率:标的出处是否真的支持这句话;
    • 拒答是否得当:资料里没有时,是否回答「没有相关信息」,而不是编一个。
  • 改动前后用同一套题对比,见 评估与常见坑。

为什么这么设计 ​

为什么说幻觉只能降低、不能根除? ​

  • 问题:生成模型的本质就是按概率接龙,「说得像」和「说得对」不是一回事,模型内部没有一个可以查证的事实库。
  • 方案:从外部加约束:给资料、管输出、做校验。
  • 好处:把出错概率和出错的影响都降到可接受的范围;关键场景再加人工审核兜底。

一句话答法

幻觉的根源是模型追求生成得像而不是生成得对,所以只能降低:生成前给对资料,生成中用提示词和低温度管住输出,生成后用规则、引用核对和另一个模型做校验,不通过就降级,再用测试集持续评估。

为什么数字类问题不让模型直接回答? ​

  • 问题:模型对精确数字和多步计算不可靠,而数字错了往往后果最严重。
  • 方案:数字从数据库或计算工具来,模型只负责把结果组织成话(这也是 Agent 调用工具的典型场景)。
  • 好处:数字准确可追溯;模型做它擅长的事(理解和表达)。

一句话答法

模型算数和记精确数字不可靠,所以数字交给 SQL 或计算工具,模型只负责组织语言,数字就准确且能追溯。

为什么要有生成后的校验,提示词约束还不够吗? ​

  • 问题:提示词只是「请求」,模型不一定百分之百遵守;一旦出错直接给用户,就是事故。
  • 方案:在交给用户之前加一道程序化检查,不通过就降级或转人工。
  • 好处:把「模型说了算」变成「模型生成、规则把关」,风险可控。

一句话答法

提示词约束模型不一定遵守,所以输出给用户前要再校验一遍:规则检查、核对引用,不合格就降级到模板或转人工,让模型生成、规则把关。

英文术语拆解 ​

术语拆开看一句话意思
Hallucination幻觉模型自信地说出错误内容
GroundingGround 地面、根基 + ing让回答「落地」到给定资料上
Citation引用回答里标注出处
Faithfulnessfaithful 忠实的 + ness忠实度:回答是否都有资料依据
FallbackFall 落 + back 回降级:主方案失败时的备用方案
Human-in-the-loop人在回路中关键步骤由人审核
do_sampledo 执行 + sample 采样是否随机采样

面试怎么问 ​

Q:大模型的幻觉怎么优化?

先说原因:模型追求生成得像而不是生成得对,只能降低不能根除。然后分三层:生成前给对资料,用 RAG 检索真实资料,并保证知识库清洗、去重、及时更新,数字类问题交给 SQL 或工具算;生成中管住输出,提示词要求只依据资料回答、没有就说不知道、标注出处,调低温度,用结构化输出;生成后做校验,规则检查、引用核对、另一个模型复核,不通过就降级到模板或转人工。最后用测试问题集评估忠实度和拒答是否得当。再补一个自己做过的例子。

Q:把温度调到 0,是不是就没有幻觉了?

不是。低温只是让模型总选概率最高的词,减少随机性带来的错误;如果模型本身就把错误答案排在第一位,低温只会让它稳定地答错。要靠提供资料和事后校验。

Q:RAG 之后还会有幻觉吗?为什么?

会。可能检索没找到正确资料,模型就凭记忆补;也可能资料给了,但模型没用好,或者把多段资料错误地拼在一起。所以还要提示词约束、引用核对和评估。

容易混的地方 ​

  • RAG ≠ 根治幻觉:RAG 只是第一关。
  • 温度低 ≠ 答案对:只是更稳定。
  • 拒答也是能力:资料里没有时说「没有相关信息」,比编一个答案好得多;评估时要专门测这类问题。
  • 校验不只靠模型:规则校验便宜、可靠,能用规则的地方先用规则。

和其他知识的连接 ​

自测 3 问 ​

Q1:按三道关,各说出 2 个降低幻觉的具体做法。

点开看答案

生成前:RAG 检索真实资料;知识库清洗去重、及时更新;数字交给 SQL 或工具。生成中:提示词要求只依据资料、没有就说不知道、标出处;低温度;结构化输出。生成后:规则校验(长度、禁用词);引用核对或另一个模型复核;不通过就降级或转人工。

Q2:为什么「温度调到 0」不能消除幻觉?

点开看答案

温度只影响「从候选词里怎么选」。低温让模型总选概率最高的词,如果模型本身就认为错误答案概率最高,它会每次都稳定地给出同一个错误答案。

Q3:评估幻觉时,测试集里为什么要专门放「资料里没有答案」的问题?

点开看答案

用来检查模型会不会在资料不足时编答案。好的系统应该回答「资料中没有相关信息」,这类拒答是否得当是幻觉评估的重要部分。

✅ 验收清单 ​

  • 能说出幻觉的 2 个根源,以及为什么只能降低
  • 能按三道关各说出至少 2 个做法,并加一个降级的例子(2 分钟内)
  • 能说出温度、Top-p、do_sample 各管什么,以及温度的局限
  • 能说出评估幻觉的 3 个关注点

下一步该懂什么 ​