深色模式
06 · 幻觉怎么治:生成前、生成中、生成后三道关
学完你能说出:
- 幻觉的根源,以及为什么只能降低、不能根除。
- 沿「生成」的流程分三道关:生成前给对资料、生成中管住输出、生成后做校验,每关的具体做法;最后用测试集评估。
- 温度、Top-p、do_sample 各管什么,以及「温度的局限」。
先看地图
「大模型幻觉怎么优化」是 AI 应用岗的高频题,很多人只答出「用 RAG」「改 prompt」两点就停了。这一篇用流程走查法把它答全。本篇讲 4 个点:
① 幻觉从哪来 → ② 三道关(每关 3 个做法)→ ③ 采样参数和它的局限 → ④ 怎么评估
一句话本质
模型追求生成得像而不是生成得对,所以幻觉只能降低、不能根除:生成前给对资料,生成中管住输出,生成后做校验,再用测试集持续评估。
生活类比
让一个口才很好、但记性一般的实习生写对外通知:
- 生成前:把准确的资料打印好给他,数字直接从系统里导出,不让他凭记忆写;
- 生成中:规定「只能写资料里有的,不知道就写『待确认』,每条注明出处」;
- 生成后:发出去之前,主管按清单核对一遍,不合格就换成标准模板,或者自己改。
一步步看
1. 幻觉从哪来
| 原因 | 例子 |
|---|---|
| 训练目标是「预测最可能的下一个词」,优化的是像不像 | 问一本不存在的书的作者,它会接出一个「像作者名」的名字 |
| 不知道私有数据、知识有截止时间 | 问公司最新的报销标准,它只能猜 |
| 资料给了,但没用好 | 资料写「5 天」,回答写「7 天」 |
| 数字和计算不可靠 | 让它把 30 个数相加,结果差了一点 |
2. 三道关
第一关:生成前,给对资料
| 做法 | 说明 |
|---|---|
| RAG 检索真实资料 | 回答前先查,把相关资料放进提示词,见 RAG 是什么 |
| 保证资料本身是对的 | 知识库要清洗、去重、及时更新、记录来源和版本;旧版本制度不下线,模型就会照着旧的答 |
| 保证检索质量 | 混合检索 + 重排,检索没命中,后面怎么调都没用,见 检索与重排 |
| 数字类问题不让模型算 | 「上月销售额多少」交给 SQL 查,「这 30 项加起来多少」交给计算工具;模型只负责组织语言 |
第二关:生成中,管住输出
| 做法 | 说明 |
|---|---|
| 提示词约束 | 「只依据下面的资料回答;资料里没有就回答『资料中没有相关信息』;每句话后标注来源编号」 |
| 调低随机性 | 问答、抽取类任务用低温度(如 0–0.3) |
| 结构化输出 | 要求输出 JSON,字段固定(答案、引用编号、置信度),方便后面校验 |
| 拆小任务 | 一次只让它做一件事(先抽取事实、再组织语言),比一步到位更少出错 |
第三关:生成后,做校验
| 做法 | 说明 |
|---|---|
| 规则校验 | 长度、格式、禁用词(如「保证」「一定」这类承诺词)、数字是否和数据库一致 |
| 引用核对 | 检查回答里引用的编号是否真实存在,引用的那段资料里是否真有这句话 |
| 另一个模型检查 | 让另一个模型判断「这个回答是否都能在资料里找到依据」 |
| 不通过就降级 | 换成固定模板、回答「暂时无法回答」,或者转人工审核 |
一个降级的例子:自动生成的日报里,事实(日期、数字、名称)由程序从核验过的清单直接填入,模型只写一句开场白;开场白再用规则检查长度和推测、承诺类词语,不合格就换成固定模板。模型能出错的范围被压到了最小。
3. 采样参数和「温度的局限」
| 参数 | 管什么 | 例子 |
|---|---|---|
temperature 温度 | 把概率分布压尖(低温)或摊平(高温) | 0.2:几乎总选概率最高的词;1.2:冷门词也有机会 |
top_p | 只在累计概率达到 p 的候选里选 | p = 0.8:砍掉长尾里离谱的选项 |
do_sample | 是否随机采样(Hugging Face 等框架的参数) | False:贪心解码,每次都选最高的,结果固定 |
细节见 Prompt 与采样参数。
温度的局限:低温只能减少「随机选到冷门词」造成的错误。如果模型本身就把错误答案排在第一位(它「记错了」),低温只会让它每次都稳定地答错。所以调温度只是第二关里的一个小手段,不能代替给资料和做校验。
4. 怎么评估
- 准备一套测试问题(包括资料里没有答案的问题),看:
- 忠实度:回答里的说法是否都有资料依据;
- 引用准确率:标的出处是否真的支持这句话;
- 拒答是否得当:资料里没有时,是否回答「没有相关信息」,而不是编一个。
- 改动前后用同一套题对比,见 评估与常见坑。
为什么这么设计
为什么说幻觉只能降低、不能根除?
- 问题:生成模型的本质就是按概率接龙,「说得像」和「说得对」不是一回事,模型内部没有一个可以查证的事实库。
- 方案:从外部加约束:给资料、管输出、做校验。
- 好处:把出错概率和出错的影响都降到可接受的范围;关键场景再加人工审核兜底。
一句话答法
幻觉的根源是模型追求生成得像而不是生成得对,所以只能降低:生成前给对资料,生成中用提示词和低温度管住输出,生成后用规则、引用核对和另一个模型做校验,不通过就降级,再用测试集持续评估。
为什么数字类问题不让模型直接回答?
- 问题:模型对精确数字和多步计算不可靠,而数字错了往往后果最严重。
- 方案:数字从数据库或计算工具来,模型只负责把结果组织成话(这也是 Agent 调用工具的典型场景)。
- 好处:数字准确可追溯;模型做它擅长的事(理解和表达)。
一句话答法
模型算数和记精确数字不可靠,所以数字交给 SQL 或计算工具,模型只负责组织语言,数字就准确且能追溯。
为什么要有生成后的校验,提示词约束还不够吗?
- 问题:提示词只是「请求」,模型不一定百分之百遵守;一旦出错直接给用户,就是事故。
- 方案:在交给用户之前加一道程序化检查,不通过就降级或转人工。
- 好处:把「模型说了算」变成「模型生成、规则把关」,风险可控。
一句话答法
提示词约束模型不一定遵守,所以输出给用户前要再校验一遍:规则检查、核对引用,不合格就降级到模板或转人工,让模型生成、规则把关。
英文术语拆解
| 术语 | 拆开看 | 一句话意思 |
|---|---|---|
| Hallucination | 幻觉 | 模型自信地说出错误内容 |
| Grounding | Ground 地面、根基 + ing | 让回答「落地」到给定资料上 |
| Citation | 引用 | 回答里标注出处 |
| Faithfulness | faithful 忠实的 + ness | 忠实度:回答是否都有资料依据 |
| Fallback | Fall 落 + back 回 | 降级:主方案失败时的备用方案 |
| Human-in-the-loop | 人在回路中 | 关键步骤由人审核 |
| do_sample | do 执行 + sample 采样 | 是否随机采样 |
面试怎么问
Q:大模型的幻觉怎么优化?
先说原因:模型追求生成得像而不是生成得对,只能降低不能根除。然后分三层:生成前给对资料,用 RAG 检索真实资料,并保证知识库清洗、去重、及时更新,数字类问题交给 SQL 或工具算;生成中管住输出,提示词要求只依据资料回答、没有就说不知道、标注出处,调低温度,用结构化输出;生成后做校验,规则检查、引用核对、另一个模型复核,不通过就降级到模板或转人工。最后用测试问题集评估忠实度和拒答是否得当。再补一个自己做过的例子。
Q:把温度调到 0,是不是就没有幻觉了?
不是。低温只是让模型总选概率最高的词,减少随机性带来的错误;如果模型本身就把错误答案排在第一位,低温只会让它稳定地答错。要靠提供资料和事后校验。
Q:RAG 之后还会有幻觉吗?为什么?
会。可能检索没找到正确资料,模型就凭记忆补;也可能资料给了,但模型没用好,或者把多段资料错误地拼在一起。所以还要提示词约束、引用核对和评估。
容易混的地方
- RAG ≠ 根治幻觉:RAG 只是第一关。
- 温度低 ≠ 答案对:只是更稳定。
- 拒答也是能力:资料里没有时说「没有相关信息」,比编一个答案好得多;评估时要专门测这类问题。
- 校验不只靠模型:规则校验便宜、可靠,能用规则的地方先用规则。
和其他知识的连接
- ← 来自 大模型在做什么:幻觉的根源。
- ← 来自 Prompt 与采样参数:温度、Top-p 的细节。
- ← 来自 听题与答题:本题就是「流程走查法」的示范。
- ← 来自 工程落地 5 个「能」:降级是「能稳」的一部分。
- → 影响 企业知识库架构:三道关在真实系统里的位置。
自测 3 问
Q1:按三道关,各说出 2 个降低幻觉的具体做法。
点开看答案
生成前:RAG 检索真实资料;知识库清洗去重、及时更新;数字交给 SQL 或工具。生成中:提示词要求只依据资料、没有就说不知道、标出处;低温度;结构化输出。生成后:规则校验(长度、禁用词);引用核对或另一个模型复核;不通过就降级或转人工。
Q2:为什么「温度调到 0」不能消除幻觉?
点开看答案
温度只影响「从候选词里怎么选」。低温让模型总选概率最高的词,如果模型本身就认为错误答案概率最高,它会每次都稳定地给出同一个错误答案。
Q3:评估幻觉时,测试集里为什么要专门放「资料里没有答案」的问题?
点开看答案
用来检查模型会不会在资料不足时编答案。好的系统应该回答「资料中没有相关信息」,这类拒答是否得当是幻觉评估的重要部分。
✅ 验收清单
- 能说出幻觉的 2 个根源,以及为什么只能降低
- 能按三道关各说出至少 2 个做法,并加一个降级的例子(2 分钟内)
- 能说出温度、Top-p、do_sample 各管什么,以及温度的局限
- 能说出评估幻觉的 3 个关注点
下一步该懂什么
- 把检索、生成、校验拼成一个真实系统 → 企业知识库架构