深色模式
05 · Embedding 怎么训练:让「意思像」的句子靠近
学完你能说出:
- 对比学习的思路:不教「是什么」,只教「像不像」;训练数据从哪来。
- InfoNCE 损失本质是批内的 softmax 交叉熵,能写出核心 5 行 PyTorch 代码。
- 批内负样本、难负样本、假负样本、温度 τ;BGE 的三阶段训练;Embedding 模型和 Rerank 模型的区别。
先看地图
第 03 篇讲了 Embedding 是什么、怎么用。这一篇往下挖一层:模型是怎么学会「意思相近的句子,向量也相近」的。本篇讲 6 个点:
① 一个统一视角:损失函数决定模型学会什么 → ② 对比学习和训练数据 → ③ InfoNCE(带数字和代码)→ ④ 三个关键技巧 → ⑤ BGE 的三阶段训练与自己微调 → ⑥ Embedding 模型 vs Rerank 模型
一句话本质
先让模型读懂语言,再给它海量「意思相同的句子对」,让配对的向量靠近、不配对的远离;损失函数就是一道道「批内选择题」。
生活类比
教小孩认亲戚:不用告诉他每个人的定义,只要反复说「这两个人是一家的,那两个不是」。看多了,他自己就能把人按家庭分组。
- 普通分类像背答案:只会这几道题(猫、狗、鸟);
- 对比学习像学方法:练的题每次都不一样,最后学会了「判断相似」这种通用能力,任何新句子都能给出坐标。
一步步看
1. 统一视角:训练 = 模型 + 损失函数 + 优化器
模型(带参数的函数) + 损失函数(评分标准:错得有多离谱) + 优化器(按梯度调参数,让分数变好)损失函数决定了模型学会什么。同一个网络,换一个损失就学成不同的东西:
| 任务 | 损失函数 | 学会的能力 |
|---|---|---|
| 图片分类 | 交叉熵 | 判断类别 |
| 大模型预训练 | 交叉熵(在约 15 万个 Token 里选下一个) | 接龙 |
| 图像超分辨率 | 像素损失 + 感知损失 + 对抗损失 | 只用像素损失图会发糊,加上后两个才有逼真的纹理 |
| Embedding | InfoNCE | 把意思相近的文本放在一起 |
深度学习里很多任务都被改写成「做选择题 + 交叉熵」;回归(预测房价)、扩散模型用均方误差。也有不靠「损失函数 + 梯度下降」的方法:BM25 是固定公式,决策树按纯度挑特征分裂,KNN 根本不训练(向量检索本质上就是 KNN)。
2. 对比学习和训练数据
需要海量的正样本对(问题, 相关文本)。人工标注太贵,所以主要用互联网上天然存在的配对:
| 天然配对 | 为什么算相关 |
|---|---|
| 标题 ↔ 正文 | 标题概括正文 |
| 问答社区的问题 ↔ 高赞回答 | 回答针对这个问题 |
| 论文标题 ↔ 摘要 | 摘要展开标题 |
| 搜索词 ↔ 用户点击的网页 | 用户觉得相关 |
| 同一句话的翻译或改写 | 意思相同 |
规模可达上亿对,比较粗糙(弱监督),后期再用少量人工标注的高质量数据精修。清洗这些配对(去重、去掉垃圾对和过短文本)是训练里很重要的一步,数据质量直接决定模型效果。
3. InfoNCE:批内的选择题
一个批次 3 对数据,3 个问题和 3 段文本两两算相似度,得到 3×3 矩阵:
| p1 控制饮食 | p2 内存计算 | p3 多云 20 度 | |
|---|---|---|---|
| q1 怎么减肥 | 0.8 | 0.1 | 0.2 |
| q2 Spark 为什么快 | 0.3 | 0.7 | 0.1 |
| q3 上海天气 | 0.2 | 0.4 | 0.6 |
- 批内负样本:对 q1 来说,p1 是正样本,同一批里别人的答案 p2、p3 自然就是负样本,不用专门去找。
- 每一行是一道选择题:「q1 的答案是 p1、p2 还是 p3?」正确答案在对角线。
- 所以损失就是交叉熵:每行做 softmax,惩罚「正确选项概率不够高」。
L = −log( exp(正确配对的分数 / τ) / Σ exp(这一行所有分数 / τ) )PyTorch 核心代码:
python
import torch, torch.nn.functional as F
q = F.normalize(encoder(queries), dim=-1) # 问题 → 向量,再归一化(长度变成 1)
p = F.normalize(encoder(passages), dim=-1) # 文本 → 向量,用同一个编码器(双塔共享参数)
scores = q @ p.T / 0.05 # 两两相似度,B×B 矩阵;0.05 是温度 τ
labels = torch.arange(len(q)) # 正确答案是对角线:第 i 行选第 i 个
loss = F.cross_entropy(scores, labels) # 就是普通的分类交叉熵逐词解释:normalize 归一化,之后内积就等于余弦相似度;@ 矩阵乘法;.T 转置(transpose);arange 生成 0、1、2……;cross_entropy 交叉熵。encoder 是一个 BERT 类的 Encoder,把每个 Token 的向量取平均(mean pooling)或取 [CLS] 的向量,得到整句的向量。
4. 三个关键技巧
| 技巧 | 做法 | 为什么 |
|---|---|---|
| 大批次 | 批次常开到几千甚至上万,要多张 GPU | 批次为 B,每道题就有 B−1 个干扰选项,选择题越难,模型学得越细 |
| 难负样本 | 用 BM25 或旧模型检索,排名靠前但不是正确答案的拿来当负样本(如「Spark 为什么快」配「Spark 怎么安装」) | 随机负样本太容易(「减肥」vs「天气」),学不到东西 |
| 温度 τ | 相似度除以 τ(常见 0.01–0.05)再做 softmax | τ 越小,分数差距被放得越大,模型越要在细微差别上下功夫 |
假负样本的坑:检索出来的「难负样本」有时其实也是正确答案(只是数据里没标)。拿它当负样本,会教坏模型。常见处理:跳过排名最靠前的几条,或用更强的模型再检查一遍。
5. BGE 的三阶段训练与自己微调
BGE 是中文最常用的开源 Embedding 模型之一(由北京智源研究院发布):
阶段 1:预训练 在海量文本上做「完形填空」(遮住词让模型猜),先读懂中文
阶段 2:对比学习 上亿个天然配对 + 超大批次 + 批内负样本,学会「意思像就靠近」
阶段 3:精调 人工标注的高质量数据 + 难负样本,把效果再往上推两个实用细节:
- 查询指令:BGE 建议在问题前加一句提示(如「为这个句子生成表示以用于检索相关文章:」),文档前不加,因为问题短、文档长,两边不对称。不同模型规定不同,用之前看模型说明。
- 怎么比较模型好坏:看公开排行榜 MTEB(Massive Text Embedding Benchmark),中文版 C-MTEB。
用自己领域的数据微调(一般不从零训练):
- 把领域文档切块;
- 让大模型针对每一块生成 2–3 个问题,组成(问题, 块)配对;
- 用 BM25 给每个问题找 1–2 个难负样本;
- 用上面的损失在 BGE 基础上微调,几千对数据、一张消费级显卡就能跑;
- 留一部分数据,用召回率@5 对比微调前后。
什么时候值得微调:领域术语多(医学、法律、公司内部黑话),通用模型分不清的时候。一般先试混合检索 + 重排,不够再微调,因为微调后要维护数据,换模型还要重建整个索引。
6. Embedding 模型 vs Rerank 模型
两者都是「用分类的方式训练」,但用法完全不同:
| Embedding 模型(双塔,Bi-encoder) | Rerank 模型(交叉编码,Cross-encoder) | |
|---|---|---|
| 输入 | 一段文字 | (问题, 文本)拼在一起 |
| 输出 | 一个向量(坐标) | 一个相关性分数 |
| 训练 | 批内多选一(InfoNCE) | 相关 / 不相关的二分类(或排序损失) |
| 速度 | 文档向量可以提前算好存起来,查询只算问题的向量 | 每一对都要现算,100 万篇文档就要算 100 万次 |
| 准度 | 一般 | 高(问题和文本的每个词能直接互相「看见」) |
| 用在 | 第一轮召回:从 100 万块里找 50 块 | 第二轮精排:从 50 块里挑 5 块 |
易混:Embedding 模型用的时候不判断相关不相关,它只输出坐标,相关性是在模型外面用两个向量的内积算出来的;真正直接判断相关性的是 Rerank 模型。
为什么这么设计
为什么用对比学习,而不是普通分类?
- 问题:普通分类的类别是固定的(最后一层权重对应几个类),出现新类别就要重新训练;而检索面对的是无穷无尽的新句子。
- 方案:每个批次的「选项」都是这一批里的文本,每次都不一样。
- 好处:模型学到的是一个通用的「意思空间」,从没见过的文本也能编码,直接和别的向量比较。
一句话答法
对比学习每个批次的候选都不同,所以学到的不是固定类别,而是一个通用的语义空间,任何新文本都能编码后直接比较相似度。
为什么要批内负样本和大批次?
- 问题:为每个问题专门找负样本很贵;负样本太少,选择题太简单,模型学不精。
- 方案:同一批里别人的正确答案直接当自己的负样本;批次开大,负样本就多。
- 好处:零成本获得大量负样本,一次矩阵乘法就算完所有配对。
一句话答法
批内负样本让同一批里别人的答案直接当负样本,不用额外找;批次越大,每道题的干扰项越多,模型区分得越细。
为什么检索用 Embedding、精排用 Rerank?
- 问题:Rerank 准,但每一对都要现算,拿它扫全库太慢;Embedding 快,但问题和文本分开编码,细节对不上。
- 方案:先用 Embedding 从全库召回几十条,再用 Rerank 在这几十条里精排。
- 好处:兼顾速度和准确率,这是双塔「文档向量能提前算好」带来的好处。
一句话答法
Embedding 是双塔,文档向量能提前算好,所以快,适合从全库召回;Rerank 把问题和文本拼在一起打分,准但每对都要现算,所以只用来精排召回的几十条。
英文术语拆解
| 术语 | 拆开看 | 一句话意思 |
|---|---|---|
| Contrastive Learning | Contrast 对比 + Learning 学习 | 让相似的靠近、不相似的远离 |
| InfoNCE | Info 信息 + Noise 噪声 + Contrastive 对比 + Estimation 估计 | 对比学习常用的损失,本质是 softmax 交叉熵 |
| In-batch Negatives | In 在 + batch 批次 + negatives 负样本 | 批内负样本 |
| Hard Negative | Hard 难的 + Negative 负样本 | 看着像、其实不对的负样本 |
| Temperature τ | 温度 | 控制分数差距放大程度的系数 |
| Mean Pooling | Mean 平均 + Pooling 汇聚 | 把所有 Token 的向量取平均 |
| MTEB | Massive 大规模 + Text 文本 + Embedding + Benchmark 评测 | Embedding 模型排行榜 |
| Fine-tuning | Fine 精细 + tuning 调整 | 微调 |
面试怎么问
Q:Embedding 模型是怎么训练的?
一般基于 BERT 类的 Encoder,先用掩码语言模型预训练,再做对比学习:把「问题和相关文本」作为正样本对,同一批次里其他样本的文本作为负样本,用 InfoNCE 损失让正样本对的相似度高于负样本,它本质是批内的 softmax 交叉熵。效果关键在大批次、难负样本和温度系数,最后用人工标注的高质量数据精调。
Q:什么是难负样本?有什么坑?
难负样本是看起来和问题很像、其实不是正确答案的文本,通常用 BM25 或旧模型检索排名靠前的非正确结果。它能逼模型学会细微区别。坑是假负样本:检索出来的有时其实也是正确答案,只是没标注,拿来当负样本会教坏模型,所以会跳过排名最靠前的几条或用更强的模型过滤。
Q:Embedding 模型和 Rerank 模型有什么区别?
Embedding 是双塔:问题和文本分别编码成向量,用内积算相似度,文档向量可以提前算好,快,用于从全库召回;Rerank 是交叉编码:把问题和文本拼在一起输入,直接输出相关性分数,准但每一对都要现算,只用于对召回的几十条精排。
Q:领域检索效果不好,怎么提升 Embedding?
先试混合检索加重排;还不够再微调:把领域文档切块,用大模型给每块生成几个问题组成训练对,用 BM25 找难负样本,在开源模型上做对比学习微调,并留出验证集用召回率对比前后效果。注意换模型后要重建索引。
容易混的地方
- Embedding 模型不判断相关性:它只输出向量;判断相关性的是 Rerank。
- 温度 τ ≠ 生成时的温度:名字一样、作用相似(都是除以一个数再 softmax),但一个用在训练损失里,一个用在生成采样里。
- 批内负样本可能也是正确答案:两个问题意思很接近时,就会出现假负样本。
- 微调不是首选:先调检索方式,微调成本更高。
和其他知识的连接
- ← 来自 Embedding:把文字变成坐标:本篇讲它怎么训练出来。
- ← 来自 注意力与 Transformer:Encoder 和 Decoder 的结构区别。
- → 影响 向量数据库:训练好的向量存在哪、怎么快速找。
- → 影响 检索与重排:双塔召回 + 交叉编码精排。
- → 影响 评估与常见坑:用大模型生成问题,既能造训练数据,也能造测试集。
自测 3 问
Q1:一个批次有 4 对(问题, 文本),每个问题有几个批内负样本?相似度矩阵多大?正确答案在哪?
点开看答案
每个问题 3 个负样本(同批其他 3 段文本);相似度矩阵 4×4;正确答案在对角线上,每一行当成 4 选 1 的选择题,用交叉熵训练。
Q2:为什么说 InfoNCE 本质上就是分类?它和普通分类有什么关键不同?
点开看答案
每一行是一道「哪个文本是这个问题的答案」的选择题,用 softmax + 交叉熵,形式上就是分类。不同在于选项不固定:每个批次的候选都不一样,所以学到的是通用语义空间,新文本也能编码;普通分类只认识固定的那几个类别。
Q3:为什么不能直接拿 Rerank 模型去检索全库?
点开看答案
Rerank 要把问题和每一段文本拼起来现算一次,100 万段就要算 100 万次,太慢;Embedding 的文档向量可以提前算好,查询时只算一次问题向量再做近似最近邻检索。所以 Embedding 召回、Rerank 精排。
✅ 验收清单
- 能用「模型 + 损失函数 + 优化器」解释为什么「损失函数决定模型学会什么」,并举 2 个例子
- 能画出批内相似度矩阵,说明正样本和批内负样本在哪
- 能默写 InfoNCE 的核心 5 行代码并解释每一行
- 能说出大批次、难负样本、温度 τ 各自的作用,以及假负样本的坑
- 能说出 BGE 的三阶段训练,以及用大模型造数据微调的 5 步
- 能从输入、输出、速度、准度 4 方面对比 Embedding 模型和 Rerank 模型
下一步该懂什么
- 训练好的向量存在哪、怎么在几百万条里快速找 → 向量数据库