深色模式
03 · 对象存储与搜索引擎:大文件放哪、全文怎么搜
学完你能说出:
- 对象存储(MinIO / S3)解决什么、不用会怎样、代价;桶、对象、键是什么。
- 搜索引擎(Elasticsearch)解决什么;倒排索引的原理;为什么 MySQL 的
LIKE '%词%'慢。- 搜索引擎的数据怎么和 MySQL 同步,为什么一般不拿它当主数据库。
先看地图
数据库擅长存「一行行的结构化数据」,但有两类需求它做不好:存大文件和全文搜索。本篇讲两个专用存储:
① 对象存储:解决什么、怎么用 → ② 搜索引擎:解决什么 → ③ 倒排索引 → ④ 数据同步和代价
一句话本质
- 对象存储 = 一个无限大的「文件仓库」:按一个名字(键)存取整个文件,便宜、可扩展,数据库里只存文件的地址。
- 搜索引擎 = 提前建好「词 → 哪些文档有这个词」的倒排索引,搜关键词时直接查表,不用逐行扫描。
生活类比
- 对象存储像快递驿站的货架:每个包裹贴一个取件码(键),凭码取件;驿站不关心包裹里是什么,只管存好、找到。
- 搜索引擎像书最后的「索引页」:「数据仓库 …… 第 12、87、203 页」。想找一个词,翻索引页就知道在哪几页,不用把整本书从头翻一遍。
一步步看
1. 对象存储
| 内容 | |
|---|---|
| 解决什么 | 图片、视频、PDF、备份文件这类大文件、非结构化数据的存储 |
| 不用会怎样 | 存数据库里:一个 20 MB 的 PDF 放在一行里,备份、复制、查询都被拖慢,数据库体积暴涨;存在应用服务器的本地磁盘:多台服务器之间文件不共享,服务器坏了文件就没了,磁盘满了要手动扩 |
| 代价 | 不能改文件的一部分(只能整个覆盖);不能像数据库那样按条件查询内容;通过网络访问,比本地磁盘慢一点 |
三个概念:
| 概念 | 意思 | 例子 |
|---|---|---|
| Bucket 桶 | 一个存储空间,类似一个顶层文件夹 | kb-docs |
| Object 对象 | 一个文件 + 它的元数据 | 员工手册 PDF |
| Key 键 | 对象在桶里的唯一名字 | hr/2026/员工手册-v3.pdf |
用法:上传时把文件放进对象存储,数据库里只存键和元数据(上传人、大小、权限);前端要下载时,后端生成一个带过期时间的临时链接(预签名 URL),浏览器直接从对象存储下载,不经过后端。
MinIO 是开源的对象存储,接口兼容 Amazon S3,可以自己部署;云厂商也都有类似服务。
2. 搜索引擎:解决什么
| 内容 | |
|---|---|
| 解决什么 | 按关键词搜大量文本(商品标题、文章、日志),按相关性排序,支持分词、高亮、按字段过滤 |
| 不用会怎样 | MySQL 用 WHERE title LIKE '%数据仓库%':前面有 %,B+ 树索引用不上,只能全表扫描;100 万行要扫 100 万次,而且没有「相关性排序」 |
| 代价 | 数据要从 MySQL 同步过来,有延迟、可能不一致;写入后约 1 秒才能被搜到(近实时);集群要维护,占内存多 |
3. 倒排索引
- 正排:文档 → 里面有哪些词(就是原文);
- 倒排:词 → 出现在哪些文档里。
建索引时:把每篇文档分词(中文要用 IK 这类中文分词器,「数据仓库分层」→「数据 / 仓库 / 分层」),再把每个词对应的文档 id 记下来。
搜「数据 仓库」时:取「数据」的文档列表 {1, 2} 和「仓库」的 {1, 3},求交集得到文档 1;再按 BM25(词在文档里出现越多、这个词在全部文档里越少见,分数越高)给结果打分排序。
Elasticsearch(ES) 就是基于倒排索引的分布式搜索引擎。现在它也支持向量检索,所以 RAG 里常用 ES 一个系统同时做关键词检索和向量检索,见 向量数据库。
4. 和 MySQL 怎么同步
ES 一般不当主数据库:它不支持事务,写入后不是立刻可见,数据以 MySQL 为准。同步方式:
| 方式 | 做法 | 特点 |
|---|---|---|
| 双写 | 业务代码写完 MySQL 再写 ES | 简单,但 ES 写失败就不一致,代码耦合 |
| 消息队列 | 写完 MySQL 发消息,消费者写 ES | 解耦、可重试 |
| CDC | Canal 读 MySQL binlog,同步到 ES | 业务代码不用改,最常用 |
为什么这么设计
为什么大文件不存数据库,而是存对象存储?
- 问题:大文件放数据库会让表体积暴涨,备份、复制、查询都变慢;放应用服务器本地又无法在多台机器间共享,也不可靠。
- 方案:文件放对象存储,数据库只存键和元数据。
- 好处:数据库保持轻巧;对象存储便宜、容量几乎无限、自带多副本;下载可以绕过后端直接走对象存储。
一句话答法
大文件放数据库会拖慢备份和查询,放本地磁盘又不能多机共享,所以文件放对象存储、数据库只存它的键和元数据,便宜、可扩展、多副本。
为什么全文搜索要用搜索引擎,不用 MySQL 的 LIKE?
- 问题:
LIKE '%词%'前面是通配符,B+ 树索引用不上,只能全表扫描;也没有分词和相关性排序。 - 方案:提前分词,建「词 → 文档」的倒排索引,搜索时直接查词表、求交集、按 BM25 排序。
- 好处:百万级文档毫秒级返回,结果按相关性排好;代价是要同步数据、多维护一套系统。
一句话答法
LIKE 前面带百分号用不上索引只能全表扫,也没有相关性排序;搜索引擎提前分词建倒排索引,搜索时直接查词对应的文档并按 BM25 排序,所以快得多。
英文术语拆解
| 术语 | 拆开看 | 一句话意思 |
|---|---|---|
| Object Storage | Object 对象 + Storage 存储 | 按键存取整个文件的存储 |
| S3 | Simple 简单 + Storage 存储 + Service 服务 | 亚马逊的对象存储,事实上的接口标准 |
| Bucket / Key | 桶 / 键 | 存储空间 / 对象的唯一名字 |
| Presigned URL | Pre 预先 + signed 签名的 + URL 网址 | 带过期时间的临时下载链接 |
| Inverted Index | Inverted 倒过来的 + Index 索引 | 词 → 文档的索引 |
| Tokenizer | Token 词元 + izer 器 | 分词器 |
| Near Real-Time | Near 接近 + Real-Time 实时 | 近实时:写入后约 1 秒可搜到 |
面试怎么问
Q:图片、文件这类数据怎么存?
放对象存储,比如 MinIO 或云厂商的对象存储,数据库里只存文件的键和元数据。原因是大文件放数据库会拖慢备份和查询;放应用服务器本地无法多机共享、不可靠。下载时后端生成带过期时间的预签名链接,浏览器直接从对象存储取。
Q:为什么要用 Elasticsearch?倒排索引是什么?
MySQL 的 LIKE '%词%' 用不上索引,只能全表扫描,也没有相关性排序。ES 基于倒排索引:先对文档分词,建立「词 → 包含这个词的文档列表」的映射,搜索时取各个词的文档列表求交集,再用 BM25 打分排序,所以百万级数据也能毫秒级返回。
Q:ES 的数据怎么和 MySQL 保持同步?
以 MySQL 为准,常用 CDC:Canal 读 binlog,把变更同步到 ES,业务代码不用改;也可以写完 MySQL 后发消息,由消费者写 ES。双写最简单但容易不一致。ES 写入后约 1 秒才能被搜到,要能接受这个延迟。
容易混的地方
- 对象存储 ≠ 文件系统:没有真正的目录层级(「/」只是键名的一部分),不能改文件的一部分。
- HDFS vs 对象存储:HDFS 面向大数据计算(数据本地性、流式读大文件);对象存储面向通用文件存取,按 HTTP 接口访问。
- ES 不是数据库的替代品:不支持事务、近实时可见,一般做搜索和分析,数据以 MySQL 为准。
- 中文搜索要选对分词器:默认分词器会把中文按单字切开,效果差。
和其他知识的连接
- ← 来自 从一台到多台:两个按需加的专用存储。
- ← 来自 索引与 B+ 树:前导 % 为什么用不上 B+ 树索引。
- → 影响 检索与重排:BM25 关键词检索就是倒排索引。
- → 影响 企业知识库架构:原文件放 MinIO,ES 同时做关键词和向量检索。
自测 3 问
Q1:一个 20 MB 的合同 PDF,为什么不直接存进 MySQL 的一个字段里?
点开看答案
会让表体积暴涨,备份、主从复制、查询都被拖慢;数据库擅长结构化数据,不擅长大文件。应该存对象存储,数据库只存它的键、大小、上传人和权限。
Q2:三篇文档:「数据仓库分层」「实时数据采集」「仓库库存管理」。搜「数据 仓库」,倒排索引怎么找到结果?
点开看答案
分词后建倒排:数据 → {1, 2},仓库 → {1, 3}。搜索时取两个列表求交集得到文档 1,排在第一;再按 BM25 打分,只含一个词的文档 2、3 分数较低。
Q3:为什么 ES 一般不当主数据库?
点开看答案
不支持事务;写入后约 1 秒才能被搜到(近实时);数据通常从 MySQL 同步过来。所以以 MySQL 为准,ES 负责搜索。
✅ 验收清单
- 能按「解决什么 → 不用会怎样 → 代价」讲对象存储和搜索引擎
- 能说出桶、对象、键,以及「数据库只存键」的做法
- 能画出一个小的倒排索引,并说出搜索时怎么求交集、怎么排序
- 能说出 MySQL 和 ES 同步的 3 种方式
下一步该懂什么
- 一台应用服务器扛不住时怎么分流 → 负载均衡