Skip to content

03 · 对象存储与搜索引擎:大文件放哪、全文怎么搜 ​

学完你能说出:

  • 对象存储(MinIO / S3)解决什么、不用会怎样、代价;桶、对象、键是什么。
  • 搜索引擎(Elasticsearch)解决什么;倒排索引的原理;为什么 MySQL 的 LIKE '%词%' 慢。
  • 搜索引擎的数据怎么和 MySQL 同步,为什么一般不拿它当主数据库。

先看地图 ​

数据库擅长存「一行行的结构化数据」,但有两类需求它做不好:存大文件和全文搜索。本篇讲两个专用存储:

① 对象存储:解决什么、怎么用 → ② 搜索引擎:解决什么 → ③ 倒排索引 → ④ 数据同步和代价

一句话本质 ​

  • 对象存储 = 一个无限大的「文件仓库」:按一个名字(键)存取整个文件,便宜、可扩展,数据库里只存文件的地址。
  • 搜索引擎 = 提前建好「词 → 哪些文档有这个词」的倒排索引,搜关键词时直接查表,不用逐行扫描。

生活类比 ​

  • 对象存储像快递驿站的货架:每个包裹贴一个取件码(键),凭码取件;驿站不关心包裹里是什么,只管存好、找到。
  • 搜索引擎像书最后的「索引页」:「数据仓库 …… 第 12、87、203 页」。想找一个词,翻索引页就知道在哪几页,不用把整本书从头翻一遍。

一步步看 ​

1. 对象存储 ​

内容
解决什么图片、视频、PDF、备份文件这类大文件、非结构化数据的存储
不用会怎样存数据库里:一个 20 MB 的 PDF 放在一行里,备份、复制、查询都被拖慢,数据库体积暴涨;存在应用服务器的本地磁盘:多台服务器之间文件不共享,服务器坏了文件就没了,磁盘满了要手动扩
代价不能改文件的一部分(只能整个覆盖);不能像数据库那样按条件查询内容;通过网络访问,比本地磁盘慢一点

三个概念:

概念意思例子
Bucket 桶一个存储空间,类似一个顶层文件夹kb-docs
Object 对象一个文件 + 它的元数据员工手册 PDF
Key 键对象在桶里的唯一名字hr/2026/员工手册-v3.pdf

用法:上传时把文件放进对象存储,数据库里只存键和元数据(上传人、大小、权限);前端要下载时,后端生成一个带过期时间的临时链接(预签名 URL),浏览器直接从对象存储下载,不经过后端。

MinIO 是开源的对象存储,接口兼容 Amazon S3,可以自己部署;云厂商也都有类似服务。

2. 搜索引擎:解决什么 ​

内容
解决什么按关键词搜大量文本(商品标题、文章、日志),按相关性排序,支持分词、高亮、按字段过滤
不用会怎样MySQL 用 WHERE title LIKE '%数据仓库%':前面有 %,B+ 树索引用不上,只能全表扫描;100 万行要扫 100 万次,而且没有「相关性排序」
代价数据要从 MySQL 同步过来,有延迟、可能不一致;写入后约 1 秒才能被搜到(近实时);集群要维护,占内存多

3. 倒排索引 ​

← 左右滑动看完整图 →原始文档文档 1数据仓库分层设计文档 2实时数据采集方案文档 3仓库库存管理分词倒排索引(词 → 文档)数据文档 1, 2仓库文档 1, 3分层文档 1实时文档 2库存文档 3搜「数据 仓库」:数据 → {1, 2}仓库 → {1, 3}交集 → 文档 1 排第一再按 BM25 打分排序中文要先分词(如 IK 分词器);写入后约 1 秒才能被搜到(近实时);ES 一般不做主数据库,数据从 MySQL 同步过来
倒排索引:先把每篇文档分词,再建一张「词 → 出现在哪些文档」的表。搜「数据 仓库」时,直接取两个词的文档列表求交集,不用逐篇扫描。MySQL 的 LIKE '%数据%' 只能全表扫,这就是要用搜索引擎的原因。
  • 正排:文档 → 里面有哪些词(就是原文);
  • 倒排:词 → 出现在哪些文档里。

建索引时:把每篇文档分词(中文要用 IK 这类中文分词器,「数据仓库分层」→「数据 / 仓库 / 分层」),再把每个词对应的文档 id 记下来。

搜「数据 仓库」时:取「数据」的文档列表 {1, 2} 和「仓库」的 {1, 3},求交集得到文档 1;再按 BM25(词在文档里出现越多、这个词在全部文档里越少见,分数越高)给结果打分排序。

Elasticsearch(ES) 就是基于倒排索引的分布式搜索引擎。现在它也支持向量检索,所以 RAG 里常用 ES 一个系统同时做关键词检索和向量检索,见 向量数据库。

4. 和 MySQL 怎么同步 ​

ES 一般不当主数据库:它不支持事务,写入后不是立刻可见,数据以 MySQL 为准。同步方式:

方式做法特点
双写业务代码写完 MySQL 再写 ES简单,但 ES 写失败就不一致,代码耦合
消息队列写完 MySQL 发消息,消费者写 ES解耦、可重试
CDCCanal 读 MySQL binlog,同步到 ES业务代码不用改,最常用

为什么这么设计 ​

为什么大文件不存数据库,而是存对象存储? ​

  • 问题:大文件放数据库会让表体积暴涨,备份、复制、查询都变慢;放应用服务器本地又无法在多台机器间共享,也不可靠。
  • 方案:文件放对象存储,数据库只存键和元数据。
  • 好处:数据库保持轻巧;对象存储便宜、容量几乎无限、自带多副本;下载可以绕过后端直接走对象存储。

一句话答法

大文件放数据库会拖慢备份和查询,放本地磁盘又不能多机共享,所以文件放对象存储、数据库只存它的键和元数据,便宜、可扩展、多副本。

为什么全文搜索要用搜索引擎,不用 MySQL 的 LIKE? ​

  • 问题:LIKE '%词%' 前面是通配符,B+ 树索引用不上,只能全表扫描;也没有分词和相关性排序。
  • 方案:提前分词,建「词 → 文档」的倒排索引,搜索时直接查词表、求交集、按 BM25 排序。
  • 好处:百万级文档毫秒级返回,结果按相关性排好;代价是要同步数据、多维护一套系统。

一句话答法

LIKE 前面带百分号用不上索引只能全表扫,也没有相关性排序;搜索引擎提前分词建倒排索引,搜索时直接查词对应的文档并按 BM25 排序,所以快得多。

英文术语拆解 ​

术语拆开看一句话意思
Object StorageObject 对象 + Storage 存储按键存取整个文件的存储
S3Simple 简单 + Storage 存储 + Service 服务亚马逊的对象存储,事实上的接口标准
Bucket / Key桶 / 键存储空间 / 对象的唯一名字
Presigned URLPre 预先 + signed 签名的 + URL 网址带过期时间的临时下载链接
Inverted IndexInverted 倒过来的 + Index 索引词 → 文档的索引
TokenizerToken 词元 + izer 器分词器
Near Real-TimeNear 接近 + Real-Time 实时近实时:写入后约 1 秒可搜到

面试怎么问 ​

Q:图片、文件这类数据怎么存?

放对象存储,比如 MinIO 或云厂商的对象存储,数据库里只存文件的键和元数据。原因是大文件放数据库会拖慢备份和查询;放应用服务器本地无法多机共享、不可靠。下载时后端生成带过期时间的预签名链接,浏览器直接从对象存储取。

Q:为什么要用 Elasticsearch?倒排索引是什么?

MySQL 的 LIKE '%词%' 用不上索引,只能全表扫描,也没有相关性排序。ES 基于倒排索引:先对文档分词,建立「词 → 包含这个词的文档列表」的映射,搜索时取各个词的文档列表求交集,再用 BM25 打分排序,所以百万级数据也能毫秒级返回。

Q:ES 的数据怎么和 MySQL 保持同步?

以 MySQL 为准,常用 CDC:Canal 读 binlog,把变更同步到 ES,业务代码不用改;也可以写完 MySQL 后发消息,由消费者写 ES。双写最简单但容易不一致。ES 写入后约 1 秒才能被搜到,要能接受这个延迟。

容易混的地方 ​

  • 对象存储 ≠ 文件系统:没有真正的目录层级(「/」只是键名的一部分),不能改文件的一部分。
  • HDFS vs 对象存储:HDFS 面向大数据计算(数据本地性、流式读大文件);对象存储面向通用文件存取,按 HTTP 接口访问。
  • ES 不是数据库的替代品:不支持事务、近实时可见,一般做搜索和分析,数据以 MySQL 为准。
  • 中文搜索要选对分词器:默认分词器会把中文按单字切开,效果差。

和其他知识的连接 ​

自测 3 问 ​

Q1:一个 20 MB 的合同 PDF,为什么不直接存进 MySQL 的一个字段里?

点开看答案

会让表体积暴涨,备份、主从复制、查询都被拖慢;数据库擅长结构化数据,不擅长大文件。应该存对象存储,数据库只存它的键、大小、上传人和权限。

Q2:三篇文档:「数据仓库分层」「实时数据采集」「仓库库存管理」。搜「数据 仓库」,倒排索引怎么找到结果?

点开看答案

分词后建倒排:数据 → {1, 2},仓库 → {1, 3}。搜索时取两个列表求交集得到文档 1,排在第一;再按 BM25 打分,只含一个词的文档 2、3 分数较低。

Q3:为什么 ES 一般不当主数据库?

点开看答案

不支持事务;写入后约 1 秒才能被搜到(近实时);数据通常从 MySQL 同步过来。所以以 MySQL 为准,ES 负责搜索。

✅ 验收清单 ​

  • 能按「解决什么 → 不用会怎样 → 代价」讲对象存储和搜索引擎
  • 能说出桶、对象、键,以及「数据库只存键」的做法
  • 能画出一个小的倒排索引,并说出搜索时怎么求交集、怎么排序
  • 能说出 MySQL 和 ES 同步的 3 种方式

下一步该懂什么 ​

  • 一台应用服务器扛不住时怎么分流 → 负载均衡