Skip to content

05 · 读写分离与分库分表:数据库本身扛不住了 ​

学完你能说出:

  • 主从复制怎么工作,读写分离解决什么、主从延迟怎么处理。
  • 垂直拆分和水平拆分的区别;分片键怎么选。
  • 分库分表带来的 4 个麻烦:跨分片查询、分布式事务、全局 id、扩容迁移,以及常见解法。

先看地图 ​

数据库优化的分层答法里,第 ④ 层「架构」最后才动数据库本身。这一篇讲具体怎么拆。本篇讲 4 个点:

① 主从复制与读写分离 → ② 垂直拆分与水平拆分 → ③ 分片键 → ④ 拆完以后的 4 个麻烦

一句话本质 ​

  • 读写分离:一主多从,写走主库、读走从库,用多台机器分担读压力;代价是主从有延迟。
  • 分库分表:按某个字段(分片键)把数据拆到多个库和表里,每个库只存一部分;代价是跨分片查询和事务都变复杂。

生活类比 ​

一家越来越忙的图书馆:

  • 读写分离:总馆负责登记新书(写),再复印几份目录送到分馆,读者去分馆查(读);分馆的目录可能晚几分钟更新(延迟)。
  • 垂直拆分:把文学类、科技类分到两栋楼(按业务拆)。
  • 水平拆分:同一类书太多了,按书号尾数分到 4 个仓库(按行拆);找某一本书知道去哪个仓库,但「统计全部科技书」就要 4 个仓库都跑一遍。

一步步看 ​

1. 主从复制与读写分离 ​

← 左右滑动看完整图 →读写分离:一主多从应用主库只接写从库 1接读从库 2接读写读binlog复制代价:主从延迟,刚写完马上读可能读不到水平分库:按 user_id % 3 拆订单表 3 亿行单库扛不住库 0user_id % 3 = 0约 1 亿行库 1user_id % 3 = 1约 1 亿行库 2user_id % 3 = 2约 1 亿行按 user_id 查:直接定位到 1 个库按订单号或时间查:要查全部 3 个库再合并代价:跨库 join、分布式事务、全局唯一 id
左:读写分离。写走主库,主库通过 binlog 把变化复制到从库,读请求分到从库;代价是主从有延迟。右:水平分库分表。按分片键 user_id 取模,把一张大表拆到多个库里,每个库只存一部分用户;代价是跨分片查询、分布式事务和全局 id。

主从复制:

  1. 主库执行写操作,记 binlog(见 事务与 ACID);
  2. 从库的一个线程从主库拉取 binlog,写进自己的中继日志;
  3. 从库的另一个线程重放中继日志,把修改应用到自己的数据上。

读写分离:应用(或中间件)把写请求发给主库,读请求分给多个从库。适合读多写少:比如读写比 9 : 1,加 3 个从库,读能力约变成原来的 4 倍。

主从延迟:复制是异步的,从库通常落后几毫秒到几秒,主库压力大时可能更久。典型问题:用户改了昵称,刷新页面读的是从库,看到的还是旧昵称。

处理办法:

办法说明
写后读走主库用户刚写完的一小段时间内(比如 1 秒),他的读请求强制走主库
关键业务读主库支付结果、库存这类对一致性要求高的,直接读主库
监控延迟从库延迟超过阈值就暂时不往它分读请求

2. 垂直拆分与水平拆分 ​

垂直拆分水平拆分
怎么拆按业务或按列:用户库、订单库、商品库分开;或把一张宽表里不常用的大字段拆到另一张表按行:同一张订单表的数据,按规则分到多个库 / 表里,结构完全一样
解决什么不同业务互相抢资源;单表字段太多单表行数太多、单库写入扛不住
例子订单服务只连订单库3 亿行订单按 user_id % 4 分到 4 个库,每库约 7500 万行

一般先垂直、后水平:先按业务拆开,某个业务的表还是太大,再做水平拆分。

3. 分片键怎么选 ​

分片键决定了一行数据去哪个库。选的原则:

原则例子
最常用的查询条件订单最常按「某用户的订单」查 → 用 user_id,查询直接定位到一个库
分布均匀用 user_id 取模,数据和请求比较均匀;用「城市」分片,北京那个库会特别大(又是数据倾斜)
尽量不变分片键改了,数据就要搬到另一个库

常见的分片方式:取模(user_id % 4)分布均匀但扩容麻烦;按范围(id 1–1000 万在库 0)扩容方便但新数据集中在最后一个库;一致性哈希扩容时只需迁移一部分数据。

4. 拆完以后的 4 个麻烦 ​

麻烦例子常见解法
跨分片查询按 user_id 分片后,「按订单号查」「查最近 1 小时全部订单」要查所有库再合并;跨库 join 做不了建一张「订单号 → user_id」的映射表;冗余存一份按其他维度分片的数据;复杂查询和统计同步到 ES 或数仓去做
分布式事务下单要同时改订单库和库存库,两个库各自的事务没法一起回滚尽量把一个事务里的数据放在同一个分片;用最终一致:本地消息表 + 消息队列重试,或 TCC、Saga 等方案;强一致的两阶段提交性能差,较少用
全局唯一 id每个库各自自增,会出现两个 id = 100 的订单雪花算法:时间戳 + 机器号 + 序号拼成 64 位 id,全局唯一且大致递增;或号段模式:从一个发号服务批量领取 id
扩容迁移4 个库不够了要变 8 个,取模规则变了,大部分数据都要搬家一开始预留足够的分片数(如先分 64 张表放在 4 个库);扩容时只移动表,不改分片规则;或用一致性哈希

为什么这么设计 ​

为什么先读写分离,再分库分表? ​

  • 问题:分库分表改动大:要改代码、迁数据,跨库查询和事务都会变复杂;而很多系统的压力其实主要来自读。
  • 方案:读多写少时,先加从库分担读压力;只有写入或单表数据量也扛不住时,才分库分表。
  • 好处:用最小的代价解决最常见的问题;分库分表留到真正需要时再做。

一句话答法

大多数系统是读多写少,读写分离只要加从库就能分担读压力,改动小;分库分表要改代码、迁数据,跨库查询和事务都变复杂,所以先读写分离,写或单表也扛不住时再分库分表。

为什么分片键要选最常用的查询条件? ​

  • 问题:查询不带分片键,就不知道数据在哪个库,只能所有库都查一遍再合并,分库反而更慢。
  • 方案:用最常用的查询条件做分片键,比如按用户查订单就用 user_id。
  • 好处:绝大多数查询只访问一个库;其他维度的查询用映射表或同步到 ES、数仓解决。

一句话答法

查询带分片键才能直接定位到一个库,否则要扫所有分片,所以分片键要选最常用的查询条件,同时保证分布均匀、尽量不变。

为什么分布式 id 常用雪花算法? ​

  • 问题:各库自增 id 会重复;用 UUID 虽然唯一,但是无序且长,作为 B+ 树主键会导致页频繁分裂、索引变大。
  • 方案:雪花算法:时间戳 + 机器号 + 序号,生成 64 位整数。
  • 好处:全局唯一、大致按时间递增(对 B+ 树友好)、本地生成不依赖数据库;代价是依赖机器时钟,时钟回拨要特殊处理。

一句话答法

分库后自增 id 会重复,UUID 无序会让 B+ 树频繁分裂,雪花算法用时间戳加机器号加序号生成 64 位 id,全局唯一、大致递增,还能本地生成。

英文术语拆解 ​

术语拆开看一句话意思
Master / Slave(Primary / Replica)主 / 从主库接写,从库复制并接读
Replication LagReplication 复制 + Lag 延迟主从延迟
ShardingShard 碎片 + ing分片:数据拆到多个库
Sharding Key分片 + Key 键决定数据去哪个分片的字段
Vertical / Horizontal垂直 / 水平按业务或列拆 / 按行拆
Snowflake雪花雪花算法:分布式 id 生成方法
TCCTry 尝试 + Confirm 确认 + Cancel 取消一种分布式事务方案
Saga长篇故事把长事务拆成多个本地事务 + 补偿操作

面试怎么问 ​

Q:讲一下 MySQL 主从复制和读写分离。

主库把写操作记到 binlog,从库拉取 binlog 写进中继日志再重放,实现数据复制。读写分离就是写走主库、读分到多个从库,适合读多写少的场景。问题是主从延迟,刚写完马上读从库可能读到旧数据,可以让写后的短时间内读主库,关键业务直接读主库,并监控延迟、延迟过大的从库暂时不分读请求。

Q:什么时候需要分库分表?怎么拆?

先做索引、缓存、读写分离这些低成本优化,当单表数据量到几千万甚至上亿行、或单库写入和连接数扛不住时再考虑。先垂直拆分,按业务把用户、订单、商品分到不同库;某个业务的表还是太大,再水平拆分,按分片键比如 user_id 取模分到多个库表。分片键选最常用的查询条件,并保证分布均匀。

Q:分库分表后有什么问题?怎么解决?

跨分片查询:不带分片键的查询要扫所有分片,可以建映射表、冗余数据,或把复杂查询交给 ES、数仓;分布式事务:尽量让事务数据落在同一分片,否则用本地消息表加消息队列的最终一致方案,或 TCC、Saga;全局 id:用雪花算法或号段模式;扩容:预先分出较多的逻辑表,扩容时只迁移表,或用一致性哈希减少迁移量。

容易混的地方 ​

  • 读写分离不能解决写压力:所有写仍然在主库上。
  • 分区表 ≠ 分库分表:分区表还在一台机器上,见 数据库优化的分层答法。
  • 主从复制不等于备份:误删数据会被同步到从库,备份要单独做。
  • 分库分表不是越早越好:过早拆分会让开发和运维成本大增。

和其他知识的连接 ​

自测 3 问 ​

Q1:用户改了昵称,刷新后还是旧昵称,可能是什么原因?怎么解决?

点开看答案

读写分离下,写进了主库,读的是还没同步到的从库(主从延迟)。解决:写后短时间内该用户的读请求走主库;这类对一致性敏感的读直接走主库;监控从库延迟。

Q2:订单表按 user_id 取模分到 4 个库。「查用户 42 的订单」和「按订单号查订单」分别要查几个库?后者怎么优化?

点开看答案

查用户 42 的订单:只查 42 % 4 = 2 号库。按订单号查:不知道在哪个库,要查全部 4 个。优化:建「订单号 → user_id」映射表,或者生成订单号时把 user_id 的分片信息编码进去,或者把订单同步到 ES 按订单号查。

Q3:分库以后为什么不能继续用自增 id?为什么不推荐 UUID?

点开看答案

各库自增会产生重复 id。UUID 唯一但无序、长度大,作为 InnoDB 主键会让 B+ 树频繁页分裂、索引变大。常用雪花算法:全局唯一、大致递增、可本地生成。

✅ 验收清单 ​

  • 能说出主从复制的 3 步,以及主从延迟的 3 种处理办法
  • 能对比垂直拆分和水平拆分
  • 能说出分片键的 3 个选择原则
  • 能说出分库分表的 4 个麻烦和各自的解法
  • 能解释为什么常用雪花算法生成分布式 id

下一步该懂什么 ​