深色模式
02 · ETL 与增量同步:数据怎么进来、怎么重跑
学完你能说出:
- ETL 和 ELT 的区别,以及为什么大数据平台多用 ELT。
- 全量同步和增量同步怎么选,增量的两种做法:按更新时间、读 binlog(CDC)。
- 按天分区、重跑、幂等这三件事为什么总是一起出现。
先看地图
上一篇讲了数仓的结构,这一篇讲数据怎么流进去、怎么一层层流转。本篇讲 5 个点:
① ETL 三步 → ② ETL vs ELT → ③ 全量 vs 增量 → ④ CDC:读 binlog → ⑤ 按天分区、重跑与幂等
一句话本质
ETL = 把数据从源头抽出来、加工好、装进目标位置。工程上最要紧的三件事:只搬变化的部分(增量)、按天切开存(分区)、任务能放心重跑(幂等)。
生活类比
买菜做饭:
- ETL:冰箱小、厨房小,在菜市场就把菜洗好切好,只带要用的部分回家;
- ELT:冰箱大、厨房好,整箱原样搬回家,想做什么菜再现洗现切;
- 全量:每天把整个菜市场搬回家;增量:每天只买今天新到的和昨天换过价的。
一步步看
1. ETL 三步
| 步骤 | 做什么 | 例子 |
|---|---|---|
| Extract 抽取 | 从源系统读数据 | 从 MySQL 订单表读 11 月 20 日的订单 |
| Transform 转换 | 清洗、标准化、关联、脱敏、汇总 | 去重、「上海市」→「上海」、手机号打码、关联用户维度 |
| Load 加载 | 写进目标表 | 写进 Hive 的 dt=2026-11-20 分区 |
2. ETL vs ELT
| ETL(先转换再加载) | ELT(先加载再转换) | |
|---|---|---|
| 时代 | 传统数仓(Oracle 等) | 大数据平台(HDFS + Hive / Spark) |
| 原因 | 数仓存储贵、算力弱,只存洗好的数据,转换在单独的 ETL 工具里做 | HDFS 存储便宜,Spark / Hive 算力强,原始数据先全存进来 |
| 好处 | 数仓里只有干净数据,占空间小 | 保留原始数据:规则错了能重跑,有新需求能重新加工 |
| 坏处 | 原始数据没留,规则错了要回源头重新抽 | 占存储;敏感信息也进了平台,要管好权限 |
数仓的 ODS 层原样存储,本质上就是 ELT。日常口头上大家仍统称「ETL」。
3. 全量 vs 增量
| 全量同步 | 增量同步 | |
|---|---|---|
| 做法 | 每次把整张表搬过来 | 只搬新增和修改的部分 |
| 适合 | 小表、维度表(城市表 300 行、商品表 5 万行) | 大表、事实表(订单表每天新增 1000 万、累计几十亿) |
| 优点 | 简单,不会漏 | 快、省资源,对源库压力小 |
| 难点 | 大表太慢 | 怎么找出「变化的部分」、怎么处理删除 |
增量的两种做法:
| 做法 | 怎么做 | 局限 |
|---|---|---|
| 按更新时间 | WHERE update_time >= '2026-11-20' AND update_time < '2026-11-21' | 依赖源表有可靠的更新时间字段;物理删除抓不到;一天内改了 3 次只能看到最后一次 |
| CDC(读 binlog) | 用 Canal、Flink CDC 读 MySQL 的 binlog,拿到每一次增删改 | 部署和运维更复杂,但删除和每一次变更都能拿到 |
增量数据进来后,同一个主键可能有多个版本。DWD 里常用「ROW_NUMBER() OVER (PARTITION BY 主键 ORDER BY 更新时间 DESC) 取第 1 条」得到最新状态,见 窗口函数经典题。
4. CDC:读 binlog 拿变更
CDC(Change Data Capture,变更数据捕获):MySQL 每次增删改都会写 binlog(见 事务与 ACID),Canal 把自己伪装成 MySQL 的从库,接收 binlog,解析出「哪张表、哪一行、改之前是什么、改之后是什么」,再发到 Kafka,下游实时消费。
MySQL ──binlog──→ Canal ──→ Kafka ──→ Flink / Spark ──→ 数仓 / 实时大屏好处:几乎不给业务库增加查询压力;能拿到删除和每一次中间变化;延迟秒级。
5. 按天分区、重跑与幂等
这三件事总是一起出现:
- 按天分区:每天的数据写进当天的分区(
dt=2026-11-20); - 重跑:发现 11 月 20 日的清洗规则写错了,修好规则,只重跑这一天;
- 幂等:同一天跑 1 次和跑 3 次,结果完全一样。
怎么做到幂等:
sql
INSERT OVERWRITE TABLE dwd_orders PARTITION (dt = '2026-11-20') -- 覆盖写这一天的分区
SELECT ... FROM ods_orders WHERE dt = '2026-11-20';用 INSERT OVERWRITE(覆盖)而不是 INSERT INTO(追加):重跑时先清掉这一天的旧数据再写,不会出现重复。对应到普通数据库,就是按主键 upsert(有就更新、没有就插入)。
补数:新上线一个指标,要算过去 90 天的历史,调度系统可以按日期依次跑这 90 个分区。前提也是任务按天分区、可重跑。
为什么这么设计
为什么大数据平台用 ELT?
- 问题:传统 ETL 只保留洗好的数据,规则写错或有新需求,只能回源系统重新抽,而源系统可能已经改了或删了数据。
- 方案:存储便宜了,就先把原始数据原样加载进来(ODS),再在平台里用 SQL / Spark 转换。
- 好处:原始数据永远在,规则改了能重跑,新需求能从原始数据重新加工;代价是多占存储、要管好敏感数据的权限。
一句话答法
区别在转换放在加载前还是后。传统数仓存储贵、算力弱,先转换再加载;大数据平台存储便宜、算力强,先把原始数据加载进来再转换,好处是保留原始数据,可以重跑和应对新需求。
为什么大表要增量同步?
- 问题:订单表累计几十亿行,每天全量搬既慢又浪费,还会长时间占用源库资源。
- 方案:按更新时间或读 binlog,只搬当天的新增和变化。
- 好处:数据量从几十亿降到每天几百万到上千万,速度快、对源库压力小。
一句话答法
大表全量同步太慢、太占源库资源,所以按更新时间或读 binlog 只同步新增和变化的部分;小的维度表数据少,直接全量最简单可靠。
为什么任务必须幂等?
- 问题:任务失败重试、规则修改后重跑、补历史数据都是家常便饭;如果用追加写,重跑一次数据就多一份,报表翻倍。
- 方案:按天分区 + 覆盖写(
INSERT OVERWRITE),或按主键 upsert。 - 好处:跑几次结果都一样,出错可以放心重跑。
一句话答法
重试、重跑、补数是常态,任务必须幂等:按天分区、用 INSERT OVERWRITE 覆盖写当天分区,跑几次结果都一样。
英文术语拆解
| 术语 | 拆开看 | 一句话意思 |
|---|---|---|
| ETL | Extract 抽取 + Transform 转换 + Load 加载 | 先转换再加载 |
| ELT | Extract + Load + Transform | 先加载再转换 |
| Full / Incremental | 全部的 / 增量的 | 全量同步 / 增量同步 |
| CDC | Change 变更 + Data 数据 + Capture 捕获 | 捕获业务库的每一次变化 |
| Idempotent | Idem 相同 + potent 有效力的 | 幂等:做一次和做多次结果一样 |
| Backfill | Back 往回 + fill 填 | 补数:补算历史日期的数据 |
| Upsert | Update 更新 + Insert 插入 | 有就更新、没有就插入 |
面试怎么问
Q:ETL 和 ELT 有什么区别?
区别在转换放在加载之前还是之后。传统数仓存储贵、算力弱,所以先在外部工具里转换好再加载;大数据平台存储便宜、Spark 和 Hive 算力强,就先把原始数据加载进来,再在平台里转换。ELT 的好处是保留原始数据,规则写错可以重跑,有新需求可以重新加工。
Q:全量和增量同步怎么选?增量怎么做?
小表和维度表全量,简单可靠;大表和事实表增量。增量一种是按更新时间字段抽取当天变化的数据,简单但抓不到物理删除;另一种是 CDC,用 Canal 或 Flink CDC 读 MySQL 的 binlog,能拿到每一次增删改,延迟低,但部署运维更复杂。增量进来后在 DWD 按主键取最新版本去重。
Q:任务失败了怎么重跑?怎么保证重跑不出错?
表按天分区,任务只处理并覆盖写当天的分区,用 INSERT OVERWRITE 而不是 INSERT INTO,这样重跑多少次结果都一样,也就是幂等。修好问题后从出错的那一层开始,只重跑受影响的日期,下游依赖由调度系统按顺序重新触发。
容易混的地方
- ETL 是统称:说「做 ETL」时,实际可能是 ELT 的做法。
- 按更新时间增量抓不到删除:业务方用物理删除时,要么改成逻辑删除(加一个 is_deleted 字段),要么用 CDC。
- INSERT OVERWRITE 只覆盖指定的分区:写对
PARTITION (dt = ...),否则可能覆盖整张表。 - CDC ≠ 实时数仓:CDC 是采集方式,拿到的变更也可以按天批量处理。
和其他知识的连接
- ← 来自 事务与 ACID:binlog 是 CDC 的数据来源。
- ← 来自 Hive 表:按天分区和 INSERT OVERWRITE。
- ← 来自 工程落地 5 个「能」:幂等就是「能稳」的核心。
- → 影响 数据质量与治理:每次 ETL 跑完都要检查质量。
自测 3 问
Q1:订单表每天新增 1000 万行、累计 30 亿行;城市表 300 行。各用全量还是增量?为什么?
点开看答案
订单表用增量:全量每天搬 30 亿行太慢、太占源库资源,只搬当天新增和修改的。城市表用全量:只有 300 行,全量最简单,也不会漏掉删除和修改。
Q2:按 update_time 做增量,有什么情况抓不到?怎么办?
点开看答案
物理删除的行抓不到(删了就没有 update_time 了);一天内多次修改只能看到最后一次。办法:让业务方改成逻辑删除,或者用 CDC 读 binlog 拿到每一次变更。
Q3:每天的任务用 INSERT INTO 写当天分区,失败重跑后报表金额翻倍。为什么?怎么改?
点开看答案
INSERT INTO 是追加,重跑一次数据就多一份。改成 INSERT OVERWRITE ... PARTITION (dt = '当天') 覆盖写当天分区,任务就幂等了。
✅ 验收清单
- 能说出 ETL 三步,并对比 ETL 和 ELT
- 能根据表的大小选全量还是增量,并说出增量的 2 种做法和各自局限
- 能画出 MySQL → Canal → Kafka → 计算的 CDC 链路
- 能讲清按天分区、重跑、幂等的关系,并写出 INSERT OVERWRITE
下一步该懂什么
- 数据进来以后,怎么判断它可不可信 → 数据质量与治理