Skip to content

02 · ETL 与增量同步:数据怎么进来、怎么重跑 ​

学完你能说出:

  • ETL 和 ELT 的区别,以及为什么大数据平台多用 ELT。
  • 全量同步和增量同步怎么选,增量的两种做法:按更新时间、读 binlog(CDC)。
  • 按天分区、重跑、幂等这三件事为什么总是一起出现。

先看地图 ​

上一篇讲了数仓的结构,这一篇讲数据怎么流进去、怎么一层层流转。本篇讲 5 个点:

① ETL 三步 → ② ETL vs ELT → ③ 全量 vs 增量 → ④ CDC:读 binlog → ⑤ 按天分区、重跑与幂等

一句话本质 ​

ETL = 把数据从源头抽出来、加工好、装进目标位置。工程上最要紧的三件事:只搬变化的部分(增量)、按天切开存(分区)、任务能放心重跑(幂等)。

生活类比 ​

买菜做饭:

  • ETL:冰箱小、厨房小,在菜市场就把菜洗好切好,只带要用的部分回家;
  • ELT:冰箱大、厨房好,整箱原样搬回家,想做什么菜再现洗现切;
  • 全量:每天把整个菜市场搬回家;增量:每天只买今天新到的和昨天换过价的。

一步步看 ​

1. ETL 三步 ​

步骤做什么例子
Extract 抽取从源系统读数据从 MySQL 订单表读 11 月 20 日的订单
Transform 转换清洗、标准化、关联、脱敏、汇总去重、「上海市」→「上海」、手机号打码、关联用户维度
Load 加载写进目标表写进 Hive 的 dt=2026-11-20 分区

2. ETL vs ELT ​

ETL(先转换再加载)ELT(先加载再转换)
时代传统数仓(Oracle 等)大数据平台(HDFS + Hive / Spark)
原因数仓存储贵、算力弱,只存洗好的数据,转换在单独的 ETL 工具里做HDFS 存储便宜,Spark / Hive 算力强,原始数据先全存进来
好处数仓里只有干净数据,占空间小保留原始数据:规则错了能重跑,有新需求能重新加工
坏处原始数据没留,规则错了要回源头重新抽占存储;敏感信息也进了平台,要管好权限

数仓的 ODS 层原样存储,本质上就是 ELT。日常口头上大家仍统称「ETL」。

3. 全量 vs 增量 ​

全量同步增量同步
做法每次把整张表搬过来只搬新增和修改的部分
适合小表、维度表(城市表 300 行、商品表 5 万行)大表、事实表(订单表每天新增 1000 万、累计几十亿)
优点简单,不会漏快、省资源,对源库压力小
难点大表太慢怎么找出「变化的部分」、怎么处理删除

增量的两种做法:

做法怎么做局限
按更新时间WHERE update_time >= '2026-11-20' AND update_time < '2026-11-21'依赖源表有可靠的更新时间字段;物理删除抓不到;一天内改了 3 次只能看到最后一次
CDC(读 binlog)用 Canal、Flink CDC 读 MySQL 的 binlog,拿到每一次增删改部署和运维更复杂,但删除和每一次变更都能拿到

增量数据进来后,同一个主键可能有多个版本。DWD 里常用「ROW_NUMBER() OVER (PARTITION BY 主键 ORDER BY 更新时间 DESC) 取第 1 条」得到最新状态,见 窗口函数经典题。

4. CDC:读 binlog 拿变更 ​

CDC(Change Data Capture,变更数据捕获):MySQL 每次增删改都会写 binlog(见 事务与 ACID),Canal 把自己伪装成 MySQL 的从库,接收 binlog,解析出「哪张表、哪一行、改之前是什么、改之后是什么」,再发到 Kafka,下游实时消费。

MySQL ──binlog──→ Canal ──→ Kafka ──→ Flink / Spark ──→ 数仓 / 实时大屏

好处:几乎不给业务库增加查询压力;能拿到删除和每一次中间变化;延迟秒级。

5. 按天分区、重跑与幂等 ​

这三件事总是一起出现:

  • 按天分区:每天的数据写进当天的分区(dt=2026-11-20);
  • 重跑:发现 11 月 20 日的清洗规则写错了,修好规则,只重跑这一天;
  • 幂等:同一天跑 1 次和跑 3 次,结果完全一样。

怎么做到幂等:

sql
INSERT OVERWRITE TABLE dwd_orders PARTITION (dt = '2026-11-20')   -- 覆盖写这一天的分区
SELECT ... FROM ods_orders WHERE dt = '2026-11-20';

用 INSERT OVERWRITE(覆盖)而不是 INSERT INTO(追加):重跑时先清掉这一天的旧数据再写,不会出现重复。对应到普通数据库,就是按主键 upsert(有就更新、没有就插入)。

补数:新上线一个指标,要算过去 90 天的历史,调度系统可以按日期依次跑这 90 个分区。前提也是任务按天分区、可重跑。

为什么这么设计 ​

为什么大数据平台用 ELT? ​

  • 问题:传统 ETL 只保留洗好的数据,规则写错或有新需求,只能回源系统重新抽,而源系统可能已经改了或删了数据。
  • 方案:存储便宜了,就先把原始数据原样加载进来(ODS),再在平台里用 SQL / Spark 转换。
  • 好处:原始数据永远在,规则改了能重跑,新需求能从原始数据重新加工;代价是多占存储、要管好敏感数据的权限。

一句话答法

区别在转换放在加载前还是后。传统数仓存储贵、算力弱,先转换再加载;大数据平台存储便宜、算力强,先把原始数据加载进来再转换,好处是保留原始数据,可以重跑和应对新需求。

为什么大表要增量同步? ​

  • 问题:订单表累计几十亿行,每天全量搬既慢又浪费,还会长时间占用源库资源。
  • 方案:按更新时间或读 binlog,只搬当天的新增和变化。
  • 好处:数据量从几十亿降到每天几百万到上千万,速度快、对源库压力小。

一句话答法

大表全量同步太慢、太占源库资源,所以按更新时间或读 binlog 只同步新增和变化的部分;小的维度表数据少,直接全量最简单可靠。

为什么任务必须幂等? ​

  • 问题:任务失败重试、规则修改后重跑、补历史数据都是家常便饭;如果用追加写,重跑一次数据就多一份,报表翻倍。
  • 方案:按天分区 + 覆盖写(INSERT OVERWRITE),或按主键 upsert。
  • 好处:跑几次结果都一样,出错可以放心重跑。

一句话答法

重试、重跑、补数是常态,任务必须幂等:按天分区、用 INSERT OVERWRITE 覆盖写当天分区,跑几次结果都一样。

英文术语拆解 ​

术语拆开看一句话意思
ETLExtract 抽取 + Transform 转换 + Load 加载先转换再加载
ELTExtract + Load + Transform先加载再转换
Full / Incremental全部的 / 增量的全量同步 / 增量同步
CDCChange 变更 + Data 数据 + Capture 捕获捕获业务库的每一次变化
IdempotentIdem 相同 + potent 有效力的幂等:做一次和做多次结果一样
BackfillBack 往回 + fill 填补数:补算历史日期的数据
UpsertUpdate 更新 + Insert 插入有就更新、没有就插入

面试怎么问 ​

Q:ETL 和 ELT 有什么区别?

区别在转换放在加载之前还是之后。传统数仓存储贵、算力弱,所以先在外部工具里转换好再加载;大数据平台存储便宜、Spark 和 Hive 算力强,就先把原始数据加载进来,再在平台里转换。ELT 的好处是保留原始数据,规则写错可以重跑,有新需求可以重新加工。

Q:全量和增量同步怎么选?增量怎么做?

小表和维度表全量,简单可靠;大表和事实表增量。增量一种是按更新时间字段抽取当天变化的数据,简单但抓不到物理删除;另一种是 CDC,用 Canal 或 Flink CDC 读 MySQL 的 binlog,能拿到每一次增删改,延迟低,但部署运维更复杂。增量进来后在 DWD 按主键取最新版本去重。

Q:任务失败了怎么重跑?怎么保证重跑不出错?

表按天分区,任务只处理并覆盖写当天的分区,用 INSERT OVERWRITE 而不是 INSERT INTO,这样重跑多少次结果都一样,也就是幂等。修好问题后从出错的那一层开始,只重跑受影响的日期,下游依赖由调度系统按顺序重新触发。

容易混的地方 ​

  • ETL 是统称:说「做 ETL」时,实际可能是 ELT 的做法。
  • 按更新时间增量抓不到删除:业务方用物理删除时,要么改成逻辑删除(加一个 is_deleted 字段),要么用 CDC。
  • INSERT OVERWRITE 只覆盖指定的分区:写对 PARTITION (dt = ...),否则可能覆盖整张表。
  • CDC ≠ 实时数仓:CDC 是采集方式,拿到的变更也可以按天批量处理。

和其他知识的连接 ​

自测 3 问 ​

Q1:订单表每天新增 1000 万行、累计 30 亿行;城市表 300 行。各用全量还是增量?为什么?

点开看答案

订单表用增量:全量每天搬 30 亿行太慢、太占源库资源,只搬当天新增和修改的。城市表用全量:只有 300 行,全量最简单,也不会漏掉删除和修改。

Q2:按 update_time 做增量,有什么情况抓不到?怎么办?

点开看答案

物理删除的行抓不到(删了就没有 update_time 了);一天内多次修改只能看到最后一次。办法:让业务方改成逻辑删除,或者用 CDC 读 binlog 拿到每一次变更。

Q3:每天的任务用 INSERT INTO 写当天分区,失败重跑后报表金额翻倍。为什么?怎么改?

点开看答案

INSERT INTO 是追加,重跑一次数据就多一份。改成 INSERT OVERWRITE ... PARTITION (dt = '当天') 覆盖写当天分区,任务就幂等了。

✅ 验收清单 ​

  • 能说出 ETL 三步,并对比 ETL 和 ELT
  • 能根据表的大小选全量还是增量,并说出增量的 2 种做法和各自局限
  • 能画出 MySQL → Canal → Kafka → 计算的 CDC 链路
  • 能讲清按天分区、重跑、幂等的关系,并写出 INSERT OVERWRITE

下一步该懂什么 ​