深色模式
01 · 数仓分层与建模:ODS、DWD、DWS、ADS
学完你能说出:
- OLTP 和 OLAP 的区别,数据仓库是干什么的。
- 数仓四层每层存什么、做什么处理、粒度是什么,以及分层的 5 个作用:复用、统一、定位、隔离、拆解。
- 事实表和维度表、星型和雪花模型、缓慢变化维(拉链表)。
先看地图
平台全景里,数据进了 Hive 以后,要按一定的结构组织起来,这就是数据仓库。本篇讲 5 个点:
① 为什么要数仓 → ② 四层(追一条订单)→ ③ 分层的 5 个作用 → ④ 粒度、事实表和维度表 → ⑤ 星型 / 雪花模型、缓慢变化维
一句话本质
数据仓库 = 专门用来分析的数据库:把各处的数据集中过来,按「原始 → 清洗 → 汇总 → 应用」一层层加工,用「事实表 + 维度表」组织,让报表又快又准、口径一致。
生活类比
一家食品厂的流水线:
- ODS:原材料仓库,供应商送来什么就存什么,带泥的土豆也不洗(出了问题能追溯、能重新加工);
- DWD:清洗车间,洗干净、去坏的、切成统一规格,但每个土豆还是一个一个的;
- DWS:半成品车间,按菜品做成料包(「宫保鸡丁料包」),很多道菜都能直接用;
- ADS:成品,装盒贴标签,直接送到某家门店。
一步步看
1. 为什么要数仓:OLTP vs OLAP
| OLTP(业务库) | OLAP(数仓) | |
|---|---|---|
| 例子 | MySQL 订单库 | Hive、ClickHouse |
| 一次操作 | 读写几行(下一单) | 扫几百万行(算全年销售额) |
| 关注 | 快、准、并发高 | 能算大批量、口径一致、能追溯历史 |
| 数据 | 只有当前状态 | 保留历史 |
老板问「上个月每个城市的销售额」,直接查业务库有三个麻烦:数据散在多个系统、数据脏(「上海」和「上海市」)、大查询拖慢业务。数仓就是来解决这三个问题的。
2. 四层:追一条订单
| 层 | 全称 | 存什么 | 做什么处理 | 粒度 | 例子 |
|---|---|---|---|---|---|
| ODS | Operational Data Store,原始数据层(贴源层) | 业务系统原样同步来的数据 | 不改,原样落地,按天分区 | 和源表一样 | 订单 1001 重复两行,城市写着「上海市 」 |
| DWD | Data Warehouse Detail,明细层 | 清洗后的规范明细 | 去重、统一格式、处理空值和异常、脱敏 | 一行一单(粒度不变) | 1001 只剩一行,城市统一成「上海」 |
| DWS | Data Warehouse Summary,汇总层 | 按主题汇总的公共结果 | 按维度聚合(天 × 城市、天 × 用户) | 变粗:一行 = 一天一个城市 | 11-18 上海 3520 单、71.2 万 |
| ADS | Application Data Service,应用层 | 某张报表、某个接口要的结果 | 按需求最终加工、排名、指标计算 | 按报表需要 | 11 月城市销售额排行 |
ODS 为什么原样存:清洗规则写错了,能从 ODS 重跑,不用再去业务系统抽;有争议时能拿原始数据对账;业务系统里的数据可能已经被修改或删除,ODS 是唯一的原始记录。
3. 分层的 5 个作用:复用、统一、定位、隔离、拆解
| 作用 | 意思 | 例子 |
|---|---|---|
| 复用 | 公共汇总在 DWS 算一次,下游直接用 | 10 张报表都要「每天各城市销售额」,只算一次 |
| 统一 | 指标口径只在一个地方定义 | 不会出现财务说销售额 100 万、运营说 98 万 |
| 定位 | 出错逐层往回查,从出错的那层重跑 | 报表数不对 → 查 DWS → 查 DWD → 发现清洗规则错了,修好后从 DWD 重跑,不用再去源系统抽数 |
| 隔离 | 源系统变化只影响 ODS → DWD 这一段 | 业务库把 user_name 改成 uname,只改 DWD 的映射,上层报表不受影响 |
| 拆解 | 每层只做一件事 | 复杂需求不用写成一条几百行的 SQL,拆成几步,每步好写、好测 |
答题顺序:被问「分层的作用」时,先说作用,再讲每层是什么;前三个最重要。
4. 粒度、事实表、维度表
粒度(Grain):一行数据代表什么。「一行 = 一笔订单」比「一行 = 一天一个城市」粒度更细。建表第一件事就是定粒度,粒度不清,求和就会重复或遗漏。
维度建模把表分成两种:
| 事实表 | 维度表 | |
|---|---|---|
| 记录什么 | 发生了什么事(业务过程) | 事情的背景:谁、什么、哪里、何时 |
| 主要内容 | 外键 + 度量(能加减的数字:金额、数量) | 描述性属性:姓名、品类、城市、是否节假日 |
| 行数 | 很多,不断增长 | 相对少,变化慢 |
| 例子 | 订单事实表:订单号、用户 id、商品 id、日期、金额、数量 | 用户维度表、商品维度表、日期维度表 |
一句话区分:事实表是「账本」,维度表是「通讯录」。账本只写「u7 买了 p3 花了 199」,要知道 u7 是谁,去通讯录查。
5. 星型、雪花、缓慢变化维
用户维度
│
商品维度 ── 订单事实 ── 日期维度 星型:维度表直接挂在事实表上
│
城市维度| 星型模型 | 雪花模型 | |
|---|---|---|
| 结构 | 维度表直接连事实表,一层 | 维度表再拆子维度(商品 → 品类 → 大类) |
| join | 少,查询快 | 多,查询慢 |
| 存储 | 维度有冗余 | 省空间 |
| 用得多吗 | 数仓最常用 | 较少 |
缓慢变化维(SCD,Slowly Changing Dimension):用户 u7 从上海搬到杭州,用户维度表怎么改?
| 做法 | 效果 |
|---|---|
| 直接覆盖成杭州 | 简单,但历史订单也会被算成「杭州的订单」 |
| 新增一行,记录生效起止时间(拉链表) | 能还原「下单那天他住在哪」,数仓常用 |
拉链表的样子:
| user_id | city | start_date | end_date |
|---|---|---|---|
| u7 | 上海 | 2025-01-01 | 2026-11-19 |
| u7 | 杭州 | 2026-11-20 | 9999-12-31 |
查「11 月 1 日 u7 住哪」:找 start_date <= '2026-11-01' AND end_date >= '2026-11-01' 的那一行 → 上海。
为什么这么设计
为什么要分层,直接从原始数据写报表不行吗?
- 问题:每张报表都从原始数据写一遍清洗逻辑,规则各写各的,同一个「销售额」在两张报表里对不上;原始数据一改格式,几十个脚本全要改;出错了也不知道是哪一步。
- 方案:清洗只在 DWD 做一次,汇总只在 DWS 做一次,上层直接复用。
- 好处:复用、口径统一、出错能逐层定位和重跑,还隔离了源系统的变化。
一句话答法
数仓分层主要有三个作用:一是复用,公共汇总在 DWS 算一次,多张报表都能用;二是口径统一,指标只在一个地方定义;三是方便定位和重跑,出错可以逐层往回查,ODS 保留原始数据,规则改了从中间层重跑即可。另外还能隔离源系统变化、把复杂问题拆成几步。
为什么数仓常用星型模型,而不是雪花模型?
- 问题:分析查询要关联很多维度,join 越多越慢;而数仓的存储相对便宜。
- 方案:维度表不再拆分,直接挂在事实表上,允许适度冗余。
- 好处:join 少、SQL 简单、查询快;用一点存储换查询性能。
一句话答法
星型模型维度表直接挂在事实表上,join 少、查询快;雪花模型省空间但 join 多。数仓存储便宜、查询多,所以常用星型。
为什么要用拉链表处理缓慢变化维?
- 问题:直接覆盖维度属性,历史分析就会错:用户搬家后,他以前的订单都被算到新城市。
- 方案:属性变化时新增一行,用生效起止时间标明每个版本的有效期。
- 好处:能还原任意历史时点的状态;比每天存一份全量快照省空间。
一句话答法
直接覆盖会把历史数据也改成新值,拉链表在变化时新增一行并记录生效起止时间,能还原任意时点的状态,又比每天存全量快照省空间。
英文术语拆解
| 术语 | 拆开看 | 一句话意思 |
|---|---|---|
| Data Warehouse | Data 数据 + Warehouse 仓库 | 面向分析的数据库 |
| ODS | Operational 操作的 + Data 数据 + Store 存储 | 原始数据层 |
| DWD | Data Warehouse + Detail 明细 | 明细层 |
| DWS | Data Warehouse + Summary 汇总 | 汇总层 |
| ADS | Application 应用 + Data 数据 + Service 服务 | 应用层 |
| Fact / Dimension | 事实 / 维度 | 事实表 / 维度表 |
| Grain | 颗粒 | 粒度:一行代表什么 |
| SCD | Slowly 缓慢 + Changing 变化 + Dimension 维度 | 缓慢变化维 |
面试怎么问
Q:解释一下数仓的四层。
ODS 原始层:从业务系统原样同步,不做修改,按天分区,保留原始数据方便重跑和对账;DWD 明细层:去重、统一格式、处理空值和异常,仍是一行一条明细;DWS 汇总层:按主题、按维度提前汇总,比如一天一个城市一行,供多张报表复用;ADS 应用层:面向具体报表和接口的最终结果。最后补一句分层的作用:复用、口径统一、方便定位问题,还能隔离源系统变化。
Q:数仓为什么要分层?(注意题型:问作用,先答作用)
主要三个作用:复用,公共汇总在 DWS 算一次,多张报表直接用;口径统一,指标只在一个地方定义;方便定位和重跑,出错逐层往回查,ODS 留着原始数据,规则改了从中间层重跑就行,不用重新抽源数据。另外能隔离源系统变化,把复杂需求拆成几步。具体来说,ODS 原样存……(再讲四层)。
Q:事实表和维度表有什么区别?什么是星型模型?
事实表记录业务过程,包含外键和可加的度量,比如订单的金额、数量,行数多、持续增长;维度表描述背景信息,比如用户、商品、日期,行数少、变化慢。星型模型是事实表在中心,维度表直接关联在周围,join 少、查询快,是数仓最常用的模型;雪花模型把维度再拆成子维度,省空间但 join 多。
Q:什么是缓慢变化维?怎么处理?
维度属性随时间缓慢变化,比如用户换了城市。直接覆盖会导致历史分析出错;常用拉链表,变化时新增一行并记录生效开始和结束时间,查询某个时点时按时间区间过滤,就能还原当时的状态。
容易混的地方
- 是 ODS,不是 OBS:OBS 是某些云厂商的对象存储服务名,和数仓分层无关。
- DWD 粒度不变,DWS 粒度变粗:DWD 仍是一行一单。
- 分层不是越多越好:小公司可能只有三层,甚至在 DWD 和 DWS 之间再加 DIM(公共维度层),按需求来。
- 课程项目「借鉴了分层思路」≠「搭了数仓」:面试时要如实说。
和其他知识的连接
- ← 来自 Hive 表:每一层都是一组按天分区的 Hive 表。
- ← 来自 一张总图:OLTP 和 OLAP 为什么要分开。
- → 影响 ETL 与增量同步:数据怎么进 ODS、怎么一层层跑。
- → 影响 数据质量与治理:每一层跑完都要做质量检查。
- → 影响 示范:数据平台与数仓:用系统设计骨架把数仓讲一遍。
自测 3 问
Q1:ODS、DWD、DWS、ADS 各用一句话说,并说出各自的粒度。
点开看答案
ODS:原样存放业务数据,粒度和源表一样;DWD:清洗、去重、统一格式的明细,仍是一行一条(粒度不变);DWS:按主题和维度汇总,粒度变粗(如一天一个城市一行);ADS:为具体报表准备的结果,粒度按报表需要。
Q2:「订单金额」放事实表还是维度表?「商品品牌」呢?
点开看答案
订单金额是可以加总的度量,放事实表;商品品牌是描述商品的属性,放商品维度表。
Q3:用户 u7 在 11 月 20 日从上海搬到杭州。用拉链表怎么存?查 11 月 1 日他在哪,怎么写条件?
点开看答案
两行:(u7, 上海, 2025-01-01, 2026-11-19) 和 (u7, 杭州, 2026-11-20, 9999-12-31)。查询条件:start_date <= '2026-11-01' AND end_date >= '2026-11-01',得到上海。
✅ 验收清单
- 能说出 OLTP 和 OLAP 的 3 个区别
- 能追一条订单讲完四层,每层说出存什么、做什么、粒度
- 能先说分层的作用(至少前 3 个),再讲每层是什么
- 能区分事实表和维度表,并画出一个星型模型
- 能画出拉链表,并写出查询某个时点状态的条件
下一步该懂什么
- 数据怎么进 ODS、怎么一层层跑、出错怎么重跑 → ETL 与增量同步