Skip to content

01 · 数仓分层与建模:ODS、DWD、DWS、ADS ​

学完你能说出:

  • OLTP 和 OLAP 的区别,数据仓库是干什么的。
  • 数仓四层每层存什么、做什么处理、粒度是什么,以及分层的 5 个作用:复用、统一、定位、隔离、拆解。
  • 事实表和维度表、星型和雪花模型、缓慢变化维(拉链表)。

先看地图 ​

平台全景里,数据进了 Hive 以后,要按一定的结构组织起来,这就是数据仓库。本篇讲 5 个点:

① 为什么要数仓 → ② 四层(追一条订单)→ ③ 分层的 5 个作用 → ④ 粒度、事实表和维度表 → ⑤ 星型 / 雪花模型、缓慢变化维

一句话本质 ​

数据仓库 = 专门用来分析的数据库:把各处的数据集中过来,按「原始 → 清洗 → 汇总 → 应用」一层层加工,用「事实表 + 维度表」组织,让报表又快又准、口径一致。

生活类比 ​

一家食品厂的流水线:

  • ODS:原材料仓库,供应商送来什么就存什么,带泥的土豆也不洗(出了问题能追溯、能重新加工);
  • DWD:清洗车间,洗干净、去坏的、切成统一规格,但每个土豆还是一个一个的;
  • DWS:半成品车间,按菜品做成料包(「宫保鸡丁料包」),很多道菜都能直接用;
  • ADS:成品,装盒贴标签,直接送到某家门店。

一步步看 ​

1. 为什么要数仓:OLTP vs OLAP ​

OLTP(业务库)OLAP(数仓)
例子MySQL 订单库Hive、ClickHouse
一次操作读写几行(下一单)扫几百万行(算全年销售额)
关注快、准、并发高能算大批量、口径一致、能追溯历史
数据只有当前状态保留历史

老板问「上个月每个城市的销售额」,直接查业务库有三个麻烦:数据散在多个系统、数据脏(「上海」和「上海市」)、大查询拖慢业务。数仓就是来解决这三个问题的。

2. 四层:追一条订单 ​

← 左右滑动看完整图 →ODS 原始层原样存,不改1001 | 上海市␣ | "199.00" | 2026/11/181001 重复一行;1002 金额 -5DWD 明细层清洗、统一格式1001 | 上海 | 199.00 | 2026-11-18一行一单(粒度不变)DWS 汇总层按主题汇总、复用2026-11-18 | 上海 | 3520 单 | 71.2 万一行 = 一天一个城市ADS 应用层为报表准备结果11 月城市销售额排行:上海 1、北京 2直接给 BI / 接口用分层的作用:复用(DWS 算一次大家用)· 统一(口径一处定义)· 定位(逐层排查)· 隔离(源变只改 ODS→DWD)· 拆解
追一条订单穿过数仓四层:ODS 原样落地(重复、脏数据都留着)→ DWD 去重、统一格式、剔除异常,仍是一行一单 → DWS 按「天 × 城市」汇总,粒度变粗、多张报表共用 → ADS 为某张报表准备好最终结果。
层全称存什么做什么处理粒度例子
ODSOperational Data Store,原始数据层(贴源层)业务系统原样同步来的数据不改,原样落地,按天分区和源表一样订单 1001 重复两行,城市写着「上海市 」
DWDData Warehouse Detail,明细层清洗后的规范明细去重、统一格式、处理空值和异常、脱敏一行一单(粒度不变)1001 只剩一行,城市统一成「上海」
DWSData Warehouse Summary,汇总层按主题汇总的公共结果按维度聚合(天 × 城市、天 × 用户)变粗:一行 = 一天一个城市11-18 上海 3520 单、71.2 万
ADSApplication Data Service,应用层某张报表、某个接口要的结果按需求最终加工、排名、指标计算按报表需要11 月城市销售额排行

ODS 为什么原样存:清洗规则写错了,能从 ODS 重跑,不用再去业务系统抽;有争议时能拿原始数据对账;业务系统里的数据可能已经被修改或删除,ODS 是唯一的原始记录。

3. 分层的 5 个作用:复用、统一、定位、隔离、拆解 ​

作用意思例子
复用公共汇总在 DWS 算一次,下游直接用10 张报表都要「每天各城市销售额」,只算一次
统一指标口径只在一个地方定义不会出现财务说销售额 100 万、运营说 98 万
定位出错逐层往回查,从出错的那层重跑报表数不对 → 查 DWS → 查 DWD → 发现清洗规则错了,修好后从 DWD 重跑,不用再去源系统抽数
隔离源系统变化只影响 ODS → DWD 这一段业务库把 user_name 改成 uname,只改 DWD 的映射,上层报表不受影响
拆解每层只做一件事复杂需求不用写成一条几百行的 SQL,拆成几步,每步好写、好测

答题顺序:被问「分层的作用」时,先说作用,再讲每层是什么;前三个最重要。

4. 粒度、事实表、维度表 ​

粒度(Grain):一行数据代表什么。「一行 = 一笔订单」比「一行 = 一天一个城市」粒度更细。建表第一件事就是定粒度,粒度不清,求和就会重复或遗漏。

维度建模把表分成两种:

事实表维度表
记录什么发生了什么事(业务过程)事情的背景:谁、什么、哪里、何时
主要内容外键 + 度量(能加减的数字:金额、数量)描述性属性:姓名、品类、城市、是否节假日
行数很多,不断增长相对少,变化慢
例子订单事实表:订单号、用户 id、商品 id、日期、金额、数量用户维度表、商品维度表、日期维度表

一句话区分:事实表是「账本」,维度表是「通讯录」。账本只写「u7 买了 p3 花了 199」,要知道 u7 是谁,去通讯录查。

5. 星型、雪花、缓慢变化维 ​

             用户维度
                │
  商品维度 ── 订单事实 ── 日期维度          星型:维度表直接挂在事实表上
                │
             城市维度
星型模型雪花模型
结构维度表直接连事实表,一层维度表再拆子维度(商品 → 品类 → 大类)
join少,查询快多,查询慢
存储维度有冗余省空间
用得多吗数仓最常用较少

缓慢变化维(SCD,Slowly Changing Dimension):用户 u7 从上海搬到杭州,用户维度表怎么改?

做法效果
直接覆盖成杭州简单,但历史订单也会被算成「杭州的订单」
新增一行,记录生效起止时间(拉链表)能还原「下单那天他住在哪」,数仓常用

拉链表的样子:

user_idcitystart_dateend_date
u7上海2025-01-012026-11-19
u7杭州2026-11-209999-12-31

查「11 月 1 日 u7 住哪」:找 start_date <= '2026-11-01' AND end_date >= '2026-11-01' 的那一行 → 上海。

为什么这么设计 ​

为什么要分层,直接从原始数据写报表不行吗? ​

  • 问题:每张报表都从原始数据写一遍清洗逻辑,规则各写各的,同一个「销售额」在两张报表里对不上;原始数据一改格式,几十个脚本全要改;出错了也不知道是哪一步。
  • 方案:清洗只在 DWD 做一次,汇总只在 DWS 做一次,上层直接复用。
  • 好处:复用、口径统一、出错能逐层定位和重跑,还隔离了源系统的变化。

一句话答法

数仓分层主要有三个作用:一是复用,公共汇总在 DWS 算一次,多张报表都能用;二是口径统一,指标只在一个地方定义;三是方便定位和重跑,出错可以逐层往回查,ODS 保留原始数据,规则改了从中间层重跑即可。另外还能隔离源系统变化、把复杂问题拆成几步。

为什么数仓常用星型模型,而不是雪花模型? ​

  • 问题:分析查询要关联很多维度,join 越多越慢;而数仓的存储相对便宜。
  • 方案:维度表不再拆分,直接挂在事实表上,允许适度冗余。
  • 好处:join 少、SQL 简单、查询快;用一点存储换查询性能。

一句话答法

星型模型维度表直接挂在事实表上,join 少、查询快;雪花模型省空间但 join 多。数仓存储便宜、查询多,所以常用星型。

为什么要用拉链表处理缓慢变化维? ​

  • 问题:直接覆盖维度属性,历史分析就会错:用户搬家后,他以前的订单都被算到新城市。
  • 方案:属性变化时新增一行,用生效起止时间标明每个版本的有效期。
  • 好处:能还原任意历史时点的状态;比每天存一份全量快照省空间。

一句话答法

直接覆盖会把历史数据也改成新值,拉链表在变化时新增一行并记录生效起止时间,能还原任意时点的状态,又比每天存全量快照省空间。

英文术语拆解 ​

术语拆开看一句话意思
Data WarehouseData 数据 + Warehouse 仓库面向分析的数据库
ODSOperational 操作的 + Data 数据 + Store 存储原始数据层
DWDData Warehouse + Detail 明细明细层
DWSData Warehouse + Summary 汇总汇总层
ADSApplication 应用 + Data 数据 + Service 服务应用层
Fact / Dimension事实 / 维度事实表 / 维度表
Grain颗粒粒度:一行代表什么
SCDSlowly 缓慢 + Changing 变化 + Dimension 维度缓慢变化维

面试怎么问 ​

Q:解释一下数仓的四层。

ODS 原始层:从业务系统原样同步,不做修改,按天分区,保留原始数据方便重跑和对账;DWD 明细层:去重、统一格式、处理空值和异常,仍是一行一条明细;DWS 汇总层:按主题、按维度提前汇总,比如一天一个城市一行,供多张报表复用;ADS 应用层:面向具体报表和接口的最终结果。最后补一句分层的作用:复用、口径统一、方便定位问题,还能隔离源系统变化。

Q:数仓为什么要分层?(注意题型:问作用,先答作用)

主要三个作用:复用,公共汇总在 DWS 算一次,多张报表直接用;口径统一,指标只在一个地方定义;方便定位和重跑,出错逐层往回查,ODS 留着原始数据,规则改了从中间层重跑就行,不用重新抽源数据。另外能隔离源系统变化,把复杂需求拆成几步。具体来说,ODS 原样存……(再讲四层)。

Q:事实表和维度表有什么区别?什么是星型模型?

事实表记录业务过程,包含外键和可加的度量,比如订单的金额、数量,行数多、持续增长;维度表描述背景信息,比如用户、商品、日期,行数少、变化慢。星型模型是事实表在中心,维度表直接关联在周围,join 少、查询快,是数仓最常用的模型;雪花模型把维度再拆成子维度,省空间但 join 多。

Q:什么是缓慢变化维?怎么处理?

维度属性随时间缓慢变化,比如用户换了城市。直接覆盖会导致历史分析出错;常用拉链表,变化时新增一行并记录生效开始和结束时间,查询某个时点时按时间区间过滤,就能还原当时的状态。

容易混的地方 ​

  • 是 ODS,不是 OBS:OBS 是某些云厂商的对象存储服务名,和数仓分层无关。
  • DWD 粒度不变,DWS 粒度变粗:DWD 仍是一行一单。
  • 分层不是越多越好:小公司可能只有三层,甚至在 DWD 和 DWS 之间再加 DIM(公共维度层),按需求来。
  • 课程项目「借鉴了分层思路」≠「搭了数仓」:面试时要如实说。

和其他知识的连接 ​

自测 3 问 ​

Q1:ODS、DWD、DWS、ADS 各用一句话说,并说出各自的粒度。

点开看答案

ODS:原样存放业务数据,粒度和源表一样;DWD:清洗、去重、统一格式的明细,仍是一行一条(粒度不变);DWS:按主题和维度汇总,粒度变粗(如一天一个城市一行);ADS:为具体报表准备的结果,粒度按报表需要。

Q2:「订单金额」放事实表还是维度表?「商品品牌」呢?

点开看答案

订单金额是可以加总的度量,放事实表;商品品牌是描述商品的属性,放商品维度表。

Q3:用户 u7 在 11 月 20 日从上海搬到杭州。用拉链表怎么存?查 11 月 1 日他在哪,怎么写条件?

点开看答案

两行:(u7, 上海, 2025-01-01, 2026-11-19) 和 (u7, 杭州, 2026-11-20, 9999-12-31)。查询条件:start_date <= '2026-11-01' AND end_date >= '2026-11-01',得到上海。

✅ 验收清单 ​

  • 能说出 OLTP 和 OLAP 的 3 个区别
  • 能追一条订单讲完四层,每层说出存什么、做什么、粒度
  • 能先说分层的作用(至少前 3 个),再讲每层是什么
  • 能区分事实表和维度表,并画出一个星型模型
  • 能画出拉链表,并写出查询某个时点状态的条件

下一步该懂什么 ​