Skip to content

04 · 示范:数据平台与数仓怎么搭 ​

学完你能说出:

  • 用「场、进、出、难、评」把「给公司搭一个数仓」完整讲一遍(2 分钟版本)。
  • 面试官最常接的 4 个追问和答法。
  • 每一格背后对应的知识在哪一篇。

先看地图 ​

前面学了系统设计骨架,也学完了大数据平台的各站。这一篇把它们拼成一个能直接说出口的回答。本篇讲 3 个点:

① 题目和场景假设 → ② 五格逐格展开(附知识出处)→ ③ 4 个常见追问

一句话本质 ​

数仓题 = 把业务库的数据采集进来(进),按四层加工成报表(出),重点讲数据质量和增量重跑(难),用准时率和质量通过率证明做得好(评)。

生活类比 ​

就像给一家连锁餐厅设计「每晚自动出经营日报」的系统:小票从各门店收上来(进),在中央厨房按流程加工成报表(出),重点防止「小票丢了、记重了、口径不一样」(难),用「报表是不是每天 8 点前准时、数字是不是对得上」来衡量(评)。

一步步看 ​

1. 题目和场景假设 ​

题目:「公司想做一个经营分析平台,让管理层每天早上看到前一天各城市、各品类的销售情况,你怎么设计?」

开口前先补齐场景,主动说出假设(面试官没给的就自己假设,并说出来):

  • 数据源:订单库 MySQL(每天新增约 2 万单,累计 3000 万)、用户库、商品库;
  • 要求:每天早上 8 点前出报表;数字要和财务对得上;
  • 规模:数据量不大但在增长,先做离线 T+1(今天看昨天的数据)。

2. 五格逐格展开 ​

场(15 秒)

管理层每天早上要看前一天各城市、各品类的销售额和订单量,要求 8 点前产出、口径和财务一致。数据来自订单、用户、商品三个业务库,订单每天约 2 万单。

进(40 秒)

每天凌晨从业务库同步数据到 Hive 的 ODS 层,按天分区。订单表大,用增量:按更新时间抽取当天变化的数据,或者用 Canal 读 binlog;用户、商品这类维度表小,直接全量。ODS 原样保存、不做修改,方便出错重跑和对账。

知识出处:平台全景、ETL 与增量同步、Hive 表。

出(40 秒)

用 Spark SQL 按四层加工:DWD 对订单去重(同一订单号取最新版本)、统一城市名和金额格式、过滤测试单,关联用户和商品维度;DWS 按「天 × 城市 × 品类」汇总成公共宽表,多张报表复用;ADS 生成管理层看板需要的指标,比如同比、环比、排名,导到 MySQL 或 ClickHouse 给 BI 展示。整条链路在调度系统里按依赖每天凌晨自动跑。

知识出处:数仓分层与建模、窗口函数经典题。

难(30 秒)

第一是数据质量:每层跑完自动检查行数对账、主键唯一、关键字段空值率、金额范围和日环比波动;强规则不通过就暂停下游并告警,弱规则只告警。第二是重跑和幂等:所有表按天分区,用 INSERT OVERWRITE 覆盖写当天分区,出错修好后只重跑受影响的日期,跑几次结果都一样。

知识出处:数据质量与治理、工程落地 5 个「能」。

评(15 秒)

看报表准时产出率(比如 30 天内 8 点前产出的天数占比)、质量检查通过率、和财务口径的差异;指标口径统一写进数据字典,有血缘能追到每个数从哪来。

3. 4 个常见追问 ​

追问答法要点
「数据量变成现在的 100 倍怎么办?」沿链路找瓶颈:采集改 CDC + Kafka;Spark 加资源、调分区数、处理数据倾斜(加盐、广播 join);输出控制文件数避免小文件;查询端换 ClickHouse 这类列式数据库
「老板想看实时数据怎么办?」加一条实时链路:Canal 读 binlog → Kafka → Flink 实时聚合 → 写进 ClickHouse 或 Redis 给大屏;离线链路保留,作为每天的准确对账结果
「两个部门的销售额对不上怎么办?」先查口径定义(是否含退款、运费),统一写进数据标准;再用血缘追到两个数各自来自哪张表、哪条规则;以后所有报表只从 DWS 的同一张公共表取数
「某天任务失败了,8 点前来不及怎么办?」调度系统自动重试并告警;修好后从失败的那一层重跑当天分区;如果来不及,报表上明确标注「数据延迟」,而不是给出错误数字

为什么这么设计 ​

为什么先补场景假设再答? ​

  • 问题:题目往往很模糊,直接开讲容易讲偏(比如对方只要 T+1,你却大讲实时 Flink)。
  • 方案:用一两句话说出自己对用户、规模、时效的假设。
  • 好处:答案有前提、有边界;面试官如果有不同设定,会当场纠正,你可以顺着调整。

一句话答法

系统设计题先说清场景假设:给谁用、数据量多大、时效要求多少,答案才有边界,也给面试官纠正的机会。

为什么「难」挑数据质量和重跑? ​

  • 问题:数仓最常出的事故不是「算不动」,而是「数不对」和「没按时出」。
  • 方案:讲质量检查(数对不对)和幂等重跑(出错怎么恢复)。
  • 好处:这两点直接对应数仓的核心价值:可信、可用;也最能体现工程落地能力。

一句话答法

数仓最怕数不对和出不来,所以难点讲数据质量检查和按天分区的幂等重跑,这两点最能体现工程能力。

英文术语拆解 ​

术语拆开看一句话意思
T+1T 当天 + 1 天今天看到的是昨天的数据
SLAService 服务 + Level 等级 + Agreement 协议承诺的服务标准,比如「8 点前产出」
BackfillBack 往回 + fill 填补数:重跑历史日期
Wide TableWide 宽 + Table 表宽表:把多个维度提前关联好的大表

面试怎么问 ​

Q:让你给公司搭一个数据仓库,你会怎么设计?

按「场、进、出、难、评」说:场景是管理层每天看前一天各城市各品类的销售,8 点前出、口径和财务一致;进,每天凌晨把订单库增量、维度表全量同步到 Hive 的 ODS 层,按天分区原样保存;出,用 Spark SQL 按 DWD 清洗明细、DWS 按天 × 城市 × 品类汇总、ADS 出报表指标的四层加工,调度系统按依赖每天自动运行,结果导到 BI;难点是数据质量检查和幂等重跑;评估看准时产出率、质量通过率和与财务口径的一致性。

Q:如果要支持实时看数据呢?

在离线链路之外加一条实时链路:Canal 读 binlog 发到 Kafka,Flink 实时聚合写进 ClickHouse 或 Redis 供大屏使用;离线 T+1 的结果作为准确的对账口径保留,两条链路互相校验。

容易混的地方 ​

  • 不要上来就讲 Flink、Kafka:先确认时效要求,T+1 的需求用离线就够了。
  • 技术名词嵌在流程里说:「用 Spark SQL 按四层加工」,而不是先列一串工具名。
  • 课程项目不能说成「搭过数仓」:可以说「借鉴了分层思路」。

和其他知识的连接 ​

自测 3 问 ​

Q1:数仓设计题的「进」要讲哪几件事?

点开看答案

数据源有哪些;大表增量(按更新时间或 CDC 读 binlog)、小表全量;写进 Hive 的 ODS 层、按天分区、原样保存;为什么原样保存(方便重跑和对账)。

Q2:两个部门的销售额对不上,你怎么处理?

点开看答案

先查两边的口径定义(是否含退款、运费等),统一写进数据标准;再用数据血缘追溯两个数各自来自哪张表、哪条规则,找出差异;之后所有报表都从 DWS 的同一张公共汇总表取数,口径只在一个地方定义。

Q3:老板要求看实时数据,原来的离线数仓要推倒重来吗?

点开看答案

不用。另加一条实时链路(Canal → Kafka → Flink → ClickHouse / Redis)支撑实时大屏;离线 T+1 链路保留,作为准确的对账结果,两者互相校验。

✅ 验收清单 ​

  • 能在 2 分钟内用五格把数仓题完整讲一遍
  • 能说出开口前要补的 3 个场景假设
  • 能回答「数据量 100 倍」「要实时」「口径对不上」「任务失败」4 个追问

下一步该懂什么 ​