深色模式
01 · 大数据平台全景:数据从哪来、到哪去
学完你能说出:
- 大数据平台的六站:数据源 → 采集 → 存储 → 计算 → 调度 → 服务,每站常用什么工具、解决什么问题。
- 离线(批处理)和实时(流处理)的区别。
- 用一条订单数据把整个平台走一遍,并能把一个课程项目对应到这张图上。
先看地图
这是「大数据开发与治理」的第一篇,也是这个知识库的地图。全站总图里的「第二条路:一条数据」,就是本篇要展开的内容。本篇讲 4 个点:
① 六站各干什么 → ② 一条订单走一遍 → ③ 离线和实时 → ④ 把自己的项目放到图上
后面的篇目各讲一站:存储与计算(Hadoop、Spark)、SQL 与 Hive、数仓与治理。
一句话本质
大数据平台 = 把散在各个业务系统的数据采集过来,存进分布式存储,用分布式计算加工成可信的结果,按时自动运行,最后交给报表、接口和 AI 应用使用。
生活类比
一家中央厨房:
| 中央厨房 | 大数据平台 |
|---|---|
| 各个菜市场、供应商 | 数据源:业务库、日志、外部接口 |
| 每天凌晨的采购车 | 采集:DataX、Canal、Flume |
| 大冷库 | 存储:HDFS、Hive |
| 流水线厨房 | 计算:Spark、Flink |
| 排班表:几点洗菜、几点切菜、几点出餐 | 调度:DolphinScheduler、Airflow |
| 送到各个门店 | 服务:报表、接口、AI 应用 |
| 食品安全检查 | 数据治理:质量、权限、血缘 |
一步步看
1. 六站各干什么
| 站 | 解决什么问题 | 常用工具 | 一句话认识 |
|---|---|---|---|
| 数据源 | 数据散在各处 | MySQL 业务库、日志文件、第三方接口 | 原材料 |
| 采集 | 把数据搬进平台,且不拖垮业务库 | DataX:整表或按条件批量同步;Canal:读 MySQL 的 binlog,实时拿到每一次增删改(CDC);Flume:收集日志文件;Kafka:消息队列,在采集和计算之间做缓冲 | 搬运工 |
| 存储 | 数据大到一台机器存不下 | HDFS:分布式文件系统;Hive:把 HDFS 文件变成可以用 SQL 查的表 | 仓库 |
| 计算 | 数据大到一台机器算不动 | Spark:离线批处理,最常用;Flink:实时流处理 | 加工厂 |
| 调度 | 几百个任务要按依赖顺序每天自动跑 | DolphinScheduler、Airflow:画好依赖图,定时拉起、失败重试、告警 | 排班表 |
| 服务 | 让结果被用起来 | ClickHouse:列式数据库,秒级出分析结果;BI 报表;数据接口;AI 应用的知识库 | 门店 |
2. 一条订单走一遍
小橙商城 11 月 20 日 20:31 产生了一笔订单 1001:
- 数据源:订单写进 MySQL 业务库;
- 采集:当天凌晨 1 点,DataX 把 11 月 20 日新增和修改的订单同步过来(增量);
- 存储:原样写进 Hive 的 ODS 表,
dt=2026-11-20分区; - 计算:凌晨 2 点 Spark 任务清洗去重写进 DWD,3 点按城市汇总写进 DWS,3:30 生成报表结果写进 ADS;
- 调度:以上任务在调度系统里按「采集 → DWD → DWS → ADS」的依赖排好,前一个成功才跑下一个,失败自动重试并告警;
- 服务:ADS 结果导入 ClickHouse 或 MySQL,早上 8 点老板打开 BI 看板,看到「昨日上海销售额 71.2 万」。
全程每一层跑完都做质量检查(行数、空值率、主键唯一),不通过就暂停下游。
3. 离线和实时
| 离线(批处理) | 实时(流处理) | |
|---|---|---|
| 数据什么时候处理 | 攒一批(比如一天)再处理 | 来一条处理一条 |
| 延迟 | 小时到天 | 秒到分钟 |
| 典型工具 | DataX + Hive + Spark | Canal / Kafka + Flink |
| 典型场景 | 日报、月报、用户画像 | 实时大屏、风控、实时推荐 |
| 复杂度 | 低,好重跑 | 高,要处理乱序、重复、状态 |
大多数公司是离线为主、实时为辅。实习生最常接触的是离线数仓开发。
4. 把一个课程项目放到图上
一个「中风风险预测」课程项目(公开数据集 5110 条记录)可以这样对应:
| 平台的站 | 项目里的做法 |
|---|---|
| 数据源 | 原始 CSV 文件 |
| 采集 / 存储 | 上传到 HDFS |
| 计算 | Spark 做质量评估、清洗、按年龄和性别统计、训练模型 |
| 调度 | 一个脚本按顺序跑完全部步骤(真实平台会用调度系统) |
| 服务 | 统计结果导出成 JSON 给 ECharts 看板,模型给网页预测 |
面试时要说「借鉴了这个思路」,不要说成「搭了一个大数据平台」:课程项目的规模和真实平台差得很远,被追问会露馅。
为什么这么设计
为什么采集要单独一站,不让计算任务直接查业务库?
- 问题:计算任务一次扫几千万行,直接查业务库会占满它的 CPU 和磁盘,用户下单就卡了;而且业务库只保留当前状态,改过的历史值就没了。
- 方案:在业务低峰期增量同步,或者读 binlog 拿变更,把数据搬进平台再算。
- 好处:业务库不受影响;平台里保留了原始数据和历史,可以反复加工、出错重跑。
一句话答法
直接在业务库上跑大查询会拖慢在线业务,而且业务库只保留当前状态,所以要先把数据采集到平台里,再在平台上加工,业务不受影响,原始数据也留下来了。
为什么需要调度系统,不能用定时脚本?
- 问题:几百个任务有先后依赖(DWS 要等 DWD 跑完),某个任务失败,下游必须等它修好;定时脚本只认时间,不认依赖,上游晚了一点,下游就会读到不完整的数据。
- 方案:调度系统按依赖图(DAG)运行,上游成功才触发下游;支持失败重试、告警、补数(重跑某一天)。
- 好处:任务链路可视化、出错可控、能方便地重跑历史日期。
一句话答法
定时脚本只看时间不看依赖,上游晚了下游就会读到半截数据;调度系统按依赖图执行,上游成功才跑下游,还能重试、告警、补数。
为什么中间要放一个 Kafka?
- 问题:上游产生数据的速度忽快忽慢(大促时暴涨),下游处理能力是固定的;直接对接,下游一慢上游就被拖住,下游一挂数据就丢。
- 方案:中间放一个消息队列,上游只管往里写,下游按自己的速度读。
- 好处:削峰填谷、上下游解耦;下游挂了恢复后可以从断点接着读,数据不丢。
一句话答法
Kafka 在采集和计算之间做缓冲:上游只管写,下游按自己的速度读,既能削峰,又能让上下游解耦,下游故障恢复后还能接着读。
英文术语拆解
| 术语 | 拆开看 | 一句话意思 |
|---|---|---|
| ETL | Extract 抽取 + Transform 转换 + Load 加载 | 把数据抽出来、加工、装进目标系统 |
| CDC | Change 变更 + Data 数据 + Capture 捕获 | 捕获业务库的每一次增删改,通常读 binlog |
| Batch | 一批 | 批处理:攒一批再算 |
| Streaming | 流 | 流处理:来一条算一条 |
| BI | Business 业务 + Intelligence 智能 | 报表和看板 |
| Kafka | 以作家卡夫卡命名 | 分布式消息队列 |
面试怎么问
Q:讲一下大数据平台的整体架构。
按数据流向说:数据源是业务库、日志和外部接口;采集层用 DataX 批量同步、Canal 读 binlog 做增量、Flume 收日志,中间常用 Kafka 缓冲;存储层是 HDFS 和 Hive;计算层离线用 Spark、实时用 Flink,按数仓分层加工;调度系统比如 DolphinScheduler 按依赖每天自动运行;最后结果进 ClickHouse 或 MySQL,给 BI 报表和接口使用。数据质量、元数据、权限这些治理工作贯穿全程。
Q:离线和实时数仓有什么区别?
离线按天或小时攒一批处理,延迟是小时级,用 Hive、Spark,好开发、好重跑,适合日报、画像;实时来一条处理一条,延迟秒级,用 Kafka、Flink,要处理乱序、重复和状态,复杂度高,适合实时大屏和风控。一般离线为主、实时为辅。
容易混的地方
- Hive 不负责存储:数据在 HDFS,Hive 只是给文件加了表结构和 SQL 能力。
- Kafka 不是数据库:它是消息队列,数据保留一段时间(比如 7 天)后会删除。
- 调度 ≠ YARN:YARN 分配 CPU 和内存(谁用多少资源),调度系统决定任务的先后顺序和运行时间(谁先跑)。
- ClickHouse 和 Hive 都是 OLAP:Hive 适合离线大批量加工,ClickHouse 适合秒级出结果的交互分析。
和其他知识的连接
- ← 来自 一张总图:第二条路的展开。
- ← 来自 事务与 ACID:Canal 读的 binlog 就是 MySQL 的逻辑日志。
- → 影响 Hadoop:存储和计算两站的基础。
- → 影响 数仓分层与建模:计算这一站按什么结构组织数据。
- → 影响 系统设计骨架:数仓题的「进」和「出」就是这张图。
自测 3 问
Q1:说出大数据平台的六站,每站一个常用工具。
点开看答案
数据源(MySQL)→ 采集(DataX / Canal / Flume / Kafka)→ 存储(HDFS / Hive)→ 计算(Spark / Flink)→ 调度(DolphinScheduler / Airflow)→ 服务(ClickHouse / BI)。
Q2:为什么不直接在业务库上跑报表 SQL?
点开看答案
报表要扫大量数据,会占满业务库的 CPU 和磁盘,拖慢在线用户;业务库只存当前状态,没有历史;把数据采集到平台上加工,业务不受影响,原始数据也能保留下来反复使用。
Q3:调度系统和 YARN 有什么区别?
点开看答案
YARN 管资源:每个任务能用多少 CPU 和内存;调度系统管时间和顺序:什么时候跑、谁先谁后、失败了怎么重试和告警。
✅ 验收清单
- 能画出六站,每站写出 1–2 个工具和它解决的问题
- 能用一笔订单从业务库走到 BI 看板,说出每一步
- 能说出离线和实时的 3 个区别
- 能把自己做过的一个数据项目对应到这张图上