Skip to content

01 · 大数据平台全景:数据从哪来、到哪去 ​

学完你能说出:

  • 大数据平台的六站:数据源 → 采集 → 存储 → 计算 → 调度 → 服务,每站常用什么工具、解决什么问题。
  • 离线(批处理)和实时(流处理)的区别。
  • 用一条订单数据把整个平台走一遍,并能把一个课程项目对应到这张图上。

先看地图 ​

这是「大数据开发与治理」的第一篇,也是这个知识库的地图。全站总图里的「第二条路:一条数据」,就是本篇要展开的内容。本篇讲 4 个点:

① 六站各干什么 → ② 一条订单走一遍 → ③ 离线和实时 → ④ 把自己的项目放到图上

后面的篇目各讲一站:存储与计算(Hadoop、Spark)、SQL 与 Hive、数仓与治理。

一句话本质 ​

大数据平台 = 把散在各个业务系统的数据采集过来,存进分布式存储,用分布式计算加工成可信的结果,按时自动运行,最后交给报表、接口和 AI 应用使用。

生活类比 ​

一家中央厨房:

中央厨房大数据平台
各个菜市场、供应商数据源:业务库、日志、外部接口
每天凌晨的采购车采集:DataX、Canal、Flume
大冷库存储:HDFS、Hive
流水线厨房计算:Spark、Flink
排班表:几点洗菜、几点切菜、几点出餐调度:DolphinScheduler、Airflow
送到各个门店服务:报表、接口、AI 应用
食品安全检查数据治理:质量、权限、血缘

一步步看 ​

← 左右滑动看完整图 →数据源业务库 MySQL日志文件第三方接口采集DataX:整表批量Canal:读 binlogFlume:收日志Kafka:缓冲管道存储HDFS:放文件Hive:文件变成表计算Spark:离线批处理Flink:实时流处理服务ClickHouse:快速分析BI 报表、接口AI 应用调度(DolphinScheduler / Airflow):每天凌晨按依赖顺序拉起采集 → 计算 → 导出数据治理贯穿全程:标准 · 元数据 · 血缘 · 质量检查 · 安全权限
大数据平台的六站:数据源 → 采集 → 存储 → 计算 → 服务,调度系统按依赖顺序每天自动拉起各个任务,数据治理(质量、元数据、血缘、权限)贯穿全程。每一站括号里是常见工具,面试时说清「这一站解决什么」比背工具名重要。

1. 六站各干什么 ​

站解决什么问题常用工具一句话认识
数据源数据散在各处MySQL 业务库、日志文件、第三方接口原材料
采集把数据搬进平台,且不拖垮业务库DataX:整表或按条件批量同步;Canal:读 MySQL 的 binlog,实时拿到每一次增删改(CDC);Flume:收集日志文件;Kafka:消息队列,在采集和计算之间做缓冲搬运工
存储数据大到一台机器存不下HDFS:分布式文件系统;Hive:把 HDFS 文件变成可以用 SQL 查的表仓库
计算数据大到一台机器算不动Spark:离线批处理,最常用;Flink:实时流处理加工厂
调度几百个任务要按依赖顺序每天自动跑DolphinScheduler、Airflow:画好依赖图,定时拉起、失败重试、告警排班表
服务让结果被用起来ClickHouse:列式数据库,秒级出分析结果;BI 报表;数据接口;AI 应用的知识库门店

2. 一条订单走一遍 ​

小橙商城 11 月 20 日 20:31 产生了一笔订单 1001:

  1. 数据源:订单写进 MySQL 业务库;
  2. 采集:当天凌晨 1 点,DataX 把 11 月 20 日新增和修改的订单同步过来(增量);
  3. 存储:原样写进 Hive 的 ODS 表,dt=2026-11-20 分区;
  4. 计算:凌晨 2 点 Spark 任务清洗去重写进 DWD,3 点按城市汇总写进 DWS,3:30 生成报表结果写进 ADS;
  5. 调度:以上任务在调度系统里按「采集 → DWD → DWS → ADS」的依赖排好,前一个成功才跑下一个,失败自动重试并告警;
  6. 服务:ADS 结果导入 ClickHouse 或 MySQL,早上 8 点老板打开 BI 看板,看到「昨日上海销售额 71.2 万」。

全程每一层跑完都做质量检查(行数、空值率、主键唯一),不通过就暂停下游。

3. 离线和实时 ​

离线(批处理)实时(流处理)
数据什么时候处理攒一批(比如一天)再处理来一条处理一条
延迟小时到天秒到分钟
典型工具DataX + Hive + SparkCanal / Kafka + Flink
典型场景日报、月报、用户画像实时大屏、风控、实时推荐
复杂度低,好重跑高,要处理乱序、重复、状态

大多数公司是离线为主、实时为辅。实习生最常接触的是离线数仓开发。

4. 把一个课程项目放到图上 ​

一个「中风风险预测」课程项目(公开数据集 5110 条记录)可以这样对应:

平台的站项目里的做法
数据源原始 CSV 文件
采集 / 存储上传到 HDFS
计算Spark 做质量评估、清洗、按年龄和性别统计、训练模型
调度一个脚本按顺序跑完全部步骤(真实平台会用调度系统)
服务统计结果导出成 JSON 给 ECharts 看板,模型给网页预测

面试时要说「借鉴了这个思路」,不要说成「搭了一个大数据平台」:课程项目的规模和真实平台差得很远,被追问会露馅。

为什么这么设计 ​

为什么采集要单独一站,不让计算任务直接查业务库? ​

  • 问题:计算任务一次扫几千万行,直接查业务库会占满它的 CPU 和磁盘,用户下单就卡了;而且业务库只保留当前状态,改过的历史值就没了。
  • 方案:在业务低峰期增量同步,或者读 binlog 拿变更,把数据搬进平台再算。
  • 好处:业务库不受影响;平台里保留了原始数据和历史,可以反复加工、出错重跑。

一句话答法

直接在业务库上跑大查询会拖慢在线业务,而且业务库只保留当前状态,所以要先把数据采集到平台里,再在平台上加工,业务不受影响,原始数据也留下来了。

为什么需要调度系统,不能用定时脚本? ​

  • 问题:几百个任务有先后依赖(DWS 要等 DWD 跑完),某个任务失败,下游必须等它修好;定时脚本只认时间,不认依赖,上游晚了一点,下游就会读到不完整的数据。
  • 方案:调度系统按依赖图(DAG)运行,上游成功才触发下游;支持失败重试、告警、补数(重跑某一天)。
  • 好处:任务链路可视化、出错可控、能方便地重跑历史日期。

一句话答法

定时脚本只看时间不看依赖,上游晚了下游就会读到半截数据;调度系统按依赖图执行,上游成功才跑下游,还能重试、告警、补数。

为什么中间要放一个 Kafka? ​

  • 问题:上游产生数据的速度忽快忽慢(大促时暴涨),下游处理能力是固定的;直接对接,下游一慢上游就被拖住,下游一挂数据就丢。
  • 方案:中间放一个消息队列,上游只管往里写,下游按自己的速度读。
  • 好处:削峰填谷、上下游解耦;下游挂了恢复后可以从断点接着读,数据不丢。

一句话答法

Kafka 在采集和计算之间做缓冲:上游只管写,下游按自己的速度读,既能削峰,又能让上下游解耦,下游故障恢复后还能接着读。

英文术语拆解 ​

术语拆开看一句话意思
ETLExtract 抽取 + Transform 转换 + Load 加载把数据抽出来、加工、装进目标系统
CDCChange 变更 + Data 数据 + Capture 捕获捕获业务库的每一次增删改,通常读 binlog
Batch一批批处理:攒一批再算
Streaming流流处理:来一条算一条
BIBusiness 业务 + Intelligence 智能报表和看板
Kafka以作家卡夫卡命名分布式消息队列

面试怎么问 ​

Q:讲一下大数据平台的整体架构。

按数据流向说:数据源是业务库、日志和外部接口;采集层用 DataX 批量同步、Canal 读 binlog 做增量、Flume 收日志,中间常用 Kafka 缓冲;存储层是 HDFS 和 Hive;计算层离线用 Spark、实时用 Flink,按数仓分层加工;调度系统比如 DolphinScheduler 按依赖每天自动运行;最后结果进 ClickHouse 或 MySQL,给 BI 报表和接口使用。数据质量、元数据、权限这些治理工作贯穿全程。

Q:离线和实时数仓有什么区别?

离线按天或小时攒一批处理,延迟是小时级,用 Hive、Spark,好开发、好重跑,适合日报、画像;实时来一条处理一条,延迟秒级,用 Kafka、Flink,要处理乱序、重复和状态,复杂度高,适合实时大屏和风控。一般离线为主、实时为辅。

容易混的地方 ​

  • Hive 不负责存储:数据在 HDFS,Hive 只是给文件加了表结构和 SQL 能力。
  • Kafka 不是数据库:它是消息队列,数据保留一段时间(比如 7 天)后会删除。
  • 调度 ≠ YARN:YARN 分配 CPU 和内存(谁用多少资源),调度系统决定任务的先后顺序和运行时间(谁先跑)。
  • ClickHouse 和 Hive 都是 OLAP:Hive 适合离线大批量加工,ClickHouse 适合秒级出结果的交互分析。

和其他知识的连接 ​

自测 3 问 ​

Q1:说出大数据平台的六站,每站一个常用工具。

点开看答案

数据源(MySQL)→ 采集(DataX / Canal / Flume / Kafka)→ 存储(HDFS / Hive)→ 计算(Spark / Flink)→ 调度(DolphinScheduler / Airflow)→ 服务(ClickHouse / BI)。

Q2:为什么不直接在业务库上跑报表 SQL?

点开看答案

报表要扫大量数据,会占满业务库的 CPU 和磁盘,拖慢在线用户;业务库只存当前状态,没有历史;把数据采集到平台上加工,业务不受影响,原始数据也能保留下来反复使用。

Q3:调度系统和 YARN 有什么区别?

点开看答案

YARN 管资源:每个任务能用多少 CPU 和内存;调度系统管时间和顺序:什么时候跑、谁先谁后、失败了怎么重试和告警。

✅ 验收清单 ​

  • 能画出六站,每站写出 1–2 个工具和它解决的问题
  • 能用一笔订单从业务库走到 BI 看板,说出每一步
  • 能说出离线和实时的 3 个区别
  • 能把自己做过的一个数据项目对应到这张图上

下一步该懂什么 ​