Skip to content

大数据开发与治理 ​

这一层解决什么问题:数据大到一台机器存不下、算不动时,怎么分散存储、并行计算,并把数据加工成可信、好用的报表和数据资产。

学习地图 ​

平台全景          存储与计算                SQL 与 Hive                   数仓与治理
数据源 → 采集     Hadoop(HDFS/MR/YARN)    执行顺序与常见坑               数据仓库分层与建模
→ 存储 → 计算     → Spark 原理              → 窗口函数经典题               → ETL 与增量同步
→ 调度 → 服务     → Spark 调优与数据倾斜     → Hive 表:内外部表、分区分桶   → 数据质量与治理

一条主线:数据从业务系统采集过来,存进 HDFS / Hive,用 Spark / SQL 加工,按数仓分层组织,过质量检查后交给报表和 AI 应用使用。

进度 ​