深色模式
大数据开发与治理
这一层解决什么问题:数据大到一台机器存不下、算不动时,怎么分散存储、并行计算,并把数据加工成可信、好用的报表和数据资产。
学习地图
平台全景 存储与计算 SQL 与 Hive 数仓与治理
数据源 → 采集 Hadoop(HDFS/MR/YARN) 执行顺序与常见坑 数据仓库分层与建模
→ 存储 → 计算 → Spark 原理 → 窗口函数经典题 → ETL 与增量同步
→ 调度 → 服务 → Spark 调优与数据倾斜 → Hive 表:内外部表、分区分桶 → 数据质量与治理一条主线:数据从业务系统采集过来,存进 HDFS / Hive,用 Spark / SQL 加工,按数仓分层组织,过质量检查后交给报表和 AI 应用使用。