深色模式
01 · Hadoop:一台机器存不下、算不动怎么办
学完你能说出:
- Hadoop 的三件套:HDFS 负责存、MapReduce 负责算、YARN 负责分资源。
- HDFS 为什么切 128 MB 的块、存 3 份,为什么怕小文件。
- MapReduce 的 Map → Shuffle → Reduce,以及它为什么慢。
先看地图
平台全景里的「存储」和「计算」两站,最早就是 Hadoop 打下的基础。后来的 Hive、Spark 都跑在它上面。本篇讲 4 个点:
① 为什么要分布式 → ② HDFS:怎么存 → ③ MapReduce:怎么算 → ④ YARN:资源谁来分
一句话本质
把大文件切块分散存到很多台机器上(HDFS),再把计算任务发到数据所在的机器上并行算(MapReduce),由 YARN 统一分配 CPU 和内存。
生活类比
一个图书馆要统计 1 亿本书里每个词出现的次数:
- 一个人数:数到退休也数不完(单机)。
- HDFS:把书分到 100 个分馆,每本书在 3 个分馆各放一份,丢一个分馆也不怕;总馆只留一本「哪本书在哪几个分馆」的目录。
- MapReduce:每个分馆的人数自己馆里的书(Map),然后把同一个词的结果汇总到同一个人手里(Shuffle),最后各自加总(Reduce)。
- YARN:调度员,决定哪个分馆派几个人、干多久。
一步步看
1. 为什么要分布式
| 场景 | 单机 | 分布式 |
|---|---|---|
| 存 100 TB 数据 | 单台服务器装不下 | 100 台机器各存约 1 TB(再乘副本数) |
| 扫一遍 100 TB | 单块磁盘约 200 MB/s,要约 6 天 | 100 台并行,约 1.5 小时 |
| 一台坏了 | 数据没了 | 其他副本还在 |
核心思路:移动计算比移动数据便宜。100 TB 搬来搬去太慢,不如把几 KB 的程序发到数据所在的机器上去算。
2. HDFS:怎么存
| 概念 | 意思 | 例子 |
|---|---|---|
| 块(Block) | 文件切成固定大小的块,默认 128 MB | 300 MB 的文件 = 128 + 128 + 44 MB 三块 |
| 副本(Replica) | 每块默认存 3 份,放在不同机器(尽量跨机架) | 坏 2 台机器也不丢数据 |
| NameNode | 管家:存元数据(文件名、分了哪些块、每块在哪),全放在内存里 | 一个集群一个(另配备用的保证高可用) |
| DataNode | 干活的机器:存真正的数据块,定时向 NameNode 汇报「我还活着、我有哪些块」 | 几十到几千台 |
读文件:客户端先问 NameNode「这个文件的块在哪」,拿到地址后直接去 DataNode 读,数据不经过 NameNode。
写文件:客户端把块写给第 1 个 DataNode,它边收边转给第 2 个,第 2 个再转给第 3 个(流水线复制)。
为什么怕小文件:每个文件、每个块在 NameNode 内存里都要占约 150 字节的元数据。100 万个 1 KB 的小文件,数据才 1 GB,元数据却有约 300 MB;而且每个小文件都会变成一个 Map 任务,启动任务的时间比干活还长。
3. MapReduce:怎么算
以词频统计为例(输入两行:「a b a」「b c a」):
| 阶段 | 做什么 | 结果 |
|---|---|---|
| Map | 每行拆成(词, 1) | (a,1)(b,1)(a,1)、(b,1)(c,1)(a,1) |
| Shuffle | 按词分组,相同的词送到同一个 Reduce;要排序、写磁盘、走网络 | a → [1,1,1],b → [1,1],c → [1] |
| Reduce | 把同一个词的值加起来 | (a,3)(b,2)(c,1) |
MapReduce 为什么慢:每一步的中间结果都写磁盘;一个程序只能表达一轮 Map + Reduce,复杂的分析(比如先过滤、再 join、再汇总)要串好几个作业,每个作业之间都要读写 HDFS。机器学习要迭代几十轮,就要读写几十遍磁盘。
4. YARN:资源谁来分
| 组件 | 角色 | 类比 |
|---|---|---|
| ResourceManager | 全局调度:整个集群还有多少 CPU、内存,分给谁 | 总调度员 |
| NodeManager | 每台机器上一个,管本机资源,按指令启动任务 | 分馆馆长 |
| ApplicationMaster | 每个作业一个,向 ResourceManager 申请资源、盯着自己的任务 | 项目经理 |
| Container | 一份资源(比如 2 核 4 GB),任务跑在里面 | 一张工位 |
有了 YARN,MapReduce、Spark、Flink 可以共用同一个集群,不用各自圈一批机器。
为什么这么设计
为什么块这么大(128 MB),而不是像普通文件系统那样 4 KB?
- 问题:块太小,元数据就多(NameNode 内存扛不住),读一个文件要寻址很多次;机械硬盘寻址一次约 10 毫秒。
- 方案:用 128 MB 的大块,一次寻址后连续读很久。
- 好处:寻址时间占比很小,传输效率高;元数据量少。代价是不适合存大量小文件。
一句话答法
HDFS 的块设成 128 MB,是为了让寻址时间相对传输时间可以忽略,同时减少 NameNode 要管的元数据;代价是小文件会浪费元数据、拖垮 NameNode。
为什么每块存 3 份?
- 问题:几千台机器的集群,每天都有机器或硬盘坏掉。
- 方案:每块存 3 份:一般一份在本机、两份在另一个机架的两台机器上。
- 好处:坏一台机器、甚至一整个机架都不丢数据;读的时候还能就近选副本。代价是存储空间变成 3 倍。
一句话答法
大集群里机器坏是常态,3 副本放在不同机器和机架上,坏一台甚至一个机架都不丢数据,代价是 3 倍存储。
为什么要「移动计算」而不是「移动数据」?
- 问题:把 100 TB 数据通过网络传到一台机器上算,网络会成为瓶颈,而且一台机器也算不动。
- 方案:调度器尽量把任务发到存着那块数据的机器上运行(数据本地性)。
- 好处:大部分读取在本机磁盘完成,网络只传程序和结果。
一句话答法
数据比程序大得多,所以 Hadoop 把计算任务发到数据所在的机器上执行,大部分读取走本地磁盘,避免网络成为瓶颈。
英文术语拆解
| 术语 | 拆开看 | 一句话意思 |
|---|---|---|
| Hadoop | 创始人孩子的玩具大象的名字 | 开源的分布式存储 + 计算框架 |
| HDFS | Hadoop + Distributed 分布式 + File System 文件系统 | 分布式文件系统 |
| NameNode | Name 名字 + Node 节点 | 管元数据的节点 |
| DataNode | Data 数据 + Node 节点 | 存数据块的节点 |
| MapReduce | Map 映射 + Reduce 归约 | 先拆成键值对、再按键汇总的计算模型 |
| Shuffle | 洗牌 | 按键重新分组、跨机器传数据 |
| YARN | Yet 又 + Another 一个 + Resource 资源 + Negotiator 协调者 | 集群资源管理器 |
面试怎么问
Q:讲一下 HDFS 的架构和读写流程。
HDFS 是主从架构:NameNode 存元数据(文件分成哪些块、每块在哪),DataNode 存数据块。文件按 128 MB 切块,每块默认 3 副本放在不同机器上。读的时候客户端先问 NameNode 块的位置,再直接去 DataNode 读;写的时候客户端把块写给第一个 DataNode,它再流水线复制给第二、第三个。
Q:HDFS 为什么不适合存小文件?怎么解决?
每个文件和块都要在 NameNode 内存里占一份元数据,小文件多了会把 NameNode 内存撑爆;而且每个小文件对应一个 Map 任务,任务启动开销比计算还大。解决:写入前合并(比如 Spark 输出时用 coalesce 减少文件数),已有的小文件定期合并,或者用 Hadoop 归档(HAR)、SequenceFile 把小文件打包。
Q:MapReduce 的流程是什么?为什么慢?
Map 把输入拆成键值对,Shuffle 按键分组并把相同键送到同一个 Reduce,Reduce 对每组做汇总。慢在于中间结果都要写磁盘、Shuffle 要排序和跨网络传输,而且一个作业只能表达一轮 Map + Reduce,复杂分析和迭代计算要串多个作业,反复读写 HDFS。
容易混的地方
- NameNode 不存数据:只存元数据,数据读写直接走 DataNode。
- Hadoop ≠ MapReduce:Hadoop 是三件套;现在计算多用 Spark,但 HDFS 和 YARN 仍然常用。
- 最后一块不满不浪费空间:44 MB 的块只占 44 MB 磁盘。
- SecondaryNameNode 不是热备:它只是帮 NameNode 定期合并元数据日志;高可用要配 Standby NameNode。
和其他知识的连接
- ← 来自 平台全景:存储和计算两站。
- → 影响 Spark 原理:Spark 继承了 Map / Shuffle / Reduce 的模型,改进了「中间结果落盘」。
- → 影响 Hive 表:Hive 表的数据就是 HDFS 上的文件。
- 横向对照 索引与 B+ 树:数据库的页是 16 KB,HDFS 的块是 128 MB,都是在「寻址开销」和「传输效率」之间取舍。
自测 3 问
Q1:一个 300 MB 的文件存进 HDFS,切成几块?一共占多少磁盘?
点开看答案
切成 3 块:128 MB、128 MB、44 MB。每块 3 副本,一共占约 900 MB 磁盘(最后一块按实际大小算)。
Q2:100 万个 1 KB 的小文件存进 HDFS,会出什么问题?
点开看答案
数据只有约 1 GB,但 NameNode 要为每个文件和块各存约 150 字节元数据,约 300 MB 内存;文件再多就会撑爆 NameNode。计算时每个小文件一个 Map 任务,启动开销远大于计算本身。
Q3:MapReduce 里最慢的是哪一步?为什么?
点开看答案
Shuffle:要把 Map 输出按键排序、写磁盘,再通过网络把相同键的数据发到同一个 Reduce,磁盘和网络都是慢操作。
✅ 验收清单
- 能说出 Hadoop 三件套各负责什么
- 能画出 NameNode、DataNode、客户端的关系,并说出读文件的两步
- 能解释 128 MB 块和 3 副本的理由
- 能用词频统计的例子讲出 Map → Shuffle → Reduce
- 能说出 MapReduce 慢的 2 个原因
下一步该懂什么
- 同样是 Map / Shuffle / Reduce,Spark 为什么快 → Spark 原理