Skip to content

01 · Hadoop:一台机器存不下、算不动怎么办 ​

学完你能说出:

  • Hadoop 的三件套:HDFS 负责存、MapReduce 负责算、YARN 负责分资源。
  • HDFS 为什么切 128 MB 的块、存 3 份,为什么怕小文件。
  • MapReduce 的 Map → Shuffle → Reduce,以及它为什么慢。

先看地图 ​

平台全景里的「存储」和「计算」两站,最早就是 Hadoop 打下的基础。后来的 Hive、Spark 都跑在它上面。本篇讲 4 个点:

① 为什么要分布式 → ② HDFS:怎么存 → ③ MapReduce:怎么算 → ④ YARN:资源谁来分

一句话本质 ​

把大文件切块分散存到很多台机器上(HDFS),再把计算任务发到数据所在的机器上并行算(MapReduce),由 YARN 统一分配 CPU 和内存。

生活类比 ​

一个图书馆要统计 1 亿本书里每个词出现的次数:

  • 一个人数:数到退休也数不完(单机)。
  • HDFS:把书分到 100 个分馆,每本书在 3 个分馆各放一份,丢一个分馆也不怕;总馆只留一本「哪本书在哪几个分馆」的目录。
  • MapReduce:每个分馆的人数自己馆里的书(Map),然后把同一个词的结果汇总到同一个人手里(Shuffle),最后各自加总(Reduce)。
  • YARN:调度员,决定哪个分馆派几个人、干多久。

一步步看 ​

1. 为什么要分布式 ​

场景单机分布式
存 100 TB 数据单台服务器装不下100 台机器各存约 1 TB(再乘副本数)
扫一遍 100 TB单块磁盘约 200 MB/s,要约 6 天100 台并行,约 1.5 小时
一台坏了数据没了其他副本还在

核心思路:移动计算比移动数据便宜。100 TB 搬来搬去太慢,不如把几 KB 的程序发到数据所在的机器上去算。

2. HDFS:怎么存 ​

← 左右滑动看完整图 →NameNode(管家)orders.csv → 块 A、B、CA 在 1、2、3 号机……客户端① 问 NameNode:块在哪?② 直接去 DataNode 读问位置DataNode(干活的机器):每块 3 个副本,放在不同机器上,坏一台不丢数据1 号机块 A块 B2 号机块 A块 C3 号机块 A块 B4 号机块 B块 C5 号机块 C文件 300 MB → 块 A 128 MB + 块 B 128 MB + 块 C 44 MB(最后一块不满也只占实际大小)小文件问题:100 万个 1 KB 文件 = 100 万条元数据,压垮 NameNode 内存
HDFS 把一个 300 MB 的文件切成 128 + 128 + 44 MB 三块,每块存 3 份,分散在不同机器上。NameNode 只记「哪个文件分成哪几块、每块在哪几台机器」(元数据,放内存);真正的数据在 DataNode 上。读文件时先问 NameNode 块在哪,再直接去 DataNode 读。
概念意思例子
块(Block)文件切成固定大小的块,默认 128 MB300 MB 的文件 = 128 + 128 + 44 MB 三块
副本(Replica)每块默认存 3 份,放在不同机器(尽量跨机架)坏 2 台机器也不丢数据
NameNode管家:存元数据(文件名、分了哪些块、每块在哪),全放在内存里一个集群一个(另配备用的保证高可用)
DataNode干活的机器:存真正的数据块,定时向 NameNode 汇报「我还活着、我有哪些块」几十到几千台

读文件:客户端先问 NameNode「这个文件的块在哪」,拿到地址后直接去 DataNode 读,数据不经过 NameNode。

写文件:客户端把块写给第 1 个 DataNode,它边收边转给第 2 个,第 2 个再转给第 3 个(流水线复制)。

为什么怕小文件:每个文件、每个块在 NameNode 内存里都要占约 150 字节的元数据。100 万个 1 KB 的小文件,数据才 1 GB,元数据却有约 300 MB;而且每个小文件都会变成一个 Map 任务,启动任务的时间比干活还长。

3. MapReduce:怎么算 ​

← 左右滑动看完整图 →输入(切片)MapShuffle(按键分组)Reduce切片 1a b a切片 2b c a(a,1)(b,1)(a,1)(b,1)(c,1)(a,1)a → [1, 1, 1]b → [1, 1]c → [1](a, 3)(b, 2)(c, 1)↑ 写磁盘 + 走网络,最慢YARN 负责分配资源:ResourceManager 管全局,NodeManager 管单台机器,每个任务跑在一个 Container 里
MapReduce 统计词频:Map 把每行拆成(词, 1);Shuffle 按词把相同的键送到同一个 Reduce,要写磁盘、走网络,是最慢的一步;Reduce 把同一个词的 1 加起来。Spark 的计算模型也是这样,只是中间结果尽量不落盘。

以词频统计为例(输入两行:「a b a」「b c a」):

阶段做什么结果
Map每行拆成(词, 1)(a,1)(b,1)(a,1)、(b,1)(c,1)(a,1)
Shuffle按词分组,相同的词送到同一个 Reduce;要排序、写磁盘、走网络a → [1,1,1],b → [1,1],c → [1]
Reduce把同一个词的值加起来(a,3)(b,2)(c,1)

MapReduce 为什么慢:每一步的中间结果都写磁盘;一个程序只能表达一轮 Map + Reduce,复杂的分析(比如先过滤、再 join、再汇总)要串好几个作业,每个作业之间都要读写 HDFS。机器学习要迭代几十轮,就要读写几十遍磁盘。

4. YARN:资源谁来分 ​

组件角色类比
ResourceManager全局调度:整个集群还有多少 CPU、内存,分给谁总调度员
NodeManager每台机器上一个,管本机资源,按指令启动任务分馆馆长
ApplicationMaster每个作业一个,向 ResourceManager 申请资源、盯着自己的任务项目经理
Container一份资源(比如 2 核 4 GB),任务跑在里面一张工位

有了 YARN,MapReduce、Spark、Flink 可以共用同一个集群,不用各自圈一批机器。

为什么这么设计 ​

为什么块这么大(128 MB),而不是像普通文件系统那样 4 KB? ​

  • 问题:块太小,元数据就多(NameNode 内存扛不住),读一个文件要寻址很多次;机械硬盘寻址一次约 10 毫秒。
  • 方案:用 128 MB 的大块,一次寻址后连续读很久。
  • 好处:寻址时间占比很小,传输效率高;元数据量少。代价是不适合存大量小文件。

一句话答法

HDFS 的块设成 128 MB,是为了让寻址时间相对传输时间可以忽略,同时减少 NameNode 要管的元数据;代价是小文件会浪费元数据、拖垮 NameNode。

为什么每块存 3 份? ​

  • 问题:几千台机器的集群,每天都有机器或硬盘坏掉。
  • 方案:每块存 3 份:一般一份在本机、两份在另一个机架的两台机器上。
  • 好处:坏一台机器、甚至一整个机架都不丢数据;读的时候还能就近选副本。代价是存储空间变成 3 倍。

一句话答法

大集群里机器坏是常态,3 副本放在不同机器和机架上,坏一台甚至一个机架都不丢数据,代价是 3 倍存储。

为什么要「移动计算」而不是「移动数据」? ​

  • 问题:把 100 TB 数据通过网络传到一台机器上算,网络会成为瓶颈,而且一台机器也算不动。
  • 方案:调度器尽量把任务发到存着那块数据的机器上运行(数据本地性)。
  • 好处:大部分读取在本机磁盘完成,网络只传程序和结果。

一句话答法

数据比程序大得多,所以 Hadoop 把计算任务发到数据所在的机器上执行,大部分读取走本地磁盘,避免网络成为瓶颈。

英文术语拆解 ​

术语拆开看一句话意思
Hadoop创始人孩子的玩具大象的名字开源的分布式存储 + 计算框架
HDFSHadoop + Distributed 分布式 + File System 文件系统分布式文件系统
NameNodeName 名字 + Node 节点管元数据的节点
DataNodeData 数据 + Node 节点存数据块的节点
MapReduceMap 映射 + Reduce 归约先拆成键值对、再按键汇总的计算模型
Shuffle洗牌按键重新分组、跨机器传数据
YARNYet 又 + Another 一个 + Resource 资源 + Negotiator 协调者集群资源管理器

面试怎么问 ​

Q:讲一下 HDFS 的架构和读写流程。

HDFS 是主从架构:NameNode 存元数据(文件分成哪些块、每块在哪),DataNode 存数据块。文件按 128 MB 切块,每块默认 3 副本放在不同机器上。读的时候客户端先问 NameNode 块的位置,再直接去 DataNode 读;写的时候客户端把块写给第一个 DataNode,它再流水线复制给第二、第三个。

Q:HDFS 为什么不适合存小文件?怎么解决?

每个文件和块都要在 NameNode 内存里占一份元数据,小文件多了会把 NameNode 内存撑爆;而且每个小文件对应一个 Map 任务,任务启动开销比计算还大。解决:写入前合并(比如 Spark 输出时用 coalesce 减少文件数),已有的小文件定期合并,或者用 Hadoop 归档(HAR)、SequenceFile 把小文件打包。

Q:MapReduce 的流程是什么?为什么慢?

Map 把输入拆成键值对,Shuffle 按键分组并把相同键送到同一个 Reduce,Reduce 对每组做汇总。慢在于中间结果都要写磁盘、Shuffle 要排序和跨网络传输,而且一个作业只能表达一轮 Map + Reduce,复杂分析和迭代计算要串多个作业,反复读写 HDFS。

容易混的地方 ​

  • NameNode 不存数据:只存元数据,数据读写直接走 DataNode。
  • Hadoop ≠ MapReduce:Hadoop 是三件套;现在计算多用 Spark,但 HDFS 和 YARN 仍然常用。
  • 最后一块不满不浪费空间:44 MB 的块只占 44 MB 磁盘。
  • SecondaryNameNode 不是热备:它只是帮 NameNode 定期合并元数据日志;高可用要配 Standby NameNode。

和其他知识的连接 ​

  • ← 来自 平台全景:存储和计算两站。
  • → 影响 Spark 原理:Spark 继承了 Map / Shuffle / Reduce 的模型,改进了「中间结果落盘」。
  • → 影响 Hive 表:Hive 表的数据就是 HDFS 上的文件。
  • 横向对照 索引与 B+ 树:数据库的页是 16 KB,HDFS 的块是 128 MB,都是在「寻址开销」和「传输效率」之间取舍。

自测 3 问 ​

Q1:一个 300 MB 的文件存进 HDFS,切成几块?一共占多少磁盘?

点开看答案

切成 3 块:128 MB、128 MB、44 MB。每块 3 副本,一共占约 900 MB 磁盘(最后一块按实际大小算)。

Q2:100 万个 1 KB 的小文件存进 HDFS,会出什么问题?

点开看答案

数据只有约 1 GB,但 NameNode 要为每个文件和块各存约 150 字节元数据,约 300 MB 内存;文件再多就会撑爆 NameNode。计算时每个小文件一个 Map 任务,启动开销远大于计算本身。

Q3:MapReduce 里最慢的是哪一步?为什么?

点开看答案

Shuffle:要把 Map 输出按键排序、写磁盘,再通过网络把相同键的数据发到同一个 Reduce,磁盘和网络都是慢操作。

✅ 验收清单 ​

  • 能说出 Hadoop 三件套各负责什么
  • 能画出 NameNode、DataNode、客户端的关系,并说出读文件的两步
  • 能解释 128 MB 块和 3 副本的理由
  • 能用词频统计的例子讲出 Map → Shuffle → Reduce
  • 能说出 MapReduce 慢的 2 个原因

下一步该懂什么 ​

  • 同样是 Map / Shuffle / Reduce,Spark 为什么快 → Spark 原理