深色模式
03 · Hive 表:内部表、外部表、分区与分桶
学完你能说出:
- Hive 是什么:把 SQL 翻译成分布式计算,数据其实是 HDFS 上的文件。
- 内部表和外部表的区别,为什么数仓原始层常用外部表。
- 分区和分桶各解决什么问题,以及 ORC、Parquet 这类列式存储为什么快。
先看地图
前两篇讲的 SQL,在大数据平台上大多跑在 Hive 表(或 Spark SQL 读 Hive 表)上。本篇讲 5 个点:
① Hive 是什么 → ② 内部表 vs 外部表 → ③ 分区 → ④ 分桶 → ⑤ 存储格式:行存和列存
一句话本质
Hive = 给 HDFS 上的文件加一层「表结构」,让人能用 SQL 查;表的元数据(列名、类型、文件在哪)存在元数据库里,SQL 被翻译成 MapReduce、Tez 或 Spark 任务执行。
生活类比
HDFS 是一个大仓库,里面堆着成千上万个纸箱(文件);Hive 是一本目录册:
- 目录册写着「订单表 = 3 号货架上 dt=2026-11-20 那几个箱子,每箱按『订单号、金额、城市』排列」;
- 你说「查 11 月 20 日北京的订单」,管理员照着目录册只去搬那一天的箱子(分区裁剪);
- 内部表:撕掉目录册上这一页,箱子也一起扔掉;外部表:只撕目录页,箱子留在仓库。
一步步看
1. Hive 是什么
| 部分 | 做什么 |
|---|---|
| 元数据库(Metastore,通常用 MySQL 存) | 存表名、列、类型、分区、数据在 HDFS 的路径 |
| HDFS | 存真正的数据文件 |
| 执行引擎 | 把 SQL 翻译成 MapReduce / Tez / Spark 任务 |
Hive 适合离线批量分析(一次扫几亿行,等几分钟可以接受),不适合在线业务那种毫秒级的单行查询。
2. 内部表 vs 外部表
sql
CREATE TABLE dwd_orders (...); -- 内部表(管理表)
CREATE EXTERNAL TABLE ods_orders (...) LOCATION '/data/ods/orders'; -- 外部表| 内部表 | 外部表 | |
|---|---|---|
| 数据归谁管 | Hive | 外部(Hive 只登记位置) |
DROP TABLE 之后 | 元数据和 HDFS 数据一起删 | 只删元数据,数据留在 HDFS |
| 典型用途 | 中间结果、临时表、Hive 自己算出来的表 | 原始数据层(ODS)、多个系统共享的数据 |
为什么 ODS 常用外部表:原始数据是从业务系统采集来的,可能还被别的程序使用;误删表时数据还在,重新建表指向原路径就能恢复。
3. 分区:按目录切,查询只扫需要的目录
sql
CREATE EXTERNAL TABLE ods_orders (order_id BIGINT, city STRING, amount DECIMAL(10,2))
PARTITIONED BY (dt STRING)
STORED AS ORC
LOCATION '/data/ods/orders';HDFS 上的样子:
/data/ods/orders/dt=2026-11-18/part-0000.orc
/data/ods/orders/dt=2026-11-19/part-0000.orc
/data/ods/orders/dt=2026-11-20/part-0000.orcWHERE dt = '2026-11-20' 只读最后一个目录,这叫分区裁剪。一年 365 个分区,只扫 1 个,扫描量是全表的约 1/365。
要点:
- 分区列不存在数据文件里,它就是目录名;
- 最常见的是按天分区(
dt),也有按天 + 小时的二级分区; - 分区要和查询条件匹配:按天查就按天分区;分区太细(比如按用户 id 分区)会产生海量小目录、小文件;
- 按天分区还有一个工程好处:某天数据出错,只重跑那一天,覆盖写那一个分区(
INSERT OVERWRITE ... PARTITION (dt='2026-11-20')),天然幂等。
4. 分桶:按哈希切文件
sql
CREATE TABLE dwd_user (...) CLUSTERED BY (user_id) INTO 32 BUCKETS;按 hash(user_id) % 32 把数据分到 32 个文件里,同一个 user_id 一定在同一个桶。
| 分区 | 分桶 | |
|---|---|---|
| 切法 | 按列的值分目录 | 按列的哈希分文件 |
| 适合的列 | 取值少、常用于过滤(日期、地区) | 取值多(用户 id) |
| 主要好处 | 查询少扫数据 | 抽样方便;两张表按同一列、同样桶数分桶时,join 可以桶对桶进行,减少 Shuffle |
两者可以一起用:先按天分区,每个分区里再按 user_id 分桶。
5. 行存和列存
| 行存(TextFile、CSV) | 列存(ORC、Parquet) | |
|---|---|---|
| 怎么存 | 一行的所有列挨着存 | 同一列的值挨着存 |
SELECT city, SUM(amount)(表有 50 列) | 要读全部 50 列 | 只读 2 列 |
| 压缩 | 一般 | 同一列类型相同、值相似,压缩率高 |
| 适合 | 原始导入、需要整行读写 | 分析查询(数仓里的大部分表) |
ORC 和 Parquet 还会在文件里记录每一块数据的最大值、最小值,查询 amount > 1000 时可以直接跳过不可能满足的块。
为什么这么设计
为什么要区分内部表和外部表?
- 问题:有些数据归 Hive 管(自己算出来的中间结果),有些数据是别的系统写进 HDFS 的,Hive 只是借来查。如果一律「删表就删数据」,误删一次原始数据就找不回来。
- 方案:外部表只登记位置,删表不删数据;内部表由 Hive 全权管理。
- 好处:原始数据更安全,多个系统可以共享同一份文件;中间表清理也方便。
一句话答法
内部表删表时数据一起删,外部表只删元数据、数据留在 HDFS。原始层(ODS)常用外部表,因为数据来自外部系统、可能被共享,误删也能恢复。
为什么数仓表几乎都按天分区?
- 问题:表每天新增数据,大多数查询只关心某一天或某几天;不分区就每次都扫全表,数据错了也只能整表重跑。
- 方案:按日期分区,每天的数据一个目录。
- 好处:查询只扫相关日期(分区裁剪);每天的任务只写当天分区,出错只重跑那一天,覆盖写保证幂等;历史分区也方便按日期清理。
一句话答法
按天分区后,查询只扫需要的日期,每天的任务只覆盖写当天分区,出错只重跑那一天,所以数仓表几乎都按天分区。
为什么分析型的表要用列式存储?
- 问题:分析查询通常只用一张宽表的少数几列,行存要把整行都读出来。
- 方案:同一列的数据存在一起。
- 好处:只读需要的列,IO 大幅减少;同类型数据压缩率高;还能借助统计信息跳过整块数据。
一句话答法
分析查询往往只读少数几列,列存只读需要的列、压缩率高、还能按最大最小值跳过数据块,所以数仓表一般用 ORC 或 Parquet。
英文术语拆解
| 术语 | 拆开看 | 一句话意思 |
|---|---|---|
| Hive | 蜂巢 | 基于 Hadoop 的数据仓库工具,用 SQL 查 HDFS |
| Metastore | Meta 元 + store 存储 | 存表结构和位置的元数据库 |
| External Table | External 外部的 + Table 表 | 外部表:删表不删数据 |
| Partition | 分区 | 按列值分目录 |
| Bucket | 桶 | 按哈希分文件 |
| Partition Pruning | Partition 分区 + Pruning 修剪 | 分区裁剪:只读需要的分区 |
| ORC | Optimized 优化的 + Row 行 + Columnar 列式 | Hive 常用的列式存储格式 |
| Parquet | 镶木地板 | 另一种常用的列式存储格式 |
面试怎么问
Q:Hive 内部表和外部表有什么区别?
删除内部表时,元数据和 HDFS 上的数据一起删;删除外部表只删元数据,数据仍在 HDFS。原始数据层一般用外部表,因为数据来自外部系统、可能被多方使用,误删也能重新建表恢复;Hive 自己生成的中间表可以用内部表。
Q:分区和分桶有什么区别?
分区按列的值把数据分到不同目录,适合日期、地区这类取值少、经常用来过滤的列,查询时可以分区裁剪;分桶按列的哈希值把数据分到固定数量的文件,适合用户 id 这类取值多的列,用于抽样和同列分桶表之间的 join 优化。分区太细会产生大量小文件。
Q:为什么数仓里常用 ORC 或 Parquet?
它们是列式存储:分析查询只读需要的列,IO 少;同一列数据类型一致,压缩率高;文件里还有每块的统计信息,可以跳过不满足条件的数据块。
容易混的地方
- 分区列不在数据文件里:它是目录名,
SELECT *能查到它,但文件内容里没有。 - 分区 ≠ Spark 的分区:Hive 的分区是存储目录;Spark 的分区是计算时的数据切片(一个分区一个 Task)。
- 外部表不是「数据在外面的数据库」:数据仍然在 HDFS 上,只是 Hive 不负责删除它。
- Hive 不是数据库:没有毫秒级的单行查询,也不适合频繁的单行更新。
和其他知识的连接
- ← 来自 Hadoop:Hive 表的数据就是 HDFS 文件。
- → 影响 数仓分层与建模:每一层都是一组按天分区的 Hive 表。
- → 影响 ETL 与增量同步:按天分区 + 覆盖写是「重跑」和「幂等」的基础。
- 横向对照 数据库优化的分层答法:MySQL 的分区表和 Hive 分区是同一个思路:查询只扫一部分数据。
自测 3 问
Q1:误执行了 DROP TABLE ods_orders,它是外部表,数据还能找回吗?怎么做?
点开看答案
能。外部表删表只删元数据,HDFS 上的文件还在。用相同的表结构和 LOCATION 重新建外部表,再用 MSCK REPAIR TABLE 或 ALTER TABLE ADD PARTITION 把分区重新登记上。
Q2:一张订单表按天分区,存了一年。WHERE dt = '2026-11-20' 大约只扫多少数据?为什么?
点开看答案
约全表的 1/365。分区就是目录,查询条件带分区列时,Hive 只读这一天的目录(分区裁剪)。
Q3:为什么不建议按 user_id 分区?该怎么办?
点开看答案
user_id 取值太多,会产生几百万个目录和大量小文件,压垮 NameNode。取值多的列应该用分桶(按哈希分到固定数量的文件),分区留给日期这类取值少的列。
✅ 验收清单
- 能说出 Hive 的 3 个组成部分,以及它适合和不适合的场景
- 能对比内部表和外部表,并说出 ODS 为什么用外部表
- 能画出按天分区在 HDFS 上的目录结构,并解释分区裁剪
- 能对比分区和分桶的 3 个区别
- 能说出列式存储快的 3 个原因
下一步该懂什么
- 一堆 Hive 表怎么组织成数据仓库 → 数仓分层与建模