Skip to content

03 · Hive 表:内部表、外部表、分区与分桶 ​

学完你能说出:

  • Hive 是什么:把 SQL 翻译成分布式计算,数据其实是 HDFS 上的文件。
  • 内部表和外部表的区别,为什么数仓原始层常用外部表。
  • 分区和分桶各解决什么问题,以及 ORC、Parquet 这类列式存储为什么快。

先看地图 ​

前两篇讲的 SQL,在大数据平台上大多跑在 Hive 表(或 Spark SQL 读 Hive 表)上。本篇讲 5 个点:

① Hive 是什么 → ② 内部表 vs 外部表 → ③ 分区 → ④ 分桶 → ⑤ 存储格式:行存和列存

一句话本质 ​

Hive = 给 HDFS 上的文件加一层「表结构」,让人能用 SQL 查;表的元数据(列名、类型、文件在哪)存在元数据库里,SQL 被翻译成 MapReduce、Tez 或 Spark 任务执行。

生活类比 ​

HDFS 是一个大仓库,里面堆着成千上万个纸箱(文件);Hive 是一本目录册:

  • 目录册写着「订单表 = 3 号货架上 dt=2026-11-20 那几个箱子,每箱按『订单号、金额、城市』排列」;
  • 你说「查 11 月 20 日北京的订单」,管理员照着目录册只去搬那一天的箱子(分区裁剪);
  • 内部表:撕掉目录册上这一页,箱子也一起扔掉;外部表:只撕目录页,箱子留在仓库。

一步步看 ​

1. Hive 是什么 ​

部分做什么
元数据库(Metastore,通常用 MySQL 存)存表名、列、类型、分区、数据在 HDFS 的路径
HDFS存真正的数据文件
执行引擎把 SQL 翻译成 MapReduce / Tez / Spark 任务

Hive 适合离线批量分析(一次扫几亿行,等几分钟可以接受),不适合在线业务那种毫秒级的单行查询。

2. 内部表 vs 外部表 ​

sql
CREATE TABLE dwd_orders (...);                                   -- 内部表(管理表)
CREATE EXTERNAL TABLE ods_orders (...) LOCATION '/data/ods/orders';  -- 外部表
内部表外部表
数据归谁管Hive外部(Hive 只登记位置)
DROP TABLE 之后元数据和 HDFS 数据一起删只删元数据,数据留在 HDFS
典型用途中间结果、临时表、Hive 自己算出来的表原始数据层(ODS)、多个系统共享的数据

为什么 ODS 常用外部表:原始数据是从业务系统采集来的,可能还被别的程序使用;误删表时数据还在,重新建表指向原路径就能恢复。

3. 分区:按目录切,查询只扫需要的目录 ​

sql
CREATE EXTERNAL TABLE ods_orders (order_id BIGINT, city STRING, amount DECIMAL(10,2))
PARTITIONED BY (dt STRING)
STORED AS ORC
LOCATION '/data/ods/orders';

HDFS 上的样子:

/data/ods/orders/dt=2026-11-18/part-0000.orc
/data/ods/orders/dt=2026-11-19/part-0000.orc
/data/ods/orders/dt=2026-11-20/part-0000.orc

WHERE dt = '2026-11-20' 只读最后一个目录,这叫分区裁剪。一年 365 个分区,只扫 1 个,扫描量是全表的约 1/365。

要点:

  • 分区列不存在数据文件里,它就是目录名;
  • 最常见的是按天分区(dt),也有按天 + 小时的二级分区;
  • 分区要和查询条件匹配:按天查就按天分区;分区太细(比如按用户 id 分区)会产生海量小目录、小文件;
  • 按天分区还有一个工程好处:某天数据出错,只重跑那一天,覆盖写那一个分区(INSERT OVERWRITE ... PARTITION (dt='2026-11-20')),天然幂等。

4. 分桶:按哈希切文件 ​

sql
CREATE TABLE dwd_user (...) CLUSTERED BY (user_id) INTO 32 BUCKETS;

按 hash(user_id) % 32 把数据分到 32 个文件里,同一个 user_id 一定在同一个桶。

分区分桶
切法按列的值分目录按列的哈希分文件
适合的列取值少、常用于过滤(日期、地区)取值多(用户 id)
主要好处查询少扫数据抽样方便;两张表按同一列、同样桶数分桶时,join 可以桶对桶进行,减少 Shuffle

两者可以一起用:先按天分区,每个分区里再按 user_id 分桶。

5. 行存和列存 ​

行存(TextFile、CSV)列存(ORC、Parquet)
怎么存一行的所有列挨着存同一列的值挨着存
SELECT city, SUM(amount)(表有 50 列)要读全部 50 列只读 2 列
压缩一般同一列类型相同、值相似,压缩率高
适合原始导入、需要整行读写分析查询(数仓里的大部分表)

ORC 和 Parquet 还会在文件里记录每一块数据的最大值、最小值,查询 amount > 1000 时可以直接跳过不可能满足的块。

为什么这么设计 ​

为什么要区分内部表和外部表? ​

  • 问题:有些数据归 Hive 管(自己算出来的中间结果),有些数据是别的系统写进 HDFS 的,Hive 只是借来查。如果一律「删表就删数据」,误删一次原始数据就找不回来。
  • 方案:外部表只登记位置,删表不删数据;内部表由 Hive 全权管理。
  • 好处:原始数据更安全,多个系统可以共享同一份文件;中间表清理也方便。

一句话答法

内部表删表时数据一起删,外部表只删元数据、数据留在 HDFS。原始层(ODS)常用外部表,因为数据来自外部系统、可能被共享,误删也能恢复。

为什么数仓表几乎都按天分区? ​

  • 问题:表每天新增数据,大多数查询只关心某一天或某几天;不分区就每次都扫全表,数据错了也只能整表重跑。
  • 方案:按日期分区,每天的数据一个目录。
  • 好处:查询只扫相关日期(分区裁剪);每天的任务只写当天分区,出错只重跑那一天,覆盖写保证幂等;历史分区也方便按日期清理。

一句话答法

按天分区后,查询只扫需要的日期,每天的任务只覆盖写当天分区,出错只重跑那一天,所以数仓表几乎都按天分区。

为什么分析型的表要用列式存储? ​

  • 问题:分析查询通常只用一张宽表的少数几列,行存要把整行都读出来。
  • 方案:同一列的数据存在一起。
  • 好处:只读需要的列,IO 大幅减少;同类型数据压缩率高;还能借助统计信息跳过整块数据。

一句话答法

分析查询往往只读少数几列,列存只读需要的列、压缩率高、还能按最大最小值跳过数据块,所以数仓表一般用 ORC 或 Parquet。

英文术语拆解 ​

术语拆开看一句话意思
Hive蜂巢基于 Hadoop 的数据仓库工具,用 SQL 查 HDFS
MetastoreMeta 元 + store 存储存表结构和位置的元数据库
External TableExternal 外部的 + Table 表外部表:删表不删数据
Partition分区按列值分目录
Bucket桶按哈希分文件
Partition PruningPartition 分区 + Pruning 修剪分区裁剪:只读需要的分区
ORCOptimized 优化的 + Row 行 + Columnar 列式Hive 常用的列式存储格式
Parquet镶木地板另一种常用的列式存储格式

面试怎么问 ​

Q:Hive 内部表和外部表有什么区别?

删除内部表时,元数据和 HDFS 上的数据一起删;删除外部表只删元数据,数据仍在 HDFS。原始数据层一般用外部表,因为数据来自外部系统、可能被多方使用,误删也能重新建表恢复;Hive 自己生成的中间表可以用内部表。

Q:分区和分桶有什么区别?

分区按列的值把数据分到不同目录,适合日期、地区这类取值少、经常用来过滤的列,查询时可以分区裁剪;分桶按列的哈希值把数据分到固定数量的文件,适合用户 id 这类取值多的列,用于抽样和同列分桶表之间的 join 优化。分区太细会产生大量小文件。

Q:为什么数仓里常用 ORC 或 Parquet?

它们是列式存储:分析查询只读需要的列,IO 少;同一列数据类型一致,压缩率高;文件里还有每块的统计信息,可以跳过不满足条件的数据块。

容易混的地方 ​

  • 分区列不在数据文件里:它是目录名,SELECT * 能查到它,但文件内容里没有。
  • 分区 ≠ Spark 的分区:Hive 的分区是存储目录;Spark 的分区是计算时的数据切片(一个分区一个 Task)。
  • 外部表不是「数据在外面的数据库」:数据仍然在 HDFS 上,只是 Hive 不负责删除它。
  • Hive 不是数据库:没有毫秒级的单行查询,也不适合频繁的单行更新。

和其他知识的连接 ​

自测 3 问 ​

Q1:误执行了 DROP TABLE ods_orders,它是外部表,数据还能找回吗?怎么做?

点开看答案

能。外部表删表只删元数据,HDFS 上的文件还在。用相同的表结构和 LOCATION 重新建外部表,再用 MSCK REPAIR TABLE 或 ALTER TABLE ADD PARTITION 把分区重新登记上。

Q2:一张订单表按天分区,存了一年。WHERE dt = '2026-11-20' 大约只扫多少数据?为什么?

点开看答案

约全表的 1/365。分区就是目录,查询条件带分区列时,Hive 只读这一天的目录(分区裁剪)。

Q3:为什么不建议按 user_id 分区?该怎么办?

点开看答案

user_id 取值太多,会产生几百万个目录和大量小文件,压垮 NameNode。取值多的列应该用分桶(按哈希分到固定数量的文件),分区留给日期这类取值少的列。

✅ 验收清单 ​

  • 能说出 Hive 的 3 个组成部分,以及它适合和不适合的场景
  • 能对比内部表和外部表,并说出 ODS 为什么用外部表
  • 能画出按天分区在 HDFS 上的目录结构,并解释分区裁剪
  • 能对比分区和分桶的 3 个区别
  • 能说出列式存储快的 3 个原因

下一步该懂什么 ​