深色模式
02 · 消息队列:先排队,再慢慢处理
学完你能说出:
- 消息队列的三个作用:解耦、异步、削峰;不用会怎样,代价是什么。
- Kafka 的基本概念:Topic、Partition、Consumer Group、Offset。
- 怎么保证消息不丢、不重复(幂等消费)、有序。
先看地图
缓存解决的是读太多;消息队列解决的是写太猛、调用链太长。本篇讲 5 个点:
① 解决什么、不用会怎样、代价 → ② 用下单走一遍 → ③ Kafka 的基本概念 → ④ 不丢、不重、有序 → ⑤ 常见产品怎么选
一句话本质
消息队列 = 生产者把消息放进队列就走,消费者按自己的速度取出来处理;两边不用同时在线、不用互相认识,也不用速度一样。
生活类比
餐厅的点单小票夹:
- 服务员把小票夹上去就去招呼下一桌(生产者发完就返回);
- 厨师按顺序一张张取下来做(消费者按自己的速度处理);
- 饭点高峰小票夹满了也没关系,厨师慢慢做(削峰);
- 新增一个「打包员」,也从小票夹上看单,服务员不用改任何流程(解耦)。
一步步看
1. 解决什么、不用会怎样、代价
| 内容 | |
|---|---|
| 解决什么 | ① 解耦:上游不需要知道有哪些下游;② 异步:耗时的事情不让用户等;③ 削峰:高峰期的请求先排队,下游按能力消费 |
| 不用会怎样 | 下单时同步调用 4 个服务,耗时相加;任何一个下游挂了,下单就失败;新加一个下游要改下单代码;大促时瞬间流量直接压垮下游 |
| 代价 | ① 系统复杂度增加,要维护消息队列本身;② 消息可能丢、可能重复、可能乱序,要专门处理;③ 变成最终一致:用户下单成功时,积分可能还没加上 |
2. 用下单走一遍
同步调用:用户等 50 + 300 + 100 + 200 = 650 毫秒;短信服务挂了,下单直接失败。
用消息队列:下单服务写完订单、发一条「订单 88001 已创建」的消息就返回(约 50 毫秒)。扣库存、发短信、加积分、通知仓库四个服务各自订阅这个消息。短信服务挂了,消息留在队列里,恢复后接着发;以后要加一个「推荐系统更新用户画像」,只需要再订阅一次,下单代码一行不改。
(扣库存这种必须马上成功的步骤,实际中常常保留在同步流程里,只把发短信、加积分这类「晚一点也行」的步骤异步化。)
3. Kafka 的基本概念
Kafka 是大数据和后端都常用的消息队列:
| 概念 | 意思 | 类比 |
|---|---|---|
| Producer / Consumer | 生产者 / 消费者 | 写小票的服务员 / 做菜的厨师 |
| Broker | 一台 Kafka 服务器 | 一个小票夹 |
| Topic | 消息的分类 | 「热菜单」「饮料单」 |
| Partition | 一个 Topic 拆成多个分区,分布在不同 Broker 上并行读写;分区内有序 | 热菜单分 3 个夹子 |
| Consumer Group | 一组消费者共同消费一个 Topic,每个分区只交给组内一个消费者 | 3 个厨师各管一个夹子 |
| Offset | 消费者读到了分区里的第几条 | 书签 |
两个要点:
- 同一个 Topic 可以被多个消费组各自完整消费:短信组、积分组各读一遍,互不影响。
- Kafka 的消息不是读完就删:按时间(比如 7 天)保留,消费者可以把 Offset 往回调,重新消费。这也是它能当「数据管道」的原因,见 平台全景。
4. 不丢、不重、有序
不丢:三个环节都要管。
| 环节 | 怎么丢 | 怎么防 |
|---|---|---|
| 生产者 → 队列 | 网络抖动,消息没送到 | 等队列确认(Kafka 设 acks=all,所有副本都写好才算成功),失败重试 |
| 队列本身 | 机器宕机 | 消息持久化到磁盘、多副本 |
| 队列 → 消费者 | 消费者取到消息就提交 Offset,处理到一半崩了 | 处理成功之后再提交 Offset |
不重:为了不丢,生产者会重试、消费者会在崩溃后重新消费,所以重复几乎无法避免。解决办法是让消费者幂等:
- 每条消息带唯一 id(比如订单号),处理前查一下「这个 id 处理过没有」,处理过就跳过;
- 或者利用数据库唯一约束:积分流水表以订单号为唯一键,重复插入会失败,自然不会加两次积分。
有序:Kafka 只保证同一个分区内有序。需要「同一个订单的消息按顺序处理」时,用订单号作为消息的 key,相同 key 会进同一个分区。
5. 常见产品
| 产品 | 特点 | 常见场景 |
|---|---|---|
| Kafka | 吞吐量极高、消息可保留和回放 | 日志收集、大数据管道、CDC 数据同步 |
| RabbitMQ | 路由规则灵活、延迟低、功能丰富 | 业务系统之间的异步通知 |
| RocketMQ | 支持事务消息、延迟消息,在国内电商场景常用 | 订单、交易类业务 |
为什么这么设计
为什么消息队列能削峰?
- 问题:大促时 1 秒涌进 5 万个请求,下游每秒只能处理 5000 个,直接调用会把下游压垮。
- 方案:请求先写进队列(写队列很快),下游按每秒 5000 的速度慢慢消费。
- 好处:下游不会被压垮,高峰期的请求只是晚一点被处理;代价是处理有延迟。
一句话答法
高峰期请求先写进队列,下游按自己的能力匀速消费,队列像水库一样把洪峰摊平,下游不会被压垮,代价是处理变成异步、有延迟。
为什么要「处理成功后再提交 Offset」?
- 问题:先提交 Offset 再处理,处理到一半崩了,重启后从新的 Offset 开始读,这条消息就永远丢了。
- 方案:处理完成后再提交。
- 好处:不会丢;代价是崩溃后会重新消费这条消息,所以消费逻辑必须幂等。
一句话答法
先提交再处理,崩溃时消息就丢了;处理成功后再提交 Offset 保证不丢,代价是可能重复消费,所以消费者要做幂等。
为什么消费者必须幂等?
- 问题:生产者重试、消费者崩溃重启、提交 Offset 失败,都会造成同一条消息被消费多次。
- 方案:按消息唯一 id 去重,或依靠数据库唯一约束。
- 好处:重复消费也不会多扣钱、多加积分;这和数仓任务「重跑幂等」是同一个思想。
一句话答法
为了不丢消息,重复消费几乎无法避免,所以消费者要幂等:按消息唯一 id 去重或用唯一约束,同一条消息处理多少次结果都一样。
英文术语拆解
| 术语 | 拆开看 | 一句话意思 |
|---|---|---|
| MQ | Message 消息 + Queue 队列 | 消息队列 |
| Producer / Consumer | 生产者 / 消费者 | 发消息的 / 收消息的 |
| Topic | 主题 | 消息分类 |
| Partition | 分区 | Topic 的一个分片,分区内有序 |
| Consumer Group | Consumer 消费者 + Group 组 | 一组消费者分摊一个 Topic |
| Offset | 偏移量 | 消费到了第几条 |
| ack | acknowledge 确认 | 收到确认 |
| Peak Shaving | Peak 峰值 + Shaving 削 | 削峰 |
面试怎么问
Q:为什么要用消息队列?有什么缺点?
三个作用:解耦,上游只发消息,不需要知道有哪些下游,加新下游不改上游代码;异步,耗时操作不让用户等;削峰,高峰期请求先排队,下游按能力消费。缺点是系统更复杂,要处理消息丢失、重复、乱序,而且数据变成最终一致。
Q:怎么保证消息不丢失?
三个环节:生产者等待确认并失败重试,Kafka 可以设 acks=all;队列持久化到磁盘并多副本;消费者处理成功后再提交 Offset。
Q:怎么处理重复消费?
重复很难避免,所以让消费逻辑幂等:每条消息带唯一 id,处理前检查是否处理过;或者利用数据库唯一约束,比如积分流水以订单号为唯一键,重复插入直接失败。
Q:Kafka 怎么保证消息有序?
Kafka 只保证同一个分区内有序。需要按业务对象有序时,用业务 id(比如订单号)作为消息 key,同一个 key 会被分到同一个分区,再由同一个消费者按顺序处理。
容易混的地方
- 消息队列不保证「恰好一次」:常见的是「至少一次」+ 幂等消费。
- Kafka 消费完不删消息:按保留时间删除,可以回放。
- 全局有序代价很大:只用一个分区就失去了并行能力,一般只要求「同一个业务对象内有序」。
- 异步不等于不可靠:配合持久化、确认和重试,消息可以做到不丢。
和其他知识的连接
- ← 来自 从一台到多台:写入高峰和长调用链时加的组件。
- → 影响 平台全景:Kafka 在采集和计算之间做缓冲。
- → 影响 ETL 与增量同步:CDC 读出的变更通常先发到 Kafka。
- → 影响 企业知识库架构:文档上传后经消息队列异步解析。
- ← 来自 工程落地 5 个「能」:幂等、重试就是「能稳」。
自测 3 问
Q1:下单后同步调用 4 个服务分别耗时 50、300、100、200 毫秒,用户等多久?改成消息队列呢?还有什么好处?
点开看答案
同步:650 毫秒。消息队列:下单服务写库、发消息就返回,约 50 毫秒。另外:某个下游挂了不影响下单,消息留在队列里等恢复后处理;加新下游不用改下单代码;大促时可以削峰。
Q2:消费者「取到消息就提交 Offset」,处理到一半崩了,会怎样?怎么改?改了以后有什么新问题?
点开看答案
这条消息丢了,重启后从新的 Offset 开始读。改成处理成功后再提交。新问题是崩溃后会重新消费这条消息,所以要做幂等消费。
Q3:同一个订单的「创建、支付、发货」三条消息必须按顺序处理,Kafka 怎么做?
点开看答案
用订单号作为消息 key,同一个 key 会进同一个分区;Kafka 分区内有序,且一个分区在消费组里只由一个消费者处理,所以能按顺序消费。
✅ 验收清单
- 能按「解决什么 → 不用会怎样 → 代价」讲消息队列
- 能用下单的例子说明解耦、异步、削峰
- 能说出 Topic、Partition、Consumer Group、Offset 各是什么
- 能分三个环节说出怎么保证不丢,并说出幂等消费的 2 种做法
- 能说出 Kafka 怎么保证有序
下一步该懂什么
- 大文件和全文搜索放哪 → 对象存储与搜索引擎