Skip to content

02 · 消息队列:先排队,再慢慢处理 ​

学完你能说出:

  • 消息队列的三个作用:解耦、异步、削峰;不用会怎样,代价是什么。
  • Kafka 的基本概念:Topic、Partition、Consumer Group、Offset。
  • 怎么保证消息不丢、不重复(幂等消费)、有序。

先看地图 ​

缓存解决的是读太多;消息队列解决的是写太猛、调用链太长。本篇讲 5 个点:

① 解决什么、不用会怎样、代价 → ② 用下单走一遍 → ③ Kafka 的基本概念 → ④ 不丢、不重、有序 → ⑤ 常见产品怎么选

一句话本质 ​

消息队列 = 生产者把消息放进队列就走,消费者按自己的速度取出来处理;两边不用同时在线、不用互相认识,也不用速度一样。

生活类比 ​

餐厅的点单小票夹:

  • 服务员把小票夹上去就去招呼下一桌(生产者发完就返回);
  • 厨师按顺序一张张取下来做(消费者按自己的速度处理);
  • 饭点高峰小票夹满了也没关系,厨师慢慢做(削峰);
  • 新增一个「打包员」,也从小票夹上看单,服务员不用改任何流程(解耦)。

一步步看 ​

1. 解决什么、不用会怎样、代价 ​

内容
解决什么① 解耦:上游不需要知道有哪些下游;② 异步:耗时的事情不让用户等;③ 削峰:高峰期的请求先排队,下游按能力消费
不用会怎样下单时同步调用 4 个服务,耗时相加;任何一个下游挂了,下单就失败;新加一个下游要改下单代码;大促时瞬间流量直接压垮下游
代价① 系统复杂度增加,要维护消息队列本身;② 消息可能丢、可能重复、可能乱序,要专门处理;③ 变成最终一致:用户下单成功时,积分可能还没加上

2. 用下单走一遍 ​

← 左右滑动看完整图 →同步调用:串行,耗时相加,一个挂全挂下单扣库存 50ms发短信 300ms加积分 100ms通知仓库 200ms用户等待:50 + 300 + 100 + 200 = 650 ms;短信服务一挂,下单也失败消息队列:发完就返回,下游各自订阅下单写库 + 发消息消息队列Topic:订单已创建扣库存发短信加积分通知仓库用户等待:约 50 ms短信挂了:消息留在队列,恢复后接着发三个作用:解耦(加新下游不改下单代码)· 异步(用户不用等)· 削峰(大促时先排队,下游按能力消费)
下单后要做 4 件事。同步调用:一件件串着做,总耗时相加,任何一个下游挂了下单就失败。消息队列:下单服务只发一条「订单已创建」的消息就返回,各下游自己订阅、按自己的速度处理,互不影响。

同步调用:用户等 50 + 300 + 100 + 200 = 650 毫秒;短信服务挂了,下单直接失败。

用消息队列:下单服务写完订单、发一条「订单 88001 已创建」的消息就返回(约 50 毫秒)。扣库存、发短信、加积分、通知仓库四个服务各自订阅这个消息。短信服务挂了,消息留在队列里,恢复后接着发;以后要加一个「推荐系统更新用户画像」,只需要再订阅一次,下单代码一行不改。

(扣库存这种必须马上成功的步骤,实际中常常保留在同步流程里,只把发短信、加积分这类「晚一点也行」的步骤异步化。)

3. Kafka 的基本概念 ​

Kafka 是大数据和后端都常用的消息队列:

概念意思类比
Producer / Consumer生产者 / 消费者写小票的服务员 / 做菜的厨师
Broker一台 Kafka 服务器一个小票夹
Topic消息的分类「热菜单」「饮料单」
Partition一个 Topic 拆成多个分区,分布在不同 Broker 上并行读写;分区内有序热菜单分 3 个夹子
Consumer Group一组消费者共同消费一个 Topic,每个分区只交给组内一个消费者3 个厨师各管一个夹子
Offset消费者读到了分区里的第几条书签

两个要点:

  • 同一个 Topic 可以被多个消费组各自完整消费:短信组、积分组各读一遍,互不影响。
  • Kafka 的消息不是读完就删:按时间(比如 7 天)保留,消费者可以把 Offset 往回调,重新消费。这也是它能当「数据管道」的原因,见 平台全景。

4. 不丢、不重、有序 ​

不丢:三个环节都要管。

环节怎么丢怎么防
生产者 → 队列网络抖动,消息没送到等队列确认(Kafka 设 acks=all,所有副本都写好才算成功),失败重试
队列本身机器宕机消息持久化到磁盘、多副本
队列 → 消费者消费者取到消息就提交 Offset,处理到一半崩了处理成功之后再提交 Offset

不重:为了不丢,生产者会重试、消费者会在崩溃后重新消费,所以重复几乎无法避免。解决办法是让消费者幂等:

  • 每条消息带唯一 id(比如订单号),处理前查一下「这个 id 处理过没有」,处理过就跳过;
  • 或者利用数据库唯一约束:积分流水表以订单号为唯一键,重复插入会失败,自然不会加两次积分。

有序:Kafka 只保证同一个分区内有序。需要「同一个订单的消息按顺序处理」时,用订单号作为消息的 key,相同 key 会进同一个分区。

5. 常见产品 ​

产品特点常见场景
Kafka吞吐量极高、消息可保留和回放日志收集、大数据管道、CDC 数据同步
RabbitMQ路由规则灵活、延迟低、功能丰富业务系统之间的异步通知
RocketMQ支持事务消息、延迟消息,在国内电商场景常用订单、交易类业务

为什么这么设计 ​

为什么消息队列能削峰? ​

  • 问题:大促时 1 秒涌进 5 万个请求,下游每秒只能处理 5000 个,直接调用会把下游压垮。
  • 方案:请求先写进队列(写队列很快),下游按每秒 5000 的速度慢慢消费。
  • 好处:下游不会被压垮,高峰期的请求只是晚一点被处理;代价是处理有延迟。

一句话答法

高峰期请求先写进队列,下游按自己的能力匀速消费,队列像水库一样把洪峰摊平,下游不会被压垮,代价是处理变成异步、有延迟。

为什么要「处理成功后再提交 Offset」? ​

  • 问题:先提交 Offset 再处理,处理到一半崩了,重启后从新的 Offset 开始读,这条消息就永远丢了。
  • 方案:处理完成后再提交。
  • 好处:不会丢;代价是崩溃后会重新消费这条消息,所以消费逻辑必须幂等。

一句话答法

先提交再处理,崩溃时消息就丢了;处理成功后再提交 Offset 保证不丢,代价是可能重复消费,所以消费者要做幂等。

为什么消费者必须幂等? ​

  • 问题:生产者重试、消费者崩溃重启、提交 Offset 失败,都会造成同一条消息被消费多次。
  • 方案:按消息唯一 id 去重,或依靠数据库唯一约束。
  • 好处:重复消费也不会多扣钱、多加积分;这和数仓任务「重跑幂等」是同一个思想。

一句话答法

为了不丢消息,重复消费几乎无法避免,所以消费者要幂等:按消息唯一 id 去重或用唯一约束,同一条消息处理多少次结果都一样。

英文术语拆解 ​

术语拆开看一句话意思
MQMessage 消息 + Queue 队列消息队列
Producer / Consumer生产者 / 消费者发消息的 / 收消息的
Topic主题消息分类
Partition分区Topic 的一个分片,分区内有序
Consumer GroupConsumer 消费者 + Group 组一组消费者分摊一个 Topic
Offset偏移量消费到了第几条
ackacknowledge 确认收到确认
Peak ShavingPeak 峰值 + Shaving 削削峰

面试怎么问 ​

Q:为什么要用消息队列?有什么缺点?

三个作用:解耦,上游只发消息,不需要知道有哪些下游,加新下游不改上游代码;异步,耗时操作不让用户等;削峰,高峰期请求先排队,下游按能力消费。缺点是系统更复杂,要处理消息丢失、重复、乱序,而且数据变成最终一致。

Q:怎么保证消息不丢失?

三个环节:生产者等待确认并失败重试,Kafka 可以设 acks=all;队列持久化到磁盘并多副本;消费者处理成功后再提交 Offset。

Q:怎么处理重复消费?

重复很难避免,所以让消费逻辑幂等:每条消息带唯一 id,处理前检查是否处理过;或者利用数据库唯一约束,比如积分流水以订单号为唯一键,重复插入直接失败。

Q:Kafka 怎么保证消息有序?

Kafka 只保证同一个分区内有序。需要按业务对象有序时,用业务 id(比如订单号)作为消息 key,同一个 key 会被分到同一个分区,再由同一个消费者按顺序处理。

容易混的地方 ​

  • 消息队列不保证「恰好一次」:常见的是「至少一次」+ 幂等消费。
  • Kafka 消费完不删消息:按保留时间删除,可以回放。
  • 全局有序代价很大:只用一个分区就失去了并行能力,一般只要求「同一个业务对象内有序」。
  • 异步不等于不可靠:配合持久化、确认和重试,消息可以做到不丢。

和其他知识的连接 ​

自测 3 问 ​

Q1:下单后同步调用 4 个服务分别耗时 50、300、100、200 毫秒,用户等多久?改成消息队列呢?还有什么好处?

点开看答案

同步:650 毫秒。消息队列:下单服务写库、发消息就返回,约 50 毫秒。另外:某个下游挂了不影响下单,消息留在队列里等恢复后处理;加新下游不用改下单代码;大促时可以削峰。

Q2:消费者「取到消息就提交 Offset」,处理到一半崩了,会怎样?怎么改?改了以后有什么新问题?

点开看答案

这条消息丢了,重启后从新的 Offset 开始读。改成处理成功后再提交。新问题是崩溃后会重新消费这条消息,所以要做幂等消费。

Q3:同一个订单的「创建、支付、发货」三条消息必须按顺序处理,Kafka 怎么做?

点开看答案

用订单号作为消息 key,同一个 key 会进同一个分区;Kafka 分区内有序,且一个分区在消费组里只由一个消费者处理,所以能按顺序消费。

✅ 验收清单 ​

  • 能按「解决什么 → 不用会怎样 → 代价」讲消息队列
  • 能用下单的例子说明解耦、异步、削峰
  • 能说出 Topic、Partition、Consumer Group、Offset 各是什么
  • 能分三个环节说出怎么保证不丢,并说出幂等消费的 2 种做法
  • 能说出 Kafka 怎么保证有序

下一步该懂什么 ​