MQ 消息重复消费问题与解决方案-程序员宅基地

本文摘自 Doocs 开源社区《互联网 Java 工程师进阶知识完全扫盲》手册，方便读者随时随地阅读学习。

也欢迎读者们关注 GitHub 项目：https://github.com/doocs/advanced-java

面试题

如何保证消息不被重复消费？或者说，如何保证消息消费的幂等性？

面试官心理分析

其实这是很常见的一个问题，这俩问题基本可以连起来问。既然是消费消息，那肯定要考虑会不会重复消费？能不能避免重复消费？或者重复消费了也别造成系统异常可以吗？这个是 MQ 领域的基本问题，其实本质上还是问你使用消息队列如何保证幂等性，这个是你架构里要考虑的一个问题。

面试题剖析

回答这个问题，首先你别听到重复消息这个事儿，就一无所知吧，你先大概说一说可能会有哪些重复消费的问题。

首先，比如 RabbitMQ、RocketMQ、Kafka，都有可能会出现消息重复消费的问题，正常。因为这问题通常不是 MQ 自己保证的，是由我们开发来保证的。挑一个 Kafka 来举个例子，说说怎么重复消费吧。

Kafka 实际上有个 offset 的概念，就是每个消息写进去，都有一个 offset，代表消息的序号，然后 consumer 消费了数据之后，每隔一段时间（定时定期），会把自己消费过的消息的 offset 提交一下，表示“我已经消费过了，下次我要是重启啥的，你就让我继续从上次消费到的 offset 来继续消费吧”。

但是凡事总有意外，比如我们之前生产经常遇到的，就是你有时候重启系统，看你怎么重启了，如果碰到点着急的，直接 kill 进程了，再重启。这会导致 consumer 有些消息处理了，但是没来得及提交 offset，尴尬了。重启之后，少数消息会再次消费一次。

举个栗子。

有这么个场景。数据 1/2/3 依次进入 Kafka，Kafka 会给这三条数据每条分配一个 offset，代表这条数据的序号，我们就假设分配的 offset 依次是 152/153/154。消费者从 Kafka 去消费的时候，也是按照这个顺序去消费。假如当消费者消费了 offset=153 的这条数据，刚准备去提交 offset 到 Zookeeper，此时消费者进程被重启了。那么此时消费过的数据 1/2 的 offset 并没有提交，Kafka 也就不知道你已经消费了 offset=153 这条数据。那么重启之后，消费者会找 Kafka 说，嘿，哥儿们，你给我接着把上次我消费到的那个地方后面的数据继续给我传递过来。由于之前的 offset 没有提交成功，那么数据 1/2 会再次传过来，如果此时消费者没有去重的话，那么就会导致重复消费。

注意：新版的 Kafka 已经将 offset 的存储从 Zookeeper 转移至 Kafka brokers，并使用内部位移主题 __consumer_offsets 进行存储。

如果消费者干的事儿是拿一条数据就往数据库里写一条，会导致说，你可能就把数据 1/2 在数据库里插入了 2 次，那么数据就错啦。

其实重复消费不可怕，可怕的是你没考虑到重复消费之后，怎么保证幂等性。

举个例子吧。假设你有个系统，消费一条消息就往数据库里插入一条数据，要是你一个消息重复两次，你不就插入了两条，这数据不就错了？但是你要是消费到第二次的时候，自己判断一下是否已经消费过了，若是就直接扔了，这样不就保留了一条数据，从而保证了数据的正确性。

一条数据重复出现两次，数据库里就只有一条数据，这就保证了系统的幂等性。

幂等性，通俗点说，就一个数据，或者一个请求，给你重复来多次，你得确保对应的数据是不会改变的，不能出错。

所以第二个问题来了，怎么保证消息队列消费的幂等性？

其实还是得结合业务来思考，我这里给几个思路：

•比如你拿个数据要写库，你先根据主键查一下，如果这数据都有了，你就别插入了，update 一下好吧。•比如你是写 Redis，那没问题了，反正每次都是 set，天然幂等性。•比如你不是上面两个场景，那做的稍微复杂一点，你需要让生产者发送每条数据的时候，里面加一个全局唯一的 id，类似订单 id 之类的东西，然后你这里消费到了之后，先根据这个 id 去比如 Redis 里查一下，之前消费过吗？如果没有消费过，你就处理，然后这个 id 写 Redis。如果消费过了，那你就别处理了，保证别重复处理相同的消息即可。•比如基于数据库的唯一键来保证重复数据不会重复插入多条。因为有唯一键约束了，重复数据插入只会报错，不会导致数据库中出现脏数据。

当然，如何保证 MQ 的消费是幂等性的，在实际应用中需要结合具体的业务来看。

本文链接：https://blog.csdn.net/ylb0109/article/details/122725815

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

在ubuntu 8.04下安装Oracle 11g二-程序员宅基地

文章浏览阅读408次。在ubuntu 8.04下安装Oracle 11g2008年05月22日星期四 11:02oracle 11g 数据库虽然提供了linux x86的版本，但是支持的linux版本只有Red Hat，Novell and Solaris 这几个，debian 和 ubuntu 不在支持之列，所以在ubuntu下安装就相对麻烦一些，请照着下文的方法一步一步的安装，不

初一计算机知识点下册,初一英语下册语法知识点全汇总-程序员宅基地

文章浏览阅读166次。新东方在线中考网整理了《初一英语下册语法知识点全汇总》，供同学们参考。一. 情态动词can的用法can+动词原形，它不随主语的人称和数而变化。1. 含有can的肯定句：主语+can+谓语动词的原形+其他。2. 含有can的否定句：主语+can't+动词的原形+其他。3. 变一般疑问句时，把can提前：Can+主语+动词原形+其他? 肯定回答：Yes，主语+can。否定回答：No，主语+can't...._七年级下册计算机知识点

NX/UG二次开发—其他—UFUN函数调用Grip程序_uf调用grip-程序员宅基地

文章浏览阅读3k次。在平时开发中，可能会遇到UFUN函数没有的功能，比如创建PTP的加工程序（我目前没找到，哪位大神可以指点一下），可以使用Grip创建PTP，然后用UFUN函数UF_call_grip调用Grip程序。具体如下截图（左侧UFUN,右侧Grip程序）：..._uf调用grip

Android RatingBar的基本使用和自定义样式，kotlin中文教程_ratingbar样式修改-程序员宅基地

文章浏览阅读156次。第一个：原生普通样式（随着主题不同，样式会变）第二个：原生普通样式-小icon第三个：自定义RatingBar 颜色第四个：自定义RatingBar DrawableRatingBar 各样式实现===============原生样式原生样式其实没什么好说的，使用系统提供的style 即可<RatingBarstyle="?android:attr/ratingBarStyleIndicator"android:layout_width=“wrap_cont.._ratingbar样式修改

OpenGL环境搭建：vs2017+glfw3.2.1+glad4.5_vs2017的opengl环境搭建(完整篇)-程序员宅基地

文章浏览阅读4.6k次，点赞6次，收藏11次。安装vs2017：参考vs2017下载和安装。安装cmake3.12.3：cmake是一个工程文件生成工具。用户可以使用预定义好的cmake脚本，根据自己的选择（像是Visual Studio, Code::Blocks, Eclipse）生成不同IDE的工程文件。可以从它官方网站的下载页上获取。这里我选择的是Win32安装程序，如图所示：然后就是运行安装程序进行安装就行。配置glfw3...._vs2017的opengl环境搭建(完整篇)

在linux-4.19.78中使用UBIFS_ubifs warning-程序员宅基地

文章浏览阅读976次。MLC NAND，UBIFS_ubifs warning

随便推点

计算机系统内存储器介绍,计算机系统的两种存储器形式介绍-程序员宅基地

文章浏览阅读2.2k次。计算机系统的两种存储器形式介绍时间：2016-1-6计算机系统的存储器一般应包括两个部分;一个是包含在计算机主机中的主存储器,简称内存,它直接和运算器,控制器及输入输出设备联系,容量小,但存取速度快,一般只存放那些急需要处理的数据或正在运行的程序;另一个是包含在外设中的外存储器,简称外存,它间接和运算器,控制器联系,存取速度虽然慢,但存储容量大,是用来存放大量暂时还不用的数据和程序,一旦要用时,就..._计算机存储器系统采用的是主辅结构,主存速度快、容量相对较小,用于 1 分程序,外

西门子PLC的编程工具是什么？_西门子plc编程软件-程序员宅基地

文章浏览阅读5.6k次。1. STEP 7（Simatic Manager）：STEP 7或者Simatic Manager是西门子PLC编程最常用的软件开发环境。4. STEP 7 MicroWin：STEP 7 MicroWn是一款专门针对微型PLC（S7-200系列PLC）的编程软件，是Simatic Manager的简化版。如果需要与PLC系统配合使用，则需要与PLC编程工具进行配合使用。除了上述软件之外，西门子还提供了一些配套软件和工具，如PLC模拟器、硬件调试工具等，以帮助PLC编程人员快速地进行调试和测试。_西门子plc编程软件