技术标签: 应用解耦 削峰填谷 消息中间件 流量控制 百图解码支付系统设计与实现 分布式
这是《百图解码支付系统设计与实现》专栏系列文章中的第(18)篇,也是流量控制系列的第(4)篇。点击上方关注,深入了解支付系统的方方面面。
本篇重点讲清楚分布式消息中间件的特点,常见消息中间件的简单对比,在支付系统的应用场景,比如削峰填谷,系统应用间的解耦,事务消息等。
内容偏入门介绍,已经使用过消息中间件的同学可以不用往下看了。
在流量控制系列文章中的前四篇,分别介绍了固定时间窗口算法、滑动时间窗口算法、漏桶原理、令牌桶原理,应用场景和java版本的核心代码。
我们做个简单回顾:
固定窗口:算法简单,对突然流量响应不够灵活。超过流量的会直接拒绝,通常用于限流。
滑动窗口: 算法简单,对突然流量响应比固定窗口灵活。超过流量的会直接拒绝,通常用于限流。
漏桶算法:在固定窗口的基础之上,使用队列缓冲流量。提供了稳定的流量输出,适用于对流量平滑性有严格要求的场景。
令牌桶算法:在滑动窗口的基础之上,使用队列缓冲流量。提供了稳定的流量输出,且能应对突发流量。
今天讲的分布式消息中间件在支付场景的削峰填谷用得比较多,且对精度没有那么苛刻的场景,比如集群低到1TPS,就无法做到。
削峰:在流量高峰期,通过消息中间件暂存大量的请求,减少对后端系统的直接压力。
填谷:在低峰期,逐渐处理这些积累的请求。
这种方法能有效平衡系统负载,防止在高峰时段系统崩溃。
我们一般使用消息中间件实现削峰填谷。下面是一个支付引擎自产生消的示例图。收到支付请求后,先扔到消息中间件,然后启用新的监听线程去消费。通过控制消费线程数来控制流量。
比如一下来了1000个请求,一共10台机器,每台机器消费线程只开5个,每个请求处理500ms,那么每秒就处理100个请求,共耗时10秒处理完。
消息中间件还有一个作用,就是应用间的解耦。比如支付成功后,渠道网关通过消息中间件返回给支付引擎。
消息中间件有很多,这里简单对比 RocketMQ、RabbitMQ 和 Kafka在性能、可靠性、易用性、功能特性、适用场景等方面的不同。如下:
性能
可靠性
易用性和管理
功能特性
适用场景
结论
另外,我也只是简单介绍,大家实际应用的时候,根据实际情况去选型,建议是做多方了解后,部署验证后才规模使用。不过话说回来,这几款分布式消息中间件的技术非常成熟了,除了几个顶流的互联网公司外,基本可以随便用,哪个手熟就使用哪个。
脑裂问题
曾经在生产环境碰到过RabbitMQ脑裂问题,交易全部中断。在分布式环境中完全避免也不现实,建议加强监控。
消费线程数问题
消费线程要合理设置,太多,可能达不到削峰填谷的效果,太少,消息有可能会积累,影响处理时效。
比如支付是有时效,积压太久就会导致用户放弃支付。
消息积压应对
提前做好预估,以及监控。一旦把中间件压爆,可能整个交易系统。
持久化与恢复
防止系统崩溃导致的数据丢失。
事务消息
在需要保证数据一致性的场景中,合理使用事务消息。
消息确认与重试
合理设置消息确认机制和重试策略。如果本次无法处理,一定再抛回去。建议不要先确认再处理,万一确认后,本机又无法处理,消息就丢失了。
消息中间件在支付系统中核心有几个核心应用场景:
基本上,消息中间件在支付系统中无所不在。
先声明,以下代码纯演示,生产环境需要考虑更多因素。
比如支付场景下,接收请求后,先放到队列,然后使用单独的消费线程去消费。以下是简单示例。
1. 添加依赖
首先,你需要在项目的 pom.xml 文件中添加 RocketMQ 的依赖:
<dependencies>
<dependency>
<groupId>org.apache.rocketmq</groupId>
<artifactId>rocketmq-client</artifactId>
<version>5.1.4</version>
</dependency>
</dependencies>
确保使用最新版本的依赖。
2. 创建生产者 (Producer)
创建一个生产者以发送消息到 RocketMQ 服务器:
public class PayServiceImpl implements PayService {
@Autowired
private MQProducer mqProducer;
public PayOrder pay(PayRequest request) {
PayOrder payOrder = buildPayOrder(request);
// 前置处理,比如校验、保存DB等
... ...
// 发送到队列
Message msg = buildMessage(payOrder);
mqProducer.send(msg);
// 前置处理
... ...
return payOrder;
}
public boolean processPay(PayOrder payOrder) {
// 外发处理
... ...
}
}
3. 创建消费者 (Consumer)
创建一个消费者来接收从 RocketMQ 发送的消息:
public class PayConsumerServiceImpl implements PayConsumerService {
@Autowired
private MQConsumer mqConsumer;
@Autowired
private PayService payService;
@Postconstruct
public void init() {
mqConsumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
payService.processPay(buildPayOrder(msg);
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
});
}
}
再次声明,上述代码纯演示,在生产环境中,需要考虑更复杂的场景和错误处理机制。
通过使用分布式消息中间件进行并发流量控制,支付系统可以更有效地应对高并发场景。能很好地提高系统整体的稳定性和可靠性,毕竟瞬间的大流量被缓冲到了消息中间件里。
但有些场景无法使用消息中间件,比如要求整个集群低到1TPS,又或者对接了外部上百个渠道,每个渠道要求不一样,有些要求最高20TPS,有些最高100TPS,使用消息中间件不好实现,就需要前面文章介绍的手撸一个漏桶或令牌桶。
下一篇聊聊阿里开源的流量控制与熔断利器:Sentinel。
专栏地址:百图解码支付系统设计与实现
《百图解码支付系统设计与实现》专栏介绍
《百图解码支付系统设计与实现》专栏大纲及文章链接汇总(进度更新于2023.1.15)
领域相关(部分):
支付行业黑话:支付系统必知术语一网打尽
跟着图走,学支付:在线支付系统设计的图解教程
图解收单平台:打造商户收款的高效之道
图解结算平台:准确高效给商户结款
图解收银台:支付系统承上启下的关键应用
图解支付引擎:资产流动的枢纽
图解渠道网关:不只是对接渠道的接口(一)
技术专题(部分):
交易流水号的艺术:掌握支付系统的业务ID生成指南
揭密支付安全:为什么你的交易无法被篡改
金融密语:揭秘支付系统的加解密艺术
支付系统日志设计完全指南:构建高效监控和问题排查体系的关键基石
避免重复扣款:分布式支付系统的幂等性原理与实践
支付系统的心脏:简洁而精妙的状态机设计与核心代码实现
精确掌控并发:固定时间窗口算法在分布式环境下并发流量控制的设计与实现
精确掌控并发:滑动时间窗口算法在分布式环境下并发流量控制的设计与实现
文章浏览阅读243次。kindle的笔记推荐方式是使用clippings.io网站,可以自动去重标签,简化阅读,同时按书名分类,方便导入印象笔记。这里使用python自己尝试去重。方法是遍历每段文字时,取每段的前8个字符,加入到集合。如果所遍历的文字没有出现在集合中,就写入到txt文件中。反之,则不写入。方法一:rtext=open("My Clippings.txt","r",encoding='utf-8')#kindle中的txt放到py文件的根目录wtext=open("Clipping.txt","w",enc_kindle书籍去重
文章浏览阅读421次。关于数据中台的思考与总结目录关于数据中台的思考与总结数据中台数据汇聚数据开发智能运维数据体系数据资产管理数据服务体系离线平台苏宁实时平台美团点评bilibili网易离线数仓与实时数仓从0建设离线数仓区别数据中台解决方案零售行业原文地址:https://miaowenting.site/2020/03/24/%E5%85%B3%E4%BA%8E%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0%E7%9A_出个思考题,数据中台在实时场景支撑上还有哪些不足
文章浏览阅读8.9k次,点赞5次,收藏32次。MATLAB之随机森林TreeBaggerTreeBagger1 方法:2 属性:TreeBaggerTreeBagger用来创建一个袋装决策树的集合。1 方法:appendcompacterrorfillproxgrowTreesmargnmdsproxmeanMarginoobMarginoobMeanMarginoobPredictpredict2 属性:OOBPermutedPredictorDeltaError:大小为1×Nvars的数值数组,包含每个预测变量(_treebagger
文章浏览阅读7.5k次,点赞7次,收藏22次。一、概述openwrt 一个比较重要的特点就是它采用 ipk 包的形式安装软件。有点像是 windows 下面的安装包一样,用户只需用简单的命令就可以将 ipk 安装包安装到 openwrt 系统中,非常方便。ipk包..._openwrt makefile
文章浏览阅读1.9w次,点赞151次,收藏508次。一、Socket知识1. Socket概述2. Socket通信原理3. java.net包二、基于TCP协议的Socket编程1.Socket类和ServerSocket类2.使用Socket编程实现登录功能三、基于UDP协议的Socket编程1.DatagramPacket类和DatagramSocket类2.使用Socket编程实现客户咨询_java socket编程
文章浏览阅读1.1k次。作者BLOG:HTTP://blog.csdn.net/curllion -----互相学习using System;using System.Security.Cryptography;using System.Text;using System.IO;using System.Windows.Forms;namespace Curllion{ public class Cry_c#加密
文章浏览阅读2k次。Could not resolve all files for configuration ':app:debugCompileClasspath'.解决方案_> could not resolve all files for configuration ':debugcompileclasspath'. >
文章浏览阅读5.1k次,点赞11次,收藏22次。想要打包QT软件,HM NIS Edit编辑器与NSIS编译器是必不可少的工具,首先2个软件必须安装。在创建脚本:向导时,发现安装语言处没有选项,也就无法进行下一步,最终找到原因:首先必须安装NSIS编辑器 这两个软件是配套的,缺一不可!!具体解决步骤打开 HM NIS Edit编辑器 在菜单栏里NSIS(N)处打开配置按钮;打开配置窗口 会看到 路径选项 下面包含编辑器和帮助两个..._him nis edit无安装程序语言
文章浏览阅读2.1k次,点赞4次,收藏18次。目录A、冒泡排序B、选择排序C、插入排序D、折半插入排序E、归并排序F、快速排序G、希尔排序堆排序、基数排序、桶排序后续补充。。。。。A、冒泡排序冒泡排序有很多种实现方式。下面总结常见的几种,并对冒泡排序进行改进。 冒泡排序1//冒泡升序排序1,强烈推荐,好记void BubbleSort(int arr[],int length) { int tmp; in_算法导论代码
文章浏览阅读732次。pygame教程安装pygameGame Development 1-1: Getting Started with PygameGame Development 1-2: Working with SpritesGame Development 1-3: More About SpritesPygame Shmup Part 1: Player Sprite and ControlsPygame..._add game folder
kali安装教程:选择debian 8.x,自定义依赖软件包和配置文件,移除已安装的软件包。
文章浏览阅读1w次,点赞10次,收藏40次。#include "stdio.h"#include"conio.h"void TestFunc(); long fun(int n){ /**********Begin**********/ long i,k;long s=1; for(i=2;i<=n;i++) {for(k=2;k<i;k++) if(i%k==0)break; if(k==i)s=s*i; }return s; /********** E_6-9 求正整数n以内的素数之积