技术标签: sentinel 高并发 熔断降级 负载均衡 故障转移 dubbo Dubbo java架构
面试Dubbo ,却问我和Springcloud有什么区别?
超简单,手把手教你搭建Dubbo工程(内附源码)
【收藏向】从用法到源码,一篇文章让你精通Dubbo的SPI机制
Dubbo最核心功能——服务暴露的配置、使用及原理
并不简单的代理,Dubbo是如何做服务引用的
不满足于RPC,详解Dubbo的服务调用链路
从理论到实践,必须了解的部分Dubbo配置
在当今互联网时代,随着用户量的不断增长和业务复杂性的提升,高并发成为了很多系统面临的挑战。Dubbo作为一种优秀的分布式服务框架,在大规模高并发场景下也面临着一系列的挑战,其中最突出的,就是大量调用带来的流量问题。这次我就和大家一起探讨下Dubbo在高并发情况下的问题,并针对性地介绍流量控制解决方案,帮助大家更好地应对高并发场景下的挑战
作者简介:战斧,多年开发及管理经验,爱好广泛,致力于创作更多高质量内容
本文收录于 Dubbo专栏,有需要者,可直接订阅专栏实时获取更新
高质量专栏 RabbitMQ、Spring全家桶 等仍在更新,欢迎指导
Zookeeper Redis kafka docker netty等诸多框架,以及架构与分布式专题即将上线,敬请期待
高并发情况下,Dubbo所占用的资源会大幅上升,包括线程池、内存、CPU等。当资源耗尽时,系统性能会急剧下降,甚至导致系统崩溃。并且因为Dubbo使用的长连接通信,高并发下会导致连接状态过多,可能会导致网络堵塞、连接耗尽等问题
服务雪崩是指当某个服务出现故障或响应过慢时,请求会在服务之间传递,导致所有相关服务都不可用的现象。在高并发情况下,一旦出现服务雪崩,整个系统的可用性将受到严重影响。
如图,故障应用的影响范围,会逆着调用方向进行扩散,导致更大面积的故障。
其实我们分析Dubbo在高并发情况下的问题,随着并发数的增多,前者(资源占用)其实是不可避免的,解决策略无非是硬件升级或性能优化来进行缓解。我们真正关注的,其实是:
单机流量控制 ,思路主要就是分流、限流和错峰,其中限流也可以分为入口请求限流,和服务自身的保护式限流。同时也要注意,流量不仅来源于入口,也应该避免架构体系自身产生过多内部请求。
避免服务雪崩,主要考虑单机与架构层面,单机层面针对某些服务拆分不够细的工程,一个服务过饱和,不应该影响该机器的其他服务。架构层面:一台机器的宕机,主要依赖于故障转移,及时的熔断降级进行处理,尽量不影响其他机器
限流是最常见也是最有效的流量控制手段之一。通过限制每个服务的最大并发请求量,可以有效防止系统被过多的请求压垮。在Dubbo中,其实对于服务提供者有着现成的限流保护:TpsLimitFilter
@Activate(group = CommonConstants.PROVIDER, value = TPS_LIMIT_RATE_KEY)
public class TpsLimitFilter implements Filter {
private final TPSLimiter tpsLimiter = new DefaultTPSLimiter();
@Override
public Result invoke(Invoker<?> invoker, Invocation invocation) throws RpcException {
if (!tpsLimiter.isAllowable(invoker.getUrl(), invocation)) {
throw new RpcException(
"Failed to invoke service " +
invoker.getInterface().getName() +
"." +
invocation.getMethodName() +
" because exceed max service tps.");
}
return invoker.invoke(invocation);
}
}
但官方可能觉得这种程度的限流并不够理想,因此没有使用它,使得想真正启用该拦截器还要开发者手动做不少处理。因此我们也并不推荐这种做法。
与之对比的是,官方目前大力推广的都是借助第三方组件如Sentinel实现限流策略。Sentinel 提供了与 Dubbo 适配的模块 – Sentinel Dubbo Adapter,包括针对服务提供方的过滤器和服务消费方的过滤器(Filter)。使用时我们只需引入以下模块(dubbo3.0.5以上)
<dependency>
<groupId>com.alibaba.csp</groupId>
<artifactId>sentinel-apache-dubbo3-adapter</artifactId>
<version>x1.8.6</version>
</dependency>
引入此依赖后,Dubbo 的服务接口和方法(包括调用端和服务端)就会成为 Sentinel 中的资源,在配置了规则后就可以自动享受到 Sentinel 的防护能力。
服务降级是在系统遇到高并发或资源耗尽的情况下,暂时屏蔽一些非核心或可选功能,保证系统的核心功能依然可用。Dubbo支持在服务提供方进行服务降级,可以通过设置降级策略来应对高并发时的情况。在Dubbo里,我们可以使用Mock功能来实现降级,即通过配置消费端的mock参数,设定服务降级策略
我们还以以前的Demo为例子,写一个Mock:
public class DemoServiceMock implements DemoService {
@Override
public String sayHello(String name) {
return "出现故障,mock上任";
}
}
然后在引用的位置加上 mock
参数为 true
,当然mock的用法有很多种,你也可以直接写实现类名。
然后将服务提供者进行线程睡眠处理
此时,将触发Mock的执行
对于一些耗时较长的服务调用,设置合理的超时时间是必要的。超时控制可以防止请求在服务提供方占用过多资源,从而保护系统的稳定性。在Dubbo中,我们可以通过配置超时时间来控制服务的调用时间。
有记忆好的朋友,应该还记得 【问题处理】—— 一次内存溢出(OutOfMemoryError)实战排查 这个问题,其中很大原因就是调用下游系统,下游系统卡死,但超时设置时间过长,导致资源占用太多。所以保持较小的超时时间可以避免故障扩大。
而重试则是指消费端在调用失败后的重试次数,在高并发下,这个值可以设置的小一些,甚至可以不进行重试
在高并发情况下,服务之间的调用可能会因网络波动或服务不可用而失败。Dubbo提供了多种集群容错策略,如快速失败、失败重试、失败安全等,可以根据具体情况选择合适的策略,保障服务的稳定性。
关于集群容错,现在内置的几种方案,我们此处并不细说,主要是根据应用场景来进行选择。
配合着限流的,还应当有分流,而负载均衡就起到了分流的作用,我们在Dubbo中可以设置多种负载均衡模式:
我们可以进行全局配置,比如
<!-- 全局负载均衡策略 -->
<dubbo:consumer loadbalance="random" />
也可以进行服务接口级别的配置,比如
@Service(interfaceClass = XxxService.class, loadbalance = "leastactive")
public class XxxServiceImpl implements XxxService {
//...
}
其多种均衡策略,leastactive - “最少活跃调用数负载均衡”
是比较适合在高并发场景下选用的,,即当前活跃数(active,即指某个服务提供者正在处理请求的数量)最小的那个服务提供者,如果活跃数相同,则随机选择一个。比如,当前有3个服务提供者,其活跃数分别为:2、3、4,那么就会选择活跃数为2的服务提供者。当第一个服务提供者的活跃数增加到3时,那么最少活跃调用数的服务提供者就变成了第一个服务提供者
当某一块业务访问量大增,往往会伴随着资源占用的急剧增加,但是我们并不希望应用整个宕机,此时就要用到线程池隔离,线程池隔离是一种将请求任务与线程池分离的技术,我们在Dubbo里可以这么使用executes
来为指定服务建立定长的线程池
@Service
@DubboService(interfaceClass = XxxService.class, executes = 10)
public class XxxServiceImpl implements XxxService {
// 服务实现代码
}
这将为该服务创建一个固定大小为10的线程池,供服务消费者调用该服务时使用。这样当同时有11个请求到来时,第11个请求只能等到或被拒,事实上形成了限流,具有类似效果的参数还有 actives
我们其实在讲rabbitMQ的时候,就提到过异步的好处,其中之一就是可以削峰。同样的Dubbo也能使用 async
进行异步调用,来避免瞬时的大流量造成的服务故障。更具体的讲,这种场景下有三个好处:
而我们的设置也是可以分为全局设置,和服务接口级别。其中全局配置如下(不建议):
<dubbo:consumer async="true" />
<dubbo:provider async="true" />
单个服务配置如下
@DubboReference(async = true)
private DemoService demoService;
高并发是Dubbo应用需要面对的一个持续挑战。通过合理配置流量控制方案,包括限流策略、服务降级、超时控制和集群容错等操作,我们可以有效地保护系统免受高并发压力带来的影响。同时,需要注意不同业务场景可能需要不同的流量控制策略,因此我们需要根据实际情况进行调优和监控。
文章浏览阅读991次,点赞22次,收藏18次。Casey 正统 Runes 协议的发行和转账|本地 Bitcoin 网络实操 _比特币符文部署教程
文章浏览阅读648次。我有这个问题,我正在创建一个文件,但这是创建空文件.我使用的是Dropbox的API,Dropbox的代码运行良好,但我不知道我不好.我已经为我的应用程序使用了2º和3º代码,这是运行良好.这通过分层次操作.我正在发送outputStream用于功能.但这是空的.我正在使用outputStream,因为我需要它与outputstream一起运行.1º代码(Class Test || Call):F..._outputstream生成文件
文章浏览阅读917次,点赞23次,收藏23次。KEY-INVARIANT CONVOLUTIONAL NEURAL NETWORK TOWARD EFFICIENT COVERSONG IDENTIFICATION
文章浏览阅读1.5k次。今天又在windows的visual studio上编译错误的时候,提示找不到 getopt ,optarg。以及unistd.h。 修改方法:在vs的头文件里面,加一个文件unistd.h,在这个头文件里面加入#include <io.h>#include <process.h>,然后在github上下载一个https://github.com/matthkl..._“getopt”: 找不到标识符
文章浏览阅读4k次。模板模式和策略模式,有相识的地方,都是通过对钩子方法的调用,来实现一个业务的完整逻辑。所以这里我将两种模式放在一起介绍,比较容易加深对这两种模式的理解。模板模式在模板模式(Template Pattern)中,一个抽象类公开定义了执行它的方法的方式/模板。它的子类可以按需要重写方法实现,但调用将以抽象类中定义的方式进行。这种类型的设计模式属于行为型模式。例子假设我们需要设计两款游戏,他登录账号的方式是一样的,然后开始游戏和结束游戏的行为是不一样的,那么我们可以用模板模式来实现这个逻辑。类图_策略模式 模板模式
文章浏览阅读6.9w次,点赞148次,收藏521次。Mac安装MySQL超详细图文教程,从下载目前最新版安装包选择到安装详解,再到最后的配置调试,命令使用等等..._mac安装mysql详细教程
文章浏览阅读6.8k次,点赞8次,收藏36次。包括唤出弹窗、弹窗内容的自定义与监听。_android popupwindow
文章浏览阅读228次。对于一些常见的错误页面,我们可以在配置文件/etc/tomcat/web.xml中,重定向403、404以及500错误到指定页面。在这里插入图片描述我们现在在web.xml配置文件中加入error-page参数。在这里插入图片描述我们现在编辑我们的错误页面。该错误页默认放在我们webapps目录中。在这里插入图片描述这里是我们tomcat默认的页面所在位置。在这里插入图片描述重启tomcat服务,我们可以看到,页面为我们自定义的错误页面了。在这里插入图片描述。_中间件加固方案
文章浏览阅读3.1k次,点赞2次,收藏10次。layui根据特定信息对表格进行搜索并显示效果实现html部分js部分Controller层Mapper层注意总结效果先放效果图此处根据“角色名称”进行搜索,得到效果实现html部分此处注意!!需要要为input、table里边加上“id”属性,在js部分需要特定进行获取。<div class="layuimini-container"> <div class="layuimini-main"> _layui table查询
文章浏览阅读1.5w次,点赞5次,收藏7次。优化通常是一个极其困难的任务。传统的机器学习会小心设计目标函数和约束,以确保优化问题是凸的,从而避免一般优化问题的复杂度。在训练神经网络时,我们肯定会遇到一般的非凸情况。即使是凸优化,也并非没有任何问题。在本文中,我们会总结几个训练深度模型时会涉及的主要挑战。病态在优化凸函数时,会遇到一些挑战。这其中最突出的是Hessian矩阵HHH的病态。这是数值优化、凸优化或其他形式的优化中普遍存在的问题。病态问题一般被认为存在于神经网络训练过程中。病态体现在随机梯度下降会“卡”在某些情况,此时即使很小的更新步长也_优化函数 病态
文章浏览阅读356次。idea小技巧:Alt+Ins:快速调出getter、setter方法或toString等方法。二、配置文件1、配置文件SpringBoot使用一个全局的配置文件,配置文件名是固定的;application.propertiesapplication.yml配置文件的作用:修改SpringBoot自动配置的默认值;SpringBoot在底层都给我们自动配置好;YAML(YAML Ain’t Markup Language) YAML A Markup Langu._server: port: 8084 spring: application: name: insideoperation-server profile
文章浏览阅读3.4k次,点赞7次,收藏7次。目录jetpack compse原理解析jetpack compse声明式ui开发原理分析整体框架介绍compose LayoutNode布局介绍@Composeable注解实现细节属性更新小结jetpack compse原理解析jetpack compseJetpack Compose是Google在2019 I/O大会上公布开源的一个非捆绑工具包。Jetpack Compose是用于构建原生Android UI的现代工具包。 Jetpack Compose使用更少的代码,强大的工具和直观的Kotl_jetpack compose原理