日常开发中我们经常需要处理各种系统问题,而这些系统问题通常由一些非预期的因素引起(比如非预期的输入,内存不够,网络波动等)。此时就需要知道
上述两点在同步编程里可以通过全局try-catch来实现。但在异步编程里该怎么办呢?
我的想法是绑定一个唯一id到一次完整的请求调用中(这个完整取决于我们想要监控的范围),无论程序执行到何处,我们总能拿到与请求一一对应的调用上下文
的id。
我将分两种场景进行讨论。一种是同步或基于jut下的线程池类进行异步调用的应用程序(如基于spring5之前的应用程序)。另外一种基于vertx(底层基于netty)的应用程序。
vert.x 4
、netty 4
、alibaba TransmittableThreadLocal
、jboss javassist
、hotspot类加载&方法调用
关于这种场景,有以下几种实现:
程序中的函数调用是完全同步的
则可通过java.lang.ThreadLocal
绑定一个唯一id到当前线程。入口处生成,出口处销毁。
如果我们用的是logback,也可通过 org.slf4j.MDC
来实现这个功能。其内部也是基于ThreadLocal。
程序中函数调用是异步的,异步通过新建java.lang.Thread
的方式实现。
这里可通过java.lang.InheritableThreadLocal
绑定一个唯一id到当前线程。Thread
的构造函数里会自动把通过InheritableThreadLocal
绑定到当前线程的数据拷贝到这个正在创建的Thread
里。所以,只要这个Thread
是在我们需要监控的区域(当前线程通过InheritableThreadLocal
**绑定了id后)**创建的,就能实现这个唯一id的跨线程传递。
程序中函数调用是异步的,异步通过java.util.concurrent
下的线程池类实现。
由于线程池中的线程是可以复用的,所以,如果我们往线程池中丢任务时,有两种情况:
InheritableThreadLocal
依然是有效的。InheritableThreadLocal
是无法生效的(线程池中的存活线程会循环拉取等待任务队列中的task去执行,而这个过程是没有InheritableThreadLocal
拷贝的)。所以,这里可以用阿里的[TransmittableThreadLocal](https://github.com/alibaba/transmittable-thread-local)
组件来实现这个唯一id在线程池中的传递(其核心原理是在Runnable
中用一个变量来存储当前线程的ThreadLocal值,当线程执行此Runnable时再拿出来)。异步环境下的关键在于如何跨线程传递ThreadLocal的值
vertx
是一个类似于spring
系列的用于构建分布式微服务的框架。基于vertx
构建的应用程序最大的特点是无阻塞&全异步。
vertx里的异步主要分两种。一种是在eventbus上传递消息的异步。另一种是基于netty的io操作异步
先来看一个简单的示例程序
static final String ADDRESS_1 = "address1";
static final String MESSAGE_1 = "message1";
static final String REPLY_MESSAGE_1 = "replyMessage1";
public static void sendMsgByEventbus() {
//初始化一个具有默认设置的vertx实例
Vertx vertx = Vertx.vertx();
//注册一个handler/consumer到eventbus
vertx.eventBus().consumer(ADDRESS_1, event -> {
log.info("receive msg:{}", event.body());
event.reply(REPLY_MESSAGE_1);
});
//通过eventbus发送消息给刚注册的handler
vertx.eventBus().request(ADDRESS_1, MESSAGE_1, reply -> {
log.info("receive replied msg:{}", reply.result().body());
});
}
下面是程序执行的结果
[vert.x-eventloop-thread-0] - receive msg:message1
[vert.x-eventloop-thread-0] - receive replied msg:replyMessage1
可以看到发起调用的是主线程,处理调用跟处理回调的是线程vert.x-eventloop-thread-0
。
那么,这个异步是如何实现的呢?显然,异步最明显的体现就是最后发送消息这里。所以我们就从Eventbus#request
逐步深入。
大概流程是这样的:
eventbus
中根据我们传入的address
拿到所有注册到这个地址上的handler。handler
对传入消息的处理包装成一个runnable
丢进一个queue
eventLoop Thread
从这个queue
中抓取task
执行关键代码片段如下:
//与本主题无关的只展示调用链路供大家参考
//Eventbus#request
// EventbusImpl#request
// EventbusImpl#sendOrPubInternal
// EventbusImpl#sendOrPubInternal
// EventbusImpl#OutboundDeliveryContext
// EventbusImpl#sendOrPub
// EventbusImpl#sendLocally
// EventbusImpl#deliverMessageLocally
protected ReplyException deliverMessageLocally(MessageImpl msg) {
//1.找出跟msg.address()的handlerHolder
ConcurrentCyclicSequence<HandlerHolder> handlers = handlerMap.get(msg.address());
if (handlers != null) {
for (HandlerHolder holder: handlers) {
//2.依次调用这些handler的receive方法
holder.handler.receive(msg.copyBeforeReceive());
}
return null;
}
}
void receive(MessageImpl msg) {
//3.匿名异步任务进队列
context.nettyEventLoop().execute(() -> {
doReceive(msg);
});
}
//SingleThreadEventExecutor#execute
private void execute(Runnable task, boolean immediate) {
//比较当前线程是否是eventLoop线程,是则返回true
//由于我们在main里调用的eventbus#request,所以这里是false
boolean inEventLoop = inEventLoop();
//4. 添加到queue中,后面执行任务的线程会调用该queue的poll方法
addTask(task);
if (!inEventLoop) {
//如果当前eventLoop对象的thread为空则创建一个Thread绑定到当前eventLoop
startThread();
}
}
//eventLoop中运行的thread通过这个方法从上面说的queue中拿task执行
//外层会循环执行该runAllTasks,直到Eventloop#shutdownGracefully被执行
//参考NioEventLoop#run
protected boolean runAllTasks(long timeoutNanos) {
Runnable task = pollTask();
for (;;) {
//5.执行task
safeExecute(task);
runTasks ++;
//如果队列中还有task,则继续执行
task = pollTask();
if (task == null) {
lastExecutionTime = ScheduledFutureTask.nanoTime();
break;
}
}
return true;
}
protected static Runnable pollTaskFrom(Queue<Runnable> taskQueue) {
for (;;) {
Runnable task = taskQueue.poll();
if (task != WAKEUP_TASK) {
return task;
}
}
}
//safeExecute会去执行第3步中的匿名任务
protected boolean doReceive(Message<T> message) {
Handler<Message<T>> theHandler = handler;
deliver(theHandler, message);
return true;
}
//MessageConsumerImpl#deliver
// MessageConsumerImpl#dispatch
// AbstractContext#dispatch
// InboundDeliveryContext#dispatch ++ 上一步的匿名Runnable会调用
// InboundDeliveryContext#next
// MessageConsumerImpl#dispatch
// DuplicatedContext#emit
// EventLoopContext#emit
<T> void emit(AbstractContext ctx, T argument, Handler<T> task) {
try {
//6.执行handler/task中的事件处理
//这个task就是我们之前通过Eventbus#consumer注册进来的
task.handle(argument);
} catch (Throwable t) {
reportException(t);
} finally {
ctx.endDispatch(prev);
}
}
我删减了一些不重要的部分,以便更易于理解。
通过上面的代码片段我们可以发现,第3步的SingleThreadEventExecutor#execute
往队列里push任务似乎是解决问题(跨线程传递唯一id)的关键。所以,如果我们能够在这个task进入queue
之前往这个task中塞上当前线程的ThreadLocal
值,待到这个task
的run
方法被执行时再把这个ThreadLocal
值拿出来塞到当前线程(执行这个task
的线程)的ThreadLocal
中,问题就解决了。
显然,我们需要修改这些类的代码。那么,怎么实现这个功能呢?
java.lang.instrument
提供了一系列运行时替换class字节码的技术。而jboss Javaassist 则提供了一些列修改字节码的接口。所以我们只需要结合这两项技术再通过javaagent指令即可达成我们的目的。
修改字节码的实现可参考这里。
由于参与修改的所有类都是由**appClassLoader
加载的,所以不会出现什么问题。但是,如果我们要按照上述设计对jdk自带(jre/lib)的一些类进行修改呢?比如说实现ThreadLocal
在ThreadPoolExecutor#execute
中的传递,思路似乎没多大区别,无非就是对传入ThreadPoolExecutor#execute
中的Runnable
做一层包装(设该包装类为类A**)。然后当我们运行是却会发现每次执行execute
方法时都会得到一个NoClassDefFoundException
,无法找到类A。
这是为什么呢?明明类A对应的class
文件是存在的(build目录下),但虚拟机为什么在执行execute
方法时找不到它呢?
这是因为ThreadPoolExecutor
这个类是由BootStrapClassLoader
加载的,而正常情况下类A并不处于BootStrapClassLoader
的查找范围之中,所以就引发了这个异常。概览如下:
execute
方法中我们修改过的代码时,此时类A在此处仅仅是一个符号引用,这时必然会请求虚拟机去解析这个符号引用。这里会去根据加载ThreadPoolExecutor的类加载器(BootStrapClassLoader
)以及类A的类名在内存中全局查找这个类,查找不到则会尝试加载这个类,如果这两个过程都找不到对应的类,就会抛出上述异常。像alibaba的TransmittableThreadLocal
是需要修改rt.jar中的类的(比如ThreadPoolExecutor
),这些核心类都是由BootstrapClassloader加载的。但是我们引进来的TransmittableThreadLocal
默认由AppClassLoader加载,这势必会导致在重新加载被修改的由class时抛出NoClassDefFoundException。所以TransmittableThreadLocal
中参与核心类库修改的类必须要被添加到bootClassPath中(由BootstrapClassLoader
加载)。
vertx的io操作基于netty,netty的io多路复用基于java nio,nio只能说是非阻塞式io。但是netty提供给上层应用程序的io操作确实异步的。netty会不停的轮询就绪的io事件,然后把vertx感兴趣的事件包装好通知到vertx(比如有数据可读的时候),最后vertx再通知到我们的业务层。
其实这里的实现思路是一样的,就不赘述了。简单点就是在往vertx中塞回调时对这个回调进行上述包装即可。
本文主要探讨了如何在基于vertx的异步环境中追踪一次完整的函数调用,以及实现过程中可能会碰到的问题。
上述内容的源码可在我的github上找到。
文章浏览阅读3.2k次。本文研究全球与中国市场分布式光纤传感器的发展现状及未来发展趋势,分别从生产和消费的角度分析分布式光纤传感器的主要生产地区、主要消费地区以及主要的生产商。重点分析全球与中国市场的主要厂商产品特点、产品规格、不同规格产品的价格、产量、产值及全球和中国市场主要生产商的市场份额。主要生产商包括:FISO TechnologiesBrugg KabelSensor HighwayOmnisensAFL GlobalQinetiQ GroupLockheed MartinOSENSA Innovati_预计2026年中国分布式传感器市场规模有多大
文章浏览阅读1.1k次,点赞2次,收藏12次。常用组合逻辑电路结构——为IC设计的延时估计铺垫学习目的:估计模块间的delay,确保写的代码的timing 综合能给到多少HZ,以满足需求!_基4布斯算法代码
文章浏览阅读3.3k次,点赞3次,收藏5次。OpenAI Manager助手(基于SpringBoot和Vue)_chatgpt网页版
文章浏览阅读2.2k次。USACO自1992年举办,到目前为止已经举办了27届,目的是为了帮助美国信息学国家队选拔IOI的队员,目前逐渐发展为全球热门的线上赛事,成为美国大学申请条件下,含金量相当高的官方竞赛。USACO的比赛成绩可以助力计算机专业留学,越来越多的学生进入了康奈尔,麻省理工,普林斯顿,哈佛和耶鲁等大学,这些同学的共同点是他们都参加了美国计算机科学竞赛(USACO),并且取得过非常好的成绩。适合参赛人群USACO适合国内在读学生有意向申请美国大学的或者想锻炼自己编程能力的同学,高三学生也可以参加12月的第_usaco可以多次提交吗
文章浏览阅读394次。1.1 存储程序1.2 创建存储过程1.3 创建自定义函数1.3.1 示例1.4 自定义函数和存储过程的区别1.5 变量的使用1.6 定义条件和处理程序1.6.1 定义条件1.6.1.1 示例1.6.2 定义处理程序1.6.2.1 示例1.7 光标的使用1.7.1 声明光标1.7.2 打开光标1.7.3 使用光标1.7.4 关闭光标1.8 流程控制的使用1.8.1 IF语句1.8.2 CASE语句1.8.3 LOOP语句1.8.4 LEAVE语句1.8.5 ITERATE语句1.8.6 REPEAT语句。_mysql自定义函数和存储过程
文章浏览阅读188次。半导体二极管——集成电路最小组成单元。_本征半导体电流为0
文章浏览阅读2.8k次,点赞3次,收藏18次。游戏水面特效实现方式太多。咱们这边介绍的是一最简单的UV动画(无顶点位移),整个mesh由4个顶点构成。实现了水面效果(左图),不动代码稍微修改下参数和贴图可以实现岩浆效果(右图)。有要思路是1,uv按时间去做正弦波移动2,在1的基础上加个凹凸图混合uv3,在1、2的基础上加个水流方向4,加上对雾效的支持,如没必要请自行删除雾效代码(把包含fog的几行代码删除)S..._unity 岩浆shader
文章浏览阅读5k次。广义线性模型是线性模型的扩展,它通过连接函数建立响应变量的数学期望值与线性组合的预测变量之间的关系。广义线性模型拟合的形式为:其中g(μY)是条件均值的函数(称为连接函数)。另外,你可放松Y为正态分布的假设,改为Y 服从指数分布族中的一种分布即可。设定好连接函数和概率分布后,便可以通过最大似然估计的多次迭代推导出各参数值。在大部分情况下,线性模型就可以通过一系列连续型或类别型预测变量来预测正态分布的响应变量的工作。但是,有时候我们要进行非正态因变量的分析,例如:(1)类别型.._广义线性回归模型
文章浏览阅读69次。环境保护、 保护地球、 校园环保、垃圾分类、绿色家园、等网站的设计与制作。 总结了一些学生网页制作的经验:一般的网页需要融入以下知识点:div+css布局、浮动、定位、高级css、表格、表单及验证、js轮播图、音频 视频 Flash的应用、ul li、下拉导航栏、鼠标划过效果等知识点,网页的风格主题也很全面:如爱好、风景、校园、美食、动漫、游戏、咖啡、音乐、家乡、电影、名人、商城以及个人主页等主题,学生、新手可参考下方页面的布局和设计和HTML源码(有用点赞△) 一套A+的网_垃圾分类网页设计目标怎么写
文章浏览阅读614次,点赞7次,收藏11次。之前找到一个修改 exe 中 DLL地址 的方法, 不太好使,虽然能正确启动, 但无法改变 exe 的工作目录,这就影响了.Net 中很多获取 exe 执行目录来拼接的地址 ( 相对路径 ),比如 wwwroot 和 代码中相对目录还有一些复制到目录的普通文件 等等,它们的地址都会指向原来 exe 的目录, 而不是自定义的 “lib” 目录,根本原因就是没有修改 exe 的工作目录这次来搞一个启动程序,把 .net 的所有东西都放在一个文件夹,在文件夹同级的目录制作一个 exe._.net dll 全局目录
文章浏览阅读1.5k次。本文为转载,原博客地址:http://blog.csdn.net/hujingshuang/article/details/46910259简介 BRIEF是2010年的一篇名为《BRIEF:Binary Robust Independent Elementary Features》的文章中提出,BRIEF是对已检测到的特征点进行描述,它是一种二进制编码的描述子,摈弃了利用区域灰度..._breif description calculation 特征点
文章浏览阅读4.1k次,点赞21次,收藏79次。本文是《基于SpringBoot的房屋租赁管理系统》的配套原创说明文档,可以给应届毕业生提供格式撰写参考,也可以给开发类似系统的朋友们提供功能业务设计思路。_基于spring boot的房屋租赁系统论文