HTTP连接池及源码分析(二)
HTTP连接池的源码实现原理及源码解读
本文深入探讨了HTTP连接池的设计思路,从执行原理到源码分析,讲解解答了一系列关键问题。源码首先,讲解源码编码文件损坏连接池通过构建HttpClient,源码利用建造者模式灵活配置属性,讲解隐藏构建细节,源码确保客户端代码简洁易读。讲解HttpClient的源码执行链遵循责任链模式,请求在一系列Executor(执行器)中按顺序传递,讲解每个执行器负责处理请求的源码一部分。
连接池的讲解核心是PoolEntry,它是源码连接的基本单位,包含HttpRoute信息和连接状态。连接池通过LinkedList管理空闲和等待队列,确保性能优化,如优先使用新用过的连接而非等待队列的过期连接。连接的获取和释放采用异步操作,使用Future对象确保线程阻塞和唤醒的精确控制。
在连接池的管理中,如何分配和回收连接、设置连接保持时间、检测连接可用性,以及处理可能遇到的问题,如底层连接关闭而上层未识别等,都有详细的过程和策略。连接池的参数设置,如超时时间、最大连接数,需要根据具体业务需求和系统限制进行调整。金钻卖点源码
源码中,原子类在Future对象的使用引发了疑问,实际上,即使每个线程拥有独立的Future,原子类确保了关键状态在并发环境中的原子性。至于等待线程的唤醒顺序,使用signalAll可能不是最优解,因为这可能唤醒所有等待线程,而非最久等待的那个。
总的来说,HTTP连接池的设计既考虑了性能优化,又注重并发控制,源码中的这些细节体现了其复杂性和灵活性。理解这些原理和实践案例,可以帮助开发者更好地运用HTTP连接池并解决实际问题。
Linux:jiffies 的前后顺序判断
jiffies 是Linux基于时间中断的计数器,每次时钟中断会自增1。内核中需要判断不同jiffies的先后顺序,如超时判断,通过转换为将来时间的jiffies_future,比较当前jiffies_now是否大于等于jiffies_future以判断超时。
jiffies使用无符号整数保存,可能溢出,如INT_MAX+1变为0,需要正确比较不同jiffies大小。
内核源码实现两个jiffies大小比较。time_after(a, b)判断a是否发生在b后面。((long)(b)-(long)(a)<0)与((long)(a)-(long)(b)>0)等价,后者解释原理。
比较大小需考虑几种情况(假设jiffies用位整数存储,a与b差距<公式)。B站钓鱼源码
若a与b差距>公式,上述大小判断失效。例如,a为公式值,b为0时,a虽在b后面发生,但((long)(a)-(long)(b))却<0。
c++基础语法之future,promise,async详细讲解-SurfaceFlinger学习必备c++知识
在SurfaceFlinger源码分析中,我遇到了一些新的C++基础语法,比如future和promise。这些工具的引入,使得在多线程环境中访问异步操作的结果变得更加方便。
传统上,在C++中,我们需要通过创建线程并使用`join`等待线程完成,然后将结果赋值给变量。这种过程相对繁琐。为了解决这个问题,C++引入了`std::future`来访问异步操作的结果。`future`类不能立即获取结果,而是在异步操作完成后,通过同步等待或者查询状态来获取结果。`future`的状态有三种:未开始(`future_status::deferred`)、已完成(`future_status::ready`)、超时(`future_status::timeout`)。
`std::async`函数用于创建异步任务,结果保存在`future`对象中。当需要获取异步结果时,通过`future.get()`方法来完成。手机脚本的源码如果只关注任务完成,可以使用`future.wait()`方法。`async`函数的参数包括线程创建策略(如`std::launch::async`、`std::launch::deferred`)、要执行的函数和函数执行时需要传递的参数。
`std::promise`类帮助线程赋值。在线程函数中,通过`promise`对象的`set_value`方法为外部传递的`promise`赋值。在任务完成后,可以通过`promise`对象关联的`future`获取设置的值。
在实际应用中,`promise`和`future`的结合使得在多线程环境下访问异步操作的结果更加灵活。例如,在SurfaceFlinger源码中,`future`用于等待子线程执行完成,并通过`set_value`设置结果,`get`方法用于获取结果。这种结合使得源码分析更加简便。
为了深入理解这些新语法,我查阅了相关文档,并实践了在SurfaceFlinger源码中的应用。同时,我还使用了性能分析工具如`perfetto`和`systrace`来验证代码的运行效果。这些实践不仅帮助我学习了C++的新语法,还加深了对SurfaceFlinger源码的理解。
如果你对这些C++基础语法感兴趣,或者想要了解SurfaceFlinger源码的详细分析,可以参考我的视频教程,或者私聊我进行深入探讨。我的文章和视频内容涵盖了C++基础语法的学习,以及如何将其应用于实际的如何安装网页源码SurfaceFlinger源码分析。
研发必会-异步编程利器之CompletableFuture(含源码 中)
微信公众号访问地址: 研发必会-异步编程利器之CompletableFuture(含源码 中)
近期热推文章:
1、springBoot对接kafka,批量、并发、异步获取消息,并动态、批量插入库表;
2、SpringBoot用线程池ThreadPoolTaskExecutor异步处理百万级数据;
3、基于Redis的Geo实现附近商铺搜索(含源码)
4、基于Redis实现关注、取关、共同关注及消息推送(含源码)
5、SpringBoot整合多数据源,并支持动态新增与切换(详细教程)
6、基于Redis实现点赞及排行榜功能
7、研发必会-异步编程利器之CompletableFuture(上)
一、多任务组合回调
备注:源码获取方式在文底。
1.1、AND组合关系
thenCombine / thenAcceptBoth / runAfterBoth都表示:将两个CompletableFuture组合起来,只有这两个都正常执行完了,才会执行某个任务。也即:当任务一和任务二都完成再执行任务三(异步任务)。
区别在于:
1、runAfterBoth:不会把执行结果当做方法入参,且没有返回值。
2、thenAcceptBoth:会将两个任务的执行结果作为方法入参,传递到指定方法中,且无返回值。
3、thenCombine:会将两个任务的执行结果作为方法入参,传递到指定方法中,且有返回值。
代码案例:
运行结果:
1.2、OR组合关系
将两个CompletableFuture组合起来,只要其中一个执行完了,就会执行某个任务。(两个任务,只要有一个任务完成,就执行任务三)
区别在于:
1、runAfterEither:不会把执行结果当做方法入参,且没有返回值。
2、acceptEither: 会将已经执行完成的任务,作为方法入参,传递到指定方法中,且无返回值。
3、applyToEither:会将已经执行完成的任务,作为方法入参,传递到指定方法中,且有返回值。(个人推荐)
参考代码:
返回结果:
若将异步任务中的Thread.sleep()改为,将输出的结果为:
从结果中不难对比发现,任务的参数是任务和任务中执行最快的返回结果。
注意:若把核心线程数量改为1,会是什么样的呢?
运行结果:
从上面看出,改为1就变成单线程执行了。
1.3、多任务组合(allOf\anyOf)
1.allOf:等待所有任务都执行完成后,才会执行 allOf 返回的CompletableFuture。如果任意一个任务异常,allOf的CompletableFuture,执行get方法,会抛出异常。(等待所有任务完成才会执行)
2.anyOf:任意一个任务执行完,就执行anyOf返回的CompletableFuture。如果执行的任务异常,anyOf的CompletableFuture,执行get方法,会抛出异常。(只要有一个任务完成)
参考案例:
结果返回:
从结果中看出:等待所有任务都执行完成后,才会执行 allOf 返回的CompletableFuture。
同理anyOf,只需要调整代码:
运行结果:
1.4、thenCompose
thenCompose方法会在某个任务执行完成后,将该任务的执行结果,作为方法入参,去执行指定的方法。该方法会返回一个新的CompletableFuture实例。
1、如果该CompletableFuture实例的result不为null,则返回一个基于该result新的CompletableFuture实例;
2、如果该CompletableFuture实例为null,然后就执行这个新任务。
代码案例:
结果:
二、使用注意点
CompletableFuture 使异步编程更加便利的、代码更加优雅的同时,也要关注使用的一些注意点。
2.1、Future需要获取返回值,才能获取异常信息
代码案例:
输出结果:
Future需要获取返回值(res.get()),才能获取到异常信息。如果不加 get()/join()方法,看不到异常信息。使用的时候,注意一下,考虑是否加try…catch…或者使用exceptionally方法。
若改成exceptionally方法,无需get或join也可以捕获异常信息:
结果:
2.2、CompletableFuture的get()方法是阻塞的
CompletableFuture的get()方法是阻塞的,如果使用它来获取异步调用的返回值,需要添加超时时间。
推荐使用:
2.3、建议使用自定义线程池,不要使用默认的
CompletableFuture代码中使用了默认的线程池,处理的线程个数是电脑CPU核数-1。在大量请求过来的时候,处理逻辑复杂的话,响应会很慢。一般建议使用自定义线程池,优化线程池配置参数。
参考案例:
但是如果线程池拒绝策略是DiscardPolicy或者DiscardOldestPolicy,当线程池饱和时,会直接丢弃任务,不会抛弃异常。因此建议,CompletableFuture线程池策略最好使用AbortPolicy,然后耗时的异步线程,做好线程池隔离。
说明:
AbortPolicy(默认):直接抛弃
CallerRunsPolicy:用调用者的线程执行任务
DiscardOldestPolicy:抛弃队列中最久的任务
DiscardPolicy:抛弃当前任务。
三、源码获取方式
更多优秀文章,请关注个人微信公众号或搜索“程序猿小杨”查阅。然后回复:源码,可以获取对应的源码,开箱即可使用。
如果大家对相关文章感兴趣,可以关注微信公众号"程序猿小杨",会持续更新优秀文章!欢迎大家 分享、收藏、点赞、在看,您的支持就是我坚持下去的最大动力!谢谢!
参考网站:
blog.csdn.net/ThinkWon/...
mp.weixin.qq.com/s/shjA...
ListenableFuture源码解析
ListenableFuture 是 spring 中对 JDK Future 接口的扩展,主要应用于解决在提交线程池的任务拿到 Future 后在 get 方法调用时会阻塞的问题。通过使用 ListenableFuture,可以向其注册回调函数(监听器),当任务完成时,触发回调。Promise 在 Netty 中也实现了类似的功能,用于处理类似 Future 的场景。
实现 ListenableFuture 的关键在于 FutureTask 的源码解析。FutureTask 是实现 Future 接口的基础类,ListenableFutureTask 在其基础上做了扩展。其主要功能是在任务提交后,当调用 get 方法时能够阻塞当前业务线程,直到任务完成时唤醒。
FutureTask 通过在内部实现一个轻量级的 Treiber stack 数据结构来管理等待任务完成的线程。这个数据结构由 WaitNode 节点组成,每个节点代表一个等待的线程。当业务线程调用 get 方法时,会将自己插入到 WaitNode 栈中,并且在插入的同时让当前线程进入等待状态。在任务执行完成后,会遍历 WaitNode 栈,唤醒等待的线程。
为了确保并发安全,FutureTask 使用 CAS(Compare and Swap)操作来管理 WaitNode 栈。每个新插入的节点都会使用 CAS 操作与栈顶节点进行比较,并在满足条件时更新栈顶。这一过程保证了插入操作的原子性,防止了并发条件下的数据混乱。同时,插入操作与栈顶节点的更新操作相互交织,确保了数据的一致性和完整性。
在 FutureTask 中,还利用了 LockSupport 类提供的 park 和 unpark 方法来实现线程的等待和唤醒。当线程插入到 WaitNode 栈中后,通过 park 方法将线程阻塞;任务执行完成后,通过 unpark 方法唤醒线程,完成等待与唤醒的流程。
综上所述,ListenableFuture 通过扩展 FutureTask 的功能,实现了任务执行与线程等待的高效管理。通过注册监听器并利用 CAS 操作与 LockSupport 方法,实现了在任务完成时通知回调,解决了异步任务执行时的线程阻塞问题,提高了程序的并发处理能力。
2024-11-30 10:39
2024-11-30 10:20
2024-11-30 10:14
2024-11-30 09:51
2024-11-30 09:33