皮皮网

1.jdkԴ?码分??????Ƶ?ϼ?
2.Win下Jenkins-2.138源码编译及填坑笔记
3.惊艳！阿里内部JDK源码剖析知识手册，析视由浅入深堪称完美
4.记一次源码追踪分析，频合从Java到JNI，码分再到JVM的析视C++：fileChannel.map()为什么快；源码分析map方法，put方法
5.面试官：从源码分析一下TreeSet（基于jdk1.8）
6.I/O源码分析(3)--BufferedOutputStream之秒懂"flush"

jdkԴ?频合自启动管理源码??????Ƶ?ϼ?

       Queue 和 Deque 是 Java 中的两个接口，分别代表队列和双端队列。码分

       Queue 接口提供了基本的析视队列操作：入队（enqueue）和出队（dequeue）。同时，频合Queue 接口有 6 个方法，码分分为入队、析视出队和遍历三类。频合与之不同的码分是，当队列为空时，析视element() 方法会抛出异常，频合而 peek() 方法则会返回 null。

       Deque 接口继承自 Queue 接口，表示双端队列，具备「队列」和「栈」的特性。双端队列可以分别从两端插入和移除元素，而一般队列只能从尾部插入元素、头部移除元素。Deque 接口定义了入队、出队、遍历以及独有的一些操作方法。Deque 作为双端队列，不仅继承了 Queue 的方法，还提供了额外的wcstombs源码双端操作。

       综上，Queue 提供了基本的队列功能，而 Deque 在 Queue 的基础上增加了双端操作，使其兼具队列和栈的特性。在实际应用中，根据需求选择合适的接口可以提高代码的灵活性和效率。

Win下Jenkins-2.源码编译及填坑笔记

       安装JDK与配置环境

       首先安装JDK版本1.8-，确保操作系统中已添加JDK环境变量。通过执行"Java -version"命令验证JDK安装。注意，JDK版本必须在1.8.0-以上，Jenkins 2.版本不支持Java9，Maven版本需在3.5.3以上。

       设置Maven环境与仓库路径

       解压Maven3.5.4至指定英文路径，并添加Maven环境变量。配置Maven的conf\setting.xml文件，定位到行，设置本地Maven仓库路径为"C:\jstao\soft\sprintbootjar\repository"。定位到行，配置远端阿里云仓库，以方便访问相关资源。

       解压Jenkins源码

       解压Jenkins-2.源码至英文路径下。注意，解压前需确保目标目录为空。

       源码编译与打包

       以管理员身份运行CMD，进入Jenkins解压目录。执行命令"mvn validate"进行项目校验，weishangc源码首次执行可能需等待一段时间。接着执行"mvn clean install -Dmaven.test.skip=true"跳过单元测试编译项目，首次编译亦需等待。校验和编译过程完成后，可在war\target目录下找到GeoDevOps.war文件。

       启动与测试

       运行GeoDevOps.war文件，执行命令"java -jar GeoDevOps.war"，访问/post//

问题/目的问题1Java中哪些API使用到了mmap问题2怎么知道该API使用到了mmap，如何追踪程序的系统调用目的1源码中分析验证，从Java到JNI，再到C++：fileChannel.map()使用的是系统调用mmap目的2源码验证分析：调用mmapedByteBuffer.put(Byte[])时JVM在搞些什么？mmap比普通的read/write快在哪？揭晓答案1mmap在Java NIO中的体现/使用

       看一个例子

// 1GBpublic static final int _GB = 1**;File file = new File("filename");FileChannel fileChannel = new RandomAccessFile(file, "rw").getChannel();MappedByteBuffer mmapedByteBuffer = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, _GB);for (int i = 0; i < _GB; i++) { count++;mmapedByteBuffer.put((byte)0);}

       其中fileChannel.map()底层使用的就是系统调用mmap，函数签名为： public abstract MappedByteBuffer map(MapMode mode,long position, long size)throws IOException

答案2程序执行的系统调用追踪/** * @author Tptogiar * @description * @date /5/ - : */public class TestMappedByteBuffer{ public static final int _4kb = 4*;public static final int _GB= 1**;public static void main(String[] args) throws IOException, InterruptedException { // 为了方便在日志中找到本段代码的开始位置和结束位置，这里利用文件io来打开始标记FileInputStream startInput = null;try { startInput = new FileInputStream("start1.txt");startInput.read();} catch (IOException e) { e.printStackTrace();}File file = new File("filename");FileChannel fileChannel = new RandomAccessFile(file, "rw").getChannel();MappedByteBuffer map = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, _GB); //我们想分析的语句问题2for (int i = 0; i < _GB; i++) { map.put((byte)0); // 下文中需要分析的语句目的2}// 打结束标记FileInputStream endInput = null;try { endInput = new FileInputStream("end.txt");endInput.read();} catch (IOException e) { e.printStackTrace();}}}

       把上面这段代码编译后把“.class”文件拉到linux执行，并用linux上的strace工具记录其系统调用日志，拿到日志文件我们可以在日志中看到以下信息（关于怎么拿到日志可以参照我的博文：无（代写））：

       注：日志有多行，这里只选取我们关注的

// ...// 看到了我们打的开始标志openat(AT_FDCWD, "start1.txt", O_RDONLY) = -1 ENOENT (No such file or directory)// ... // 打开文件，文件描述符fd为6openat(AT_FDCWD, "filename", O_RDWR|O_CREAT, ) = 6// 判断文件状态fstat(6, { st_mode=S_IFREG|, st_size=, ...}) = 0// ... // 判断文件状态fstat(6, { st_mode=S_IFREG|, st_size=, ...}) = 0// 进行内存映射mmap(NULL, , PROT_READ|PROT_WRITE, MAP_SHARED, 6, 0) = 0x7f2fd6cd// ...// 程序退出exit(0)// 看到了我们打的结束标志openat(AT_FDCWD, "end.txt", O_RDONLY) = -1 ENOENT (No such file or directory)

       在上面程序的系统调用日志中我们确实看到了我们打的开始标志，结束标志。在开始标志和结束标志之间我们看到了我们的文件"filename"确实被打开了，文件描述符fd = 6；在打开文件后紧接着又执行了系统调用mmap，这一点我们Java代码一致，这样，我们就验证了我们答案1中的结论，可以开始我们的下文了

源码追踪分析，从Java到JNI，再到JVM的C++目的1寻源之旅：fileChannel.map()

       我们知道我们执行Java代码fileChannel.map()确实会在底层调用系统调用，那怎么在源码中得到验证呢？怎么落脚于源码进行分析呢？下面开始我们的aspnetcore 源码寻源之旅

       FileChannelImpl.map() 注：由于代码较长，这里代码中略去了一些我们不关注的,比如异常捕获等

public MappedByteBuffer map(MapMode mode, long position, long size)throws IOException{ // ...try { // ...synchronized (positionLock) { // ...long mapPosition = position - pagePosition;mapSize = size + pagePosition;try { // ！我们要找的语句就在这！addr = map0(imode, mapPosition, mapSize);} catch (OutOfMemoryError x) { // 如果内存不足，先尝试进行GCSystem.gc();try { Thread.sleep();} catch (InterruptedException y) { Thread.currentThread().interrupt();}try { // 再次试着mmapaddr = map0(imode, mapPosition, mapSize);} catch (OutOfMemoryError y) { // After a second OOME, failthrow new IOException("Map failed", y);}}} // ...} finally { // ...}}

       上面函数源码中真正执行mmap的语句是在addr = map0(imode, mapPosition, mapSize),于是我们寻着这里继续追踪

       FileChannelImpl.map0()

// Creates a new mappingprivate native long map0(int prot, long position, long length)throws IOException;

       可以看到，该方法是一个native方法，所以后面的源码我们需要到这个FileChannelImpl.class对应的fileChannelImpl.c中去看，所以我们需要去找到JDK的源码

       在JDK源码中我们找到fileChannelImpl.c文件

       fileChannelImpl.c 根据JNI的对应规则，我们找到该文件内对应的Java_sun_nio_ch_FileChannelImpl_map0方法，其源码如下：

JNIEXPORT jlong JNICALLJava_sun_nio_ch_FileChannelImpl_map0(JNIEnv *env, jobject this, jint prot, jlong off, jlong len){ void *mapAddress = 0;jobject fdo = (*env)->GetObjectField(env, this, chan_fd);jint fd = fdval(env, fdo);int protections = 0;int flags = 0;if (prot == sun_nio_ch_FileChannelImpl_MAP_RO) { protections = PROT_READ;flags = MAP_SHARED;} else if (prot == sun_nio_ch_FileChannelImpl_MAP_RW) { protections = PROT_WRITE | PROT_READ;flags = MAP_SHARED;} else if (prot == sun_nio_ch_FileChannelImpl_MAP_PV) { protections =PROT_WRITE | PROT_READ;flags = MAP_PRIVATE;}// ！我们要找的语句就在这里！mapAddress = mmap(0,/* Let OS decide location */len,/* Number of bytes to map */protections,/* File permissions */flags,/* Changes are shared */fd, /* File descriptor of mapped file */off); /* Offset into file */if (mapAddress == MAP_FAILED) { if (errno == ENOMEM) { JNU_ThrowOutOfMemoryError(env, "Map failed");return IOS_THROWN;}return handle(env, -1, "Map failed");}return ((jlong) (unsigned long) mapAddress);}

       我们要找的语句就上面代码中的mapAddress = mmap(0,len,protections,flags,fd,off),至于为什么不是直接的mmap，而是mmap，是因为这里的mmap是一个宏，在文件上方有其定义，如下：

#define mmap mmap

       至此，我们就在源码中得到验证了我们问题2中的结论：fileChannelImpl.map()底层使用的是mmap系统调用

目的2寻源之旅：mmapedByteBuffer.put(Byte[ ])

       接着我们来看看当我们调用mmapedByteBuffer.put(Byte[])JVM底层在搞些什么动作

       MappedByteBuffer ?首先我们得知道，当我们执行MappedByteBuffer map = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, _GB)时，实际返回的对象是DirectByteBuffer类的实例，因为MappedByteBuffer为抽象类，且只有DirectByteBuffer继承了它，看下面两图就明白了

       DirectByteBuffer 于是我们找到DirectByteBuffer内的put(Byte[ ])方法

public ByteBuffer put(byte x) { unsafe.putByte(ix(nextPutIndex()), ((x)));return this;}

       可以看到该方法内实际是调用Unsafe类内的putByte方法来实现功能的，所以我们还得去看Unsafe类

       Unsafe.class

public native voidputByte(long address, byte x);

       该方法在Unsafe内是一个native方法，所以所以我们还得去看unsafe.cpp文件内对应的实现

       unsafe.cpp

       在JDK源码中，我们找到unsafe.cpp

       在这份源码内，没有使用JNI内普通加前缀的方法来形成对应关系

       不过我们还是能顺着源码的蛛丝轨迹找到我们要找的方法

       注意到源码中有这样的注册机制，所以我们可以知道我们要找的代码就是上图中标注的代码

       顺藤摸瓜，我们就找到了该方法的ionicapis 源码定义

UNSAFE_ENTRY(void, Unsafe_SetNative##Type(JNIEnv *env, jobject unsafe, jlong addr, java_type x)) \UnsafeWrapper("Unsafe_SetNative"#Type); \JavaThread* t = JavaThread::current(); \t->set_doing_unsafe_access(true); \void* p = addr_from_java(addr); \*(volatile native_type*)p = x; \t->set_doing_unsafe_access(false); \UNSAFE_END \

       该方法内主要的逻辑语句就是以下两句：

/** * @author Tptogiar * @description * @date /5/ - : */public class TestMappedByteBuffer{ public static final int _4kb = 4*;public static final int _GB= 1**;public static void main(String[] args) throws IOException, InterruptedException { // 为了方便在日志中找到本段代码的开始位置和结束位置，这里利用文件io来打开始标记FileInputStream startInput = null;try { startInput = new FileInputStream("start1.txt");startInput.read();} catch (IOException e) { e.printStackTrace();}File file = new File("filename");FileChannel fileChannel = new RandomAccessFile(file, "rw").getChannel();MappedByteBuffer map = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, _GB); //我们想分析的语句问题2for (int i = 0; i < _GB; i++) { map.put((byte)0); // 下文中需要分析的语句目的2}// 打结束标记FileInputStream endInput = null;try { endInput = new FileInputStream("end.txt");endInput.read();} catch (IOException e) { e.printStackTrace();}}}0

       至此，我们就知道：其实我们调用mmapedByteBuffer.put(Byte[ ])时，JVM底层并不需要涉及到系统调用（这里也可以用strace工具追踪从而得到验证）。也就是说通过mmap映射的空间在内核空间和用户空间是共享的，我们在用户空间只需要像平时使用用户空间那样就行了————获取地址，设置值，而不涉及用户态，内核态的切换

总结

       fileChannelImpl.map()底层用调用系统函数mmap

       fileChannelImpl.map()返回的其实不是MappedByteBuffer类对象，而是DirectByteBuffer类对象

       在linux上可以通过strace来追踪系统调用

       JNI中“.class”文件内方法与“.cpp”文件内函数的对应关系不止是前缀对应的方法，还可以是注册的方式，这一点的追寻代码的时候有很大帮助

       directByteBuffer.put()方法底层并没有涉及系统调用，也就不需要涉及切态的性能开销(其底层知识执行获取地址，设置值的操作)，所以mmap的性能就比普通读写read/write好

       ...

原文：/post/

面试官：从源码分析一下TreeSet（基于jdk1.8）

       面试官可能会询问关于TreeSet（基于JDK1.8）的源码分析，实际上，TreeSet与HashSet类似，都利用了TreeMap底层的红黑树结构。主要特性包括：

       1. TreeSet是基于TreeMap的NavigableSet实现，元素存储在TreeMap的key中，value为一个常量对象。

       2. 不是直接基于TreeMap，而是NavigableMap，因为TreeMap本身就实现了这个接口。

       3. 对于内存节省的疑问，TreeSet在add方法中使用PRESENT对象避免了将null作为value可能导致的逻辑冲突。添加重复元素时，PRESENT确保了插入状态的区分。

       4. 构造函数提供了多样化的选项，允许自定义比较器和排序器，基本继承自HashSet的特性。

       5. 除了基本的增删操作，TreeSet还提供了如返回子集、头部尾部元素、区间查找等方法。

       总结来说，TreeSet在排序上优于HashSet，但插入和查找操作由于树的结构会更复杂，不适用于对速度有极高要求的场景。如果不需要排序，HashSet是更好的选择。

       感谢您的关注，关于TreeSet的源码解析就介绍到这里。

I/O源码分析(3)--BufferedOutputStream之秒懂"flush"

       本文基于JDK1.8，深入剖析了BufferedOutputStream的源码，帮助理解缓冲输出流的工作机制。

       BufferedOutputStream，作为与缓冲输入流相对应的面向字节的IO类，其主要功能是通过write方法进行字节写出操作，并在调用flush方法时清除缓存区中的剩余字节。

       其继承体系主要包括了基本的输出流类，如OutputStream。

       相较于缓冲输入流，BufferedOutputStream的方法相对较少，但功能同样强大。

       BufferedOutputStream内部包含两个核心成员变量：buf代表缓冲区，count记录缓冲区中可写出的字节数。

       构造函数默认初始化缓冲区大小为8M，若指定大小则按指定大小初始化。

       BufferedOutputStream提供了两种主要的写方法：write(int b)用于写出单个字节，以及write(byte[] b, int off, int len)用于从数组中写出指定长度的字节。在内部实现中，使用System.arraycopy函数加速字节的复制过程。

       对于上述方法在调用之后，均会进行缓冲区的清空操作，即调用内部的flushBuffer()方法。然而，用户直接调用的公有flush()方法有何意义呢？

       在实际应用中，当使用BufferedOutputStream进行高效输出时，用户可能需要在程序结束前调用flush()方法，以确保所有未输出的字节都能被正确处理。避免了在程序未结束时输出流的缓存区中出现未输出的字节。

       flush()方法内部逻辑简单，主要通过调用继承自FilterOutputStream的out变量的flush()方法实现缓存区的清空，并将缓冲区的字节全部输出。同时，由于Java的IO流采用装饰器模式，该过程也包括了调用其他实现缓冲功能类的flush方法。

       为验证flush()方法的功能，本文进行了简单的测试，通过初始化缓冲区大小为5个字节，分别测试了不调用flush()、调用close()与不调用flush()、不调用close()的情况。

       测试结果显示，不调用flush()而调用close()时，输出为一个特殊符号，表明字节被正确输出。而在不调用flush()且不调用close()的情况下，输出为空，说明有字节丢失。

       值得注意的是，如果在测试时定义的字节数组长度超过缓冲区大小，BufferedOutputStream可能直接使用加速机制全部写出，无需调用flush()。

       综上所述，使用BufferedOutputStream时，养成在程序结束前调用flush()的习惯，能有效避免因缓存区未清空导致的数据丢失问题，确保程序的稳定性和可靠性。

OpenJDK-JVM 源码阅读 - ZGC - 并发标记 | 京东物流技术团队

       ZGC简介：

       ZGC是Java垃圾回收器的前沿技术，支持低延迟、大容量堆、染色指针、读屏障等特性，自JDK起作为试验特性，JDK起支持Windows，JDK正式投入生产使用。在JDK中已实现分代收集，预计不久将发布，性能将更优秀。

       ZGC特征：

       1. 低延迟

       2. 大容量堆

       3. 染色指针

       4. 读屏障

       并发标记过程：

       ZGC并发标记主要分为三个阶段：初始标记、并发标记/重映射、重分配。本篇主要分析并发标记/重映射部分源代码。

       入口与并发标记：

       整个ZGC源码入口是ZDriver::gc函数，其中concurrent()是一个宏定义。并发标记函数是concurrent_mark。

       并发标记流程：

       从ZHeap::heap()进入mark函数，使用任务框架执行任务逻辑在ZMarkTask里，具体执行函数是work。工作逻辑循环从标记条带中取出数据，直到取完或时间到。此循环即为ZGC三色标记主循环。之后进入drain函数，从栈中取出指针进行标记，直到栈排空。标记过程包括从栈取数据，标记和递归标记。

       标记与迭代：

       标记过程涉及对象迭代遍历。标记流程中，ZGC通过map存储对象地址的finalizable和inc_live信息。map大小约为堆中对象对齐大小的二分之一。接着通过oop_iterate函数对对象中的指针进行迭代，使用ZMarkBarrierOopClosure作为读屏障，实现了指针自愈和防止漏标。

       读屏障细节：

       ZMarkBarrierOopClosure函数在标记非静态成员变量的指针时触发读屏障。慢路径处理和指针自愈是核心逻辑，慢路径标记指针，快速路径通过cas操作修复坏指针，并重新标记。

       重映射过程：

       读屏障触发标记后，对象被推入栈中，下次标记循环时取出。ZGC并发标记流程至此结束。

       问题回顾：

       本文解答了ZGC如何标记指针、三色标记过程、如何防止漏标、指针自愈和并发重映射过程的问题。

       扩展思考：

       ZGC在指针上标记，当回收某个region时，如何得知对象是否存活？答案需要结合标记阶段和重分配阶段的代码。

       结束语：

       本文深入分析了ZGC并发标记的源码细节，对您有启发或帮助的话，请多多点赞支持。作者：京东物流 刘家存，来源：京东云开发者社区 自猿其说 Tech。转载请注明来源。