1.深入理解DirectBuffer
2.stringbuffer扩容为什么是源码2倍+2?
3.Protocol Buffer详解（一）
4.Redis 主从复制 - 源码梳理
5.各种ByteBuffer解析
6.FFplay源码分析-nobuffer

深入理解DirectBuffer

       DirectBuffer在高性能场景中，因其堆外内存的解析特性，相较于ByteBuffer，源码能有效提升数据处理效率。解析本文将从源码角度深入解析DirectBuffer的源码原理和使用方式。

       在Intel X架构下，解析进度管理 PHP源码用户态（Ring3）与内核态（Ring0）的源码划分保证了安全隔离。应用程序通过系统调用，解析将需要内核支持的源码任务委托给运行在Ring0的内核。创建DirectBuffer时，解析调用new DirectByteBuffer(int cap)的源码私有构造函数，它完成内存分配、解析大小记录和Cleaner对象的源码声明，以备后续内存清理。解析

       使用DirectBuffer时，源码主要有putXXX和getXXX方法。putXXX如putInt，根据内存对齐和字节序，调用unsafe或Bits方法将数据写入。getXXX则根据对齐情况，通过相应方法读取数据。

       内存回收有System.gc和Cleaner对象两种方式。System.gc会在内存不足且没有禁用显式GC时触发Full GC，尝试清理堆外内存。Cleaner对象则在DirectBuffer不再被引用时自动执行，释放堆外内存。

       正确运用DirectBuffer，能够优化程序性能，减少GC的频繁发生。在高性能中间件中，它是一个实用且重要的工具。深入了解DirectBuffer的使用，对提高开发效率至关重要。

stringbuffer扩容为什么是2倍+2?

       在常规用法中，StringBuffer和StringBuilder在功能上差别不大，主要区别在于StringBuffer具备线程安全性，但效率相对较低，而StringBuilder则线程不安全但效率更高。不过在扩容机制上，两者一致。下面以StringBuffer为例进行深入分析。

       首先，java futuretask源码追踪StringBuffer源码，发现它继承自AbstractStringBuilder。这意味着StringBuffer和StringBuilder是“亲兄弟”，拥有共同的抽象父类AbstractStringBuilder。在这个抽象类中，定义了字符串存储的定长字节数组，并在追加字符串时，当长度超过数组长度时，通过数组复制方式实现扩容。

       容量设置上，StringBuffer提供了默认容量和自定义容量的构造方法，即使默认构造方法也会设置初始容量为。在实际开发中，容量不足时，通过append()方法追加字符串触发动态扩容。

       append()方法实际上调用的是AbstractStringBuilder的append()方法，进入内部后，发现关键在于ensureCapacityInternal()方法。该方法确保内部容量足够，通过count+len参数计算追加后字符串总长度，实现动态扩容。

       在ensureCapacityInternal()方法中，首先利用二进制位右移运算计算数组原有容量，考虑到编码方式（默认Latin1或UTF-），判断新字符串长度是否超过原有容量。若超过，则利用Arrays.copyOf()方法复制并创建新数组，将当前数组值赋给新数组，完成扩容。

       newCapacity()方法计算扩容后数组长度，通常在新字符串长度基础上增加一定比例，确保足够容纳新追加的字符串。而新长度计算逻辑通常涉及Math.max()方法，确保不会超出Integer最大值，避免内存溢出异常。

       StringBuffer扩容机制核心如下：若一次追加字符串长度超过当前容量，扩容规则为当前容量*2+2；如果追加长度超出初始容量且按当前容量*2+2扩容后仍不足，直接扩容至与新字符串长度相等；后续追加继续遵循当前容量*2+2规则。扩容为2倍+2的原因是为了减少内存分配次数和内存碎片，提高性能和效率。

       为了验证上述规则，源码共享计划可设计实验案例，观察StringBuffer与StringBuilder的扩容表现。至此，详细解释了StringBuffer扩容机制及其规则，希望能对理解Java中字符串操作有所帮助。

Protocol Buffer详解（一）

       Protocol Buffer是一种支持多平台、多语言、可扩展的数据序列化机制，与XML相比，protobuf体积更小、速度更快、使用更简单，支持自定义数据结构。通过protobu编译器，可以生成特定语言的源代码，如C++、Java、Python，protoBuf对主流编程语言都提供了支持，使得序列化和反序列化变得非常方便。

       一、Message定义

       这里给出一个简单的例子，是一个搜索请求的message格式。

       上述例子中fields的种类都是数值型的（string和int），当然也可以指定更加复杂的fields，比如枚举类型enum，或者是嵌套的message类型。

       1、分配field编号

       上述例子中每个field都被分配了一个编号，这个编号是该field的唯一标识。需要注意的是，标识1-在编码时只占用一个字节，-占用两个字节，因此为了进一步优化程序，对于经常出现的element，建议使用1-作为其唯一标识；对于不经常使用的element，建议使用-。编号的范围是1-2^（-是系统预留的，不要使用）。

       2、field类型

       message中的hive 操作源码field类型包含以下两种（proto3）：

       （1）singular

       （2）repeated：该类型的field可以在message中重复使用（类似于数组），它们的顺序会被保存，通过索引进行检索，数值类型的repeated默认使用packed编码方式。

       3、多message结构

       在一个proto文件中可以定义多个protobuf。

       4、reserved field类型

       在开发过程中可能会涉及到对proto文件中message各个fields的修改，可能是更新、删除某个field及其表示，这样可能会导致调用的服务失败。其中一个防止这种问题的方式是，确保你要删除的field的标识（或是名字）是reserved，具体protobuf的编译器会决定未来这个field表示能否被使用。

       5、编译结果

       对于C++开发者来说，使用protoc编译一个proto文件之后，会生成pb.h和pb.cc两个文件。

       二、数值类型

       具体proto类型对应生成类中的类型可以参考官方文档。

       三、默认值

       对于string和byte类型，默认值为空；对于bool类型，默认值是false；对于数值类型，默认值是0；对于枚举类型，默认值是第一个枚举值，默认为0；对于message类型，默认值由编程语言决定；对于repeated field，默认值为空。

       四、枚举类型

       当采用枚举类型的之后，枚举中的值都是预先定义好的，对于上述例子，我们可以再额外增加一个枚举类型corpus，具体如下。

       通常枚举类型的第一个值初始化为0，而且在message中使用枚举类型，必须要给定一个为0的值，而且这个为0的值应该为第一个元素。

       也可以给不同的元素以相同的alias，但是需要指定option allow_alias = true;具体如下。

       除此之外枚举类型不仅可以定义在message内部，悬浮滚动源码也可以定义在message外部，而且在不同message中可以重用enum。

       在更改枚举类型field时，为保证系统运行正常，同样可以指定reserved数字标识和命名。

       五、使用其他message类型

       1、同文件引用

       具体如下：

       2、不同文件引用

       引用其他proto文件中定义好的message类型，具体如下。

       有时我们会对引用的proto文件进行更改，比如将其内容移动到另外一个地方，这样我们就需要对调用方import路径进行更改，当调用方非常多的时候，这种方法是非常低效的，protobuf提供一种机制，我们可以在原有位置提供一个新位置proto文件的“副本”，通过使用import public表示来实现，具体可以参考如下例子。

       这时编译器就会在某些固定目录下查询import的proto文件（具体在命令行编译的时候，由-I/—proto_path指定），如果上述路径找不到，编译器会在调用路径进行查找。通常将—proto_path设置为项目的根目录，然后import的时候使用完整的路径名。

       3、使用proto2中的message类型

       proto2中的枚举类型无法直接使用。

       六、嵌套类型

       具体如下。

       在parent message之外调用嵌套的message可以用如下方式：SearchResponse.Result，嵌套结构可以更加复杂，具体如下：

       七、更新message类型

       当现有的message已经无法满足现有业务需要，你需要更新你的message类型以支持更复杂的业务，这就涉及到向后兼容的问题了，为保证已有服务不受影响，需要遵守以下的一些规定：

       1、不要更改已经存在的fields的数字标识

       2、如果添加新的field，利用旧代码序列化得到的message可以使用新的代码进行解析，你需要记住各个元素的默认值。新代码创建的field同样可以由旧代码进行加解析

       3、field可以被删除，但是需要保证其对应的数字标识不再被使用，你可以通过加前缀的方式来重新使用这个field name，或者指定数字标识为reserved来避免这种情况

       4、int、int、uint、uint、bool这些类型都是互相兼容的，并不会影响前向、后向兼容性

       5、sint和sint之间是互相兼容的，但是和其他数字类型是不兼容的

       6、string和bytes是互相兼容的，只要使用的是UTF-8编码

       7、如果byte包含message的编码版本，则嵌套的message和bytes兼容

       8、flexed兼容sfixed,fixed,sfixed

       9、enum兼容 int, uint, int, and uint。对于这个值在转化时，不同语言的客户端处理方式会有所不同

       感兴趣的小伙伴可以关注公众号：独立团丶

Redis 主从复制 - 源码梳理

       本文主要剖析Redis主从复制机制中的核心组件之一——复制积压缓冲区（Replication Buffer），旨在为读者提供一个对Redis复制流程和缓冲区机制深入理解的平台，以下内容仅基于Redis版本7.0.，若读者在使用过程中发现偏差，欢迎指正。

       复制积压缓冲区在逻辑上可理解为一个容量最大的位整数，其初始值为1，由offset、master_repl_offset和repl_backlog-histlen三个变量共同决定缓冲区的有效范围。offset表示缓冲区内命令起始位置，master_repl_offset代表结束位置，二者之间的长度由repl_backlog-histlen表示。

       每当主节点执行写命令，新生成的积压缓冲区大小增加，同时增加master_repl_offset和repl_backlog-histlen的值，直至达到预设的最大容量（默认为1MB）。一旦所有从节点接收到命令并确认同步无误，缓冲区内过期的命令将被移除，并调整offset和histlen以维持积压区容量的稳定性。

       为实现动态分配，复制积压缓冲区被分解成多个block，以链表形式组织。每个block采用引用计数管理策略，初始值为0，每当增加或删除从节点对block的引用时，计数值相应增减。新生成block时，将master_repl_offset+1设置为block的repl_offset值，并将写入命令拷贝至缓冲区内，与此同时，master_repl_offset和repl_backlog-histlen增加。

       通过循环遍历所有从节点，为每个从节点设置ref_repl_buf_node指向当前block或最后一个block，确保主从复制能够准确传递命令。当主节点接收到从节点的连接请求时，将开始填充积压缓冲区。在全量复制阶段，从slave-replstate为WAIT_BGSAVE_START至ONLINE，表示redis从后台进程开始执行到完成RDB文件传输和加载，命令传播至此阶段正式开始。

       针对每个从节点，主节点从slave-ref_block_pos开始发送积压缓冲区内的命令，每发送成功，slave-ref_block_pos相应更新。当积压缓冲区超过预设阈值，即复制积压缓冲区中的有效长度超过repl-backlog-size（默认1MB）时，主节点将清除已发送的缓冲区，释放内存。如果主节点写入命令频繁或从节点断线重连时间长，则需合理调整缓冲区大小（推荐值为2 * second * write_size_per_second）以保持增量复制的稳定运行。

       当最后一个从节点与主节点的连接断开超过repl-backlog-ttl（默认为秒）时，主节点将释放repl_backlog和复制积压缓冲区以确保资源的有效使用。不过需要注意的是，从节点的释放操作依赖于节点是否可能成为新的主节点，因此在最后处理逻辑上需保持谨慎。

各种ByteBuffer解析

       ByteBuffer解析概览

       在深入研究RocketMQ源码过程中，ByteBuffer频繁出现，起初让人困惑，但通过学习和理解，其核心概念逐渐明朗。本文将分享关于ByteBuffer的基础知识和常用操作。

       ByteBuffer是Buffer的子类，它是一个字节缓冲区，可扩展到其他类型如IntBuffer和LongBuffer。Buffer的结构包括私有变量，如position、limit和capacity，它们之间满足mark <= position <= limit <= capacity的规则。

       关键方法包括：设置limit和position为0，mark置0，用于读写转换；remaining()返回limit与position之间的差值，hasRemaining()则用于判断是否还有剩余空间。在实际操作中，flip方法非常重要，它在写入数据前后进行状态转换，确保正确读写。

       ByteBuffer有堆内（HeapByteBuffer）和堆外（DirectByteBuffer）两种实现。HeapByteBuffer基于字节数组，而DirectByteBuffer则在直接内存中分配。MappedByteBuffer与FileChannel结合，通过mmap映射文件，提供内存映射功能。

       在实际使用中，如写入文件，flip方法确保了数据正确写入堆外内存，避免了数据复制。MappedByteBuffer通过force()方法保证数据持久化，防止内存丢失。FileChannel和MappedByteBuffer虽然看似独立，但它们在操作上是相关的，尤其在读写分离的场景中，如RocketMQ设计中。

       通过本文，希望能帮助读者更好地理解ByteBuffer的运作机制，下次遇到相关问题时能更加得心应手。持续关注公众号Hn技术随笔，获取更多技术分享。

FFplay源码分析-nobuffer

       在使用 FFplay 播放 RTMP 流时，不开启 nobuffer 选项会导致画面延迟高达7秒左右，而开启此选项后，局域网延迟可降低到毫秒左右。因此，本文将深入探讨nobuffer的实现细节，以及播放端缓存7秒数据的作用。

       fflags 的定义在 libavformat/options_table.h 文件中，这是一个通用选项，所有解复用器均包含此选项。在调用 avformat_open_input() 函数时，会将该命令行参数传入，其位置与所有格式参数相同，如在之前的文章《FFplay源码分析》中所述。记得在调试参数中添加-fflags nobuffer。

       在 avformat_open_input() 函数内部，fflags 这个 AVOption 会被传递给 AVClass，该类存储了多个 AVOption，而fflags 的索引为5。在 av_opt_set_dict() 函数中，fflags 的值会被应用并清除其他选项。在 avformat_open_input() 执行完毕后，AVFormatContext::flags 的第7位应被置为1，即二进制的 。通过下图可以清晰地看到这个过程。

       在 avformat_find_stream_info() 函数内部，如果没有设置nobuffer标记，探测的数据包将被丢入队列。avformat_find_stream_info() 首先读取一段数据包以分析输入流的编码器等信息，为了重用这些数据包，它们会被放入队列中。然而，整个探测过程长达5秒，这意味着 FFplay 大概会读取5秒的数据来分析输入流。若开启nobuffer，则不会重复使用这些探测数据，FFplay 探测完输入流后，会读取新的数据包进行播放。无需缓存，从而降低了延迟。

       通过在 ffpaly.c 文件中的 avformat_find_stream_info() 函数前后输出时间，可以发现两者相差5秒，直观展示了nobuffer对于降低延迟的作用。在实时场景下，缓存功能变得多余，它原本是为了分析本地文件，避免重复读取，但在实时场景中反而影响了性能。因此，在实时场景中，关闭缓存更为合适。

       补充说明：若在本地虚拟机环境下，不启用缓存也能实现流畅播放。然而，如果 SRS 部署在局域网的另一台机器上，不开启缓存可能导致视频卡顿，原因可能是解码前未能及时读取视频帧，FFplay 不断丢弃视频帧，尤其是当视频比音频慢时，这种情况下缓存功能反而成为瓶颈。

Webrtc源码分析 - JitterBuffer

       记录于纸，好于记录于心，这是历史的智慧。在WebRTC技术中，JitterBuffer扮演着关键角色，用于处理接收端的数据包抖动与缓存排序问题。其核心功能是记录数据包的正序、乱序和丢包情况，通过Nack列表标识，用于数据包的重传。每个数据包对应特定的序列号，确保理论上的递增或循环处理。以此判断帧frame的完整性，完整帧被送入待解码帧列表，等待解码和显示。对于非完整帧，JitterBuffer会依据超时时间与包间空洞大小决定是否丢弃，并可能请求关键帧的重新发送。

       主要代码与注释分析如下，深入了解JitterBuffer的运行机制。