皮皮网

1.openctp通道源码开放二（新浪行情CTPAPI）
2.PJSIP源码探究 pjmedia-videodev模块
3.PolarDB-X 源码解读（七）：私有协议连接的源码一生（CN篇）
4.8086模拟器8086tiny源码分析(7)执行mov指令(四)
5.8086模拟器8086tiny源码分析(5)执行mov指令(二)
6.3d稀疏卷积——spconv源码剖析（三）

openctp通道源码开放二（新浪行情CTPAPI）

       CTPAPI接口源码的开放，引发了广泛关注，分析短短几天内获得了上千次的源码点赞与收藏。CTPAPI，分析由上期所旗下的源码技术公司开发，以其精湛设计、分析asp新闻网站源码高效率与开放运营模式，源码备受投资者青睐，分析几乎成为了期货交易的源码必备选择。然而，分析股票市场中，源码虽然有多家技术公司与券商提供了各自的分析柜台服务，但其影响力与CTPAPI相比仍有差距。源码面对多品种交易或更换券商需求，分析openctp提供的源码统一CTPAPI接口技术显得尤为重要。用户只需一个接口，就能接入包括期货、期权、A股、港股、美股、外盘期货在内的全市场全品种。

       本文将介绍openctp再次开放的新浪行情通道CTPAPI接口源码。对于从互联网获取股票行情，前文已有详细说明，这里简要概述新浪的方法。只需输入指定网址，即可接收股票行情数据。具体格式如下：

       单个股票： hq.sinajs.cn/list=sz...

       多个股票： hq.sinajs.cn/list=sh...

       然而，去年新浪对协议进行了调整，改动了HTTP头部，需额外添加特定字段，否则访问会被拒绝。详情请参考相关文章：《新浪行情无法接收的解决方法》。

       CTPAPI在期货领域广为人知，但在股票市场中可能较少被提及。为了帮助用户更好地理解如何利用此接口接收股票行情，本文提供了一个示例。同时，公开了新浪行情CTPAPI源码地址，用户可访问：/krenx/openctp/tree/master/ctp2Sina行情。

       CTPAPI接口版本多样，从6.3.到6.6.7，主要更新包括新增字段或函数，但这些新增内容大多不常使用。交易相关的接口保持稳定。为了确保兼容性和功能完整性，建议使用6.6.7及以上版本。关于接口下载与官方文档，用户可访问openctp主页：github.com/krenx/op...

       为方便用户获取更多行情信息，openctp还提供了强大的行情显示工具prices，其源码地址为：github.com/krenx/op...

       欲了解更多信息，请访问openctp主页：/krenx/openctp或关注公众号openctp，获取最新动态。CTPAPI相关文章，敬请关注。

PJSIP源码探究 pjmedia-videodev模块

       PJSIP源码探索：pjmedia-videodev模块详解

       在上一章节中，我们已经了解了PJSIP在Android平台的编译和使用基础。接下来，新版庄家抬轿源码.我们将深入探究pjmedia-videodev模块，这一核心组件负责实现PJSIP的视频捕获功能。掌握这部分内容，你将能够为PJSIP添加自定义视频输入设备。

       源码解析：视频捕获入口

       在pjsua2的Endpoint.java中，主要通过Endpoint对象的libCreate、libInit、libStart和libDestroy方法来调用底层的c++代码。其中，pjsua_init函数在pjsua_core.c的行中起关键作用，通过media_cfg参数，我们可以看出它与媒体相关。在pjsua_media_subsys_init中，初始化了音频和视频子系统，其中pjmedia_vid_subsys_init在pjsua_vid.c的行，负责初始化视频捕获设备。

       在pjmedia-videodev模块中，寻找视频捕获的源头，pjmedia_vid_dev_subsys_init在pjmedia-videodev/videodev.c中负责视频设备的注册。在Android编译环境下，pjmedia_and_factory被注册，负责打开摄像头并获取画面。

       源码分析：pjmedia-vid-dev-factory

       Android摄像头捕获器工厂的实现位于pjmedia-videodev/android_dev.c，其中工厂实例的创建、设备信息的获取与管理，以及与Java类的交互都十分重要。工厂中的and_factory和factory_op结构体定义了工厂操作的接口，包括设备初始化、信息查询和流创建等。

       视频设备流的操作在stream_op中定义，包括获取参数、设置视频功能、启动和停止相机，以及释放资源等。这些操作允许我们动态调整视频流，实现自定义画面捕获。

       总结：pjmedia-videodev模块功能概览

       pjmedia-videodev的核心是pjmedia_vid_dev_factory，它通过实现一系列操作函数，如创建VideoStream和管理设备流，来捕获和处理视频数据。通过自定义VideoStream和其操作，开发者能够添加时间水印、滤镜效果，甚至捕获屏幕内容，为视频通话增添更多可能性。

       至此，关于pjmedia-videodev模块的源码探究已告一段落，希望你对视频捕获的实现有了深入理解，期待你在PJSIP应用中发挥创意。

PolarDB-X 源码解读（七）：私有协议连接的一生（CN篇）

       通过前文的介绍，大家基本了解了一条SQL在polardbx-sql中的解析和执行流程。由于polardbx-sql是无状态的计算节点，真正数据需要从存储节点传输到计算节点，这部分工作由私有协议完成。本文将详细介绍从发送请求到存储节点，接收返回数据的完整流程，重点在于私有协议连接的生命周期和关键代码解析。

       概述

       为了提高数据节点本地计算能力，视频播放弹幕源码同时减少网络数据传输量，计算节点会尽可能下推计算内容。一个逻辑表可能需要多个物理分片，因此计算节点与存储节点的请求会话数量会随着分片数增加而增加。传统MySQL协议+连接池架构已不能满足PolarDB-X的需求，因此私有协议在这一需求场景下应运而生。

       如图所示，私有协议采用连接与会话分离的RPC协议设计理念，支持多个会话在同一个TCP通道中并行运行，具备流控机制、全双工响应式工作模式和高吞吐、可扩展等特性。

       更多关于私有协议解决上述问题的设计详情，可以参考《PolarDB-X私有协议设计》一文。本文主要从代码层面详细描述私有协议的工作流程。

       我们将从计算节点和存储节点两个角度完整解析私有协议连接的生命周期。篇幅限制，本文仅关注计算节点上私有协议的处理，存储节点部分将在后续文章中详细说明。

       计算节点

       计算节点作为私有协议的客户端，负责发送下推请求，并接收返回的数据。

       网络层框架

       PolarDB-X私有协议网络层采用定制化Reactor框架实现，基于Java的NIO，改进自polardbx-sql中的Reactor框架。网络层初始化时，设置CPU核心数的2倍（上限为）作为NIOProcessor，每个Reactor使用独立的堆外内存池作为收发包缓冲，总缓冲内存大小限制为堆内存大小的%。

       NIO接收的包直接调用注册的处理函数，发送数据仅写入send buf，网络写入由单独线程完成。线程优先写入TCP send buf，当无法写入时，注册OP_WRITE事件等待可写后再写入剩余内容。

       数据包的编码和解码在NIOClient中实现。为实现最佳性能，解包流程直接在堆外内存上进行，使用protobuf对流直接解析，将结果放入堆内。堆外内存被切分为KB chunk，每个Reactor独占一个chunk，连续解析和复用，最大化接收、解析效率。对于特大包，额外构造堆内大buffer接收和解析，回退标志在定时任务中重置，连续s无超大包时释放堆内内存，恢复高性能堆外KB buffer接收。

       请求发送集成在NIOClient中，writer优先尝试写入发送缓冲队列尾部的buffer，不足时新申请buffer填充并追加到队尾。buffer来自预分配的堆外缓冲池，超过chunk大小时分配堆内buf进行序列化。

       同时，NIOClient负责TCP连接的建立和断开资源释放，作为独立的入门小程序源码底层网络资源管理实现。

       连接及会话

       网络层之后，我们聚焦连接与会话分离的具体实现。通过剥离连接及收发包的具体实现，连接和会话的管理变得更加清晰简洁。

       首先，一个TCP连接的逻辑抽象结构在XClient中实现，为避免误解，取名为client与JDBC中的Connection区别。该类管理TCP连接和并行运行的会话，负责TCP完整生命周期的管理、认证鉴权，并维护公共信息。其中，workingSessionMap记录了连接上并行运行的所有会话映射关系，可快速通过会话ID找到对应的会话抽象结构XSession。

       XSession提供了所有会话相关的请求函数和信息存储，包括执行计划请求、SQL查询请求、SQL更新请求、TSO请求、会话变量处理、数据包处理及异步唤醒等。

       连接池及全局单例管理器

       为了提高性能，TCP连接和会话的复用必不可少。由于连接和会话的解绑，连接池不仅缓存了到计算节点的TCP连接，也缓存了到计算节点的会话。

       XClientPool管理到一个存储节点的连接池，通过IP，端口，用户名三元组唯一确定目标存储节点，同时存储该节点的全部TCP连接（XClient）和建立的会话（XSession）。

       XClientPool实现存储节点会话获取，对应JDBC接口中的getConnection，同时实现连接和会话生命周期管理、连接探活、会话预分配等功能。实现单个存储节点连接池后，XConnectionManager维护目标存储节点三元组到实例连接池的映射，管理定时任务线程池，实现定时探活、会话&连接最长生命控制以及连接池预热等功能。

       JDBC兼容层

       新的SQL协议层对上层使用者要求较高，为了提高开发效率，私有协议提供兼容JDBC的使用方法，实现从JDBC平滑切换至私有协议，并支持协议热切换。

       JDBC兼容层代码目录在compatible目录下，Connection继承在XConnection文件中。提供包括DataSource、Connection、Statement、PreparedStatement、ResultSet、ResultSetMetaData在内的大部分常用接口函数实现，不支持的函数会明确抛出异常避免误用。

       整体关系

       至此，私有协议计算节点端的源码编译安装 python大部分结构已说明完成。给出一个整体的关系图。

       私有协议连接的一生（CN视角）

       了解了私有协议各层实现后，我们以发到存储节点的请求为例，完整梳理执行流程。绕开计算节点复杂流程，直接运行代码示例（注：需将com.alibaba.polardbx.rpc.XConfig#GALAXY_X_PROTOCOL设置为true）。

       直接运行playground看到预期的select 1的结果。接下来，我们深入跟踪说明。

       数据源初始化

       要使用私有协议，需要初始化对应存储节点的XDataSource。构造过程中，XDataSource会到XConnectionManager注册新的实例连接池，已存在的连接池引用计数加一。

       获取Connection

       当需要执行查询时，首先获取会话。无论是显式开启事务还是使用auto commit事务，会话都是执行请求的最小上下文。通过XDataSource的getConnection方法获取到对应存储节点的会话。XDataSource根据存储的IP，端口，用户名三元组查找到XConnectionManager中的连接池，在最高并发检查后，会话获取逻辑在XClientPool实现。首先尝试在空闲会话池中拿会话，通过重置检查和初始化后返回给调用者。大部分场景下，ConcurrentLinkedQueue提供较好的并发性能。

       在代码场景下，数据源刚新建，后台定时任务未运行，流程进入连接创建流程。会有一把大锁锁住连接池，在TCP连接未达上限且没有超时的情况下，快速新建一个XClient占坑。若超限，则进入busy waiting循环。真正的TCP connect（waitChannel）在锁外被调用，首先client以阻塞模式带超时方式connect，然后切换为非阻塞模式，round robin策略注册到NIOProcesser上，返回时，TCP连接已建立。

       为了兼顾安全和性能，连接鉴权在TCP建连后只用做一次，会话创建不需要鉴权。鉴权在initClient中完成，发送SESS_AUTHENTICATE_START_VALUE包，后续校验由回调完成。认证采用标准的MySQL认证流程，server端返回challenge值，库名、用户名和加盐hash后的密码返回给MySQL即可完成认证。

       至此，到存储节点的TCP连接已建立，创建会话是一个异步流程。在创建新XClient时，XConnection已new好，通过下断点跟进去可看到newXSession流程，分配session id，设置状态为init，将XSession绑定到XConnection上。

       最后，XConnection经过初始化（重置auto commit状态）、重置默认DB、默认字符集（lazy操作）和统计信息记录，返回给用户使用。

       发送查询请求

       拿到初始化好的兼容JDBC的Connection，为了简化流程，直接调用XConnection中的execQuery。XConnection的execQuery包装了XSession的execQuery，执行前执行了设置流式模式。

       首先记录调用信息进行统计，进入关键的initForRequest流程。XSession初始化流程lazy，仅分配session id，设置状态为Init，真正创建session时发送SESS_NEW给server，绑定新session和session id。如果session已复用，则状态为Ready。

       执行字符集更改的lazy操作，session可能在其他请求中切换字符集，根据目标字符集和当前字符集对比，决定是否发送额外的字符集更改请求。

       经过一系列变量设置、lazy DB设置和protobuf包构造，请求发送到存储节点执行。发送后，同步生成XResult负责结果解析，同时XResult按照请求顺序依次拉链表，确保结果与请求一一对应。

       请求流水线结构如下图所示，处理完成前序请求后，才能解析后续结果。

       接收结果集

       请求已发送到存储节点执行，拿到XResult，通过XResult收集查询结果集。XResult与发送请求一一对应，存储节点处理也是在会话上排队进行，不会影响流水线上其他请求的返回，保证流水线正常工作。

       首先，查看结果集处理的状态机，主要状态包括获取元数据、获取数据行、获取额外信息等，顺序固定，根据请求类型，部分环节可能被省略。报错处理贯穿整个状态机，任何报错信息都会导致状态机进入错误处理环节。

       对于非流式数据读取，请求结束时主动调用finishBlockMode将所有数据读出并缓存到rows中。对于流式执行的情况，结果集状态机消费数据包队列由XResult的next函数推动，内部函数internalFetchOneObject递归调用前序XResult，消费前序请求结果，从数据包队列中消费并推动状态机流转。

       对于查询，首先收到RESULTSET_COLUMN_META_DATA包，表示返回数据列定义，一个包表示一列。元数据包后，收到包含数据行的RESULTSET_ROW包，一个包对应一行。数据行传输完成后，server端发送RESULTSET_FETCH_DONE标示数据发送完成。请求结束前，NOTICE包用于告知客户端rows affected等信息。最后，SQL_STMT_EXECUTE_OK包标示请求结束。

       至此，完整请求处理完成，控制台应显示查询结果。

       总结

       本文详细描述了私有协议连接流程中的关键点和关键数据结构，相信通过本文描述，大家掌握了私有协议连接流程的基本点，在调试和修改使用中能够更加得心应手。虽然本文篇幅较长，但实际使用中涉及更多高级特性的使用，如多请求流水线、流控、执行计划传输、chunk结果集传输等。通过本文，我们对私有协议连接流程有了深入理解，为在实际场景中应用提供坚实基础。

模拟器tiny源码分析(7)执行mov指令(四)

       前文分析了不同类型的MOV指令。本节将着重介绍处理MOV AL/AX, mem指令的代码实现。

       代码分析部分展示了指令处理流程，图示展示了具体指令的执行流程。在处理该指令时，首先通过解析指令代码，确定了op_to_addr变量为mem，同时判断了寄存器为ax或al。

       接着，解析出了寄存器的值并获取了对应的内存地址。之后，使用MEM_OP宏执行赋值操作，完成指令的执行。

       接着，讲解了处理MOV r/m, imm指令的代码实现。指出在该指令下，xlat_opcode_id被赋值为，符合指令格式。指令解析首先获取指令的第二个字节，解析出指令的关键信息。

       使用DECODE_RM_REG函数确定了op_from_addr的值，R_M_OP函数实现了内存拷贝，将立即数复制到内存地址。指令的第3,4,5字节可能作为i_data2的起始位置。

       至此，所有7种不同类型的MOV指令的源码分析完成，详尽介绍了指令的解析和执行过程。整个分析覆盖了不同指令类型的关键细节，为理解模拟器指令执行机制提供了基础。

模拟器tiny源码分析(5)执行mov指令(二)

       本文继续解析tiny模拟器中的MO指令，集中于MOV reg, r/m指令的实现。首先，通过xlat_opcode_id赋值为9，额外参数extra设置为8，为后续解析打下基础。核心部分在于理解OP(=)的操作，其完成的是寄存器与内存或另一个寄存器间的数据移动。

       进一步分析，MEM_OP和R_M_OP分别对应内存操作与寄存器与内存间的拷贝，前者是基本内存操作，后者完成具体数据移动任务。而op_to_addr和op_from_addr则是关键变量，前者代表目的位置，后者代表源位置。具体赋值依赖于是否需要解码mod、rm、reg三个指令字段。

       当i_mod_size为真时，解码这三个字段，并结合d和w字段，确定操作数。这由DECODE_RM_REG宏完成。在这里，op_to_addr是目的位置（寄存器或内存），op_from_addr是源位置。指令数据移动方向的关键在于i_d变量。如果该变量为真，则表示源操作数与目的操作数需进行交换。

       至此，对MOV reg, r/m指令的解析告一段落。通过明确指令字段、操作变量的赋值与交换条件，tiny模拟器成功实现这一重要指令的执行，为深入理解架构与模拟器设计提供了基础。

3d稀疏卷积——spconv源码剖析（三）

       构建Rulebook

       下面看ops.get_indice_pairs，位于：spconv/ops.py

       构建Rulebook由ops.get_indice_pairs接口完成

       get_indice_pairs函数具体实现：

       主要就是完成了一些参数的校验和预处理。首先，对于3d普通稀疏卷积，根据输入shape大小，kernel size，stride等参数计算出输出输出shape，子流行稀疏卷积就不必计算了，输出shape和输入shape一样大小

       准备好参数之后就进入最核心的get_indice_pairs函数。因为spconv通过torch.ops.load_library加载.so文件注册,所以这里通torch.ops.spconv.get_indice_pairs这种方式来调用该函数。

       算子注册：在src/spconv/all.cc文件中通过Pytorch提供的OP Register(算子注册的方式)对底层c++ api进行了注册，可以python接口形式调用c++算子

       同C++ extension方式一样，OP Register也是Pytorch提供的一种底层扩展算子注册的方式。注册的算子可以通过 torch.xxx或者 tensor.xxx的方式进行调用，该方式同样与pytorch源码解耦，增加和修改算子不需要重新编译pytorch源码。用该方式注册一个新的算子，流程非常简单：先编写C++相关的算子实现，然后通过pytorch底层的注册接口（torch::RegisterOperators），将该算子注册即可。

       构建Rulebook实际通过python接口get_indice_pairs调用src/spconv/spconv_ops.cc文件种的getIndicePairs函数

       代码位于：src/spconv/spconv_ops.cc

       分析getIndicePairs直接将重心锁定在GPU逻辑部分，并且子流行3d稀疏卷积和正常3d稀疏卷积分开讨论，优先子流行3d稀疏卷积。

       代码中最重要的3个变量分别为：indicePairs，indiceNum和gridOut，其建立过程如下：

       indicePairs代表了稀疏卷积输入输出的映射规则，即Input Hash Table 和 Output Hash Table。这里分配理论最大的内存，它的shape为{ 2,kernelVolume,numAct}，2表示输入和输出两个方向，kernelVolume为卷积核的volume size。例如一个3x3x3的卷积核，其volume size就是(3*3*3)。numAct表示输入有效(active)特征的数量。indiceNum用于保存卷积核每一个位置上的总的计算的次数，indiceNum对应中的count

       代码中关于gpu建立rulebook调用create_submconv_indice_pair_cuda函数来完成，下面具体分析下create_submconv_indice_pair_cuda函数

       子流线稀疏卷积

       子流线稀疏卷积是调用create_submconv_indice_pair_cuda函数来构建rulebook

       在create_submconv_indice_pair_cuda大可不必深究以下动态分发机制的运行原理。

       直接将重心锁定在核函数：

       prepareSubMGridKernel核函数中grid_size和block_size实则都是用的整形变量。其中block_size为tv::cuda::CUDA_NUM_THREADS,在include/tensorview/cuda_utils.h文件中定义，大小为。而grid_size大小通过tv::cuda::getBlocks(numActIn)计算得到,其中numActIn表示有效(active)输入数据的数量。

       prepareSubMGridKernel作用：建立输出张量坐标(通过index表示)到输出序号之间的一张哈希表

       见：include/spconv/indice.cu.h

       这里计算index换了一种模板加递归的写法，看起来比较复杂而已。令：new_indicesIn = indicesIn.data()，可以推导得出index为：

       ArrayIndexRowMajor位于include/tensorview/tensorview.h，其递归调用写法如下：

       接着看核函数getSubMIndicePairsKernel3：

       位于：include/spconv/indice.cu.h

       看：

       上述写法类似我们函数中常见的循环的写法，具体可以查看include/tensorview/kernel_utils.h

       NumILP按默认值等于1的话，其stride也是gridDim.x*blockDim.x。索引最大值要小于该线程块的线程上限索引blockDim.x * gridDim.x，功能与下面代码类似：

       参考： blog.csdn.net/ChuiGeDaQ...

Linux内核中的open方法

       在Linux系统中，使用open方法打开文件是一个基本操作，本文将从源码角度解析Linux内核中的open方法是如何实现文件打开功能的。

       在Linux内核中，open方法的实现主要涉及几个关键步骤。首先，调用do_sys_open方法作为主要入口。该方法内进行了一系列初始化操作，主要包括：

       1. 调用build_open_flags方法，初始化struct open_flags实例op。

       2. 调用getname方法，分配并初始化struct filename实例tmp。

       3. 调用get_unused_fd_flags方法获取一个未被使用的文件描述符fd。

       4. 调用do_filp_open方法，继续执行open操作，并将返回值赋值给类型为struct file的实例指针f。

       5. 如果do_filp_open成功，则调用fd_install方法，建立从fd到struct file的对应关系。

       6. 最后，返回fd给用户。

       在do_filp_open方法中，进一步执行open操作。主要步骤包括：

       1. 调用set_nameidata方法，初始化struct nameidata类型实例nd。

       2. 调用path_openat方法继续执行open操作。

       3. 在path_openat方法内，首先调用alloc_empty_file方法分配一个空的struct file实例。

       4. 然后调用path_init、link_path_walk、do_last等方法执行后续的open操作。

       5. 其中，path_init方法初始化struct nameidata实例中的path、root、inode等字段。

       6. link_path_walk方法处理路径组件，最终使struct nameidata实例指向目标路径。

       7. 最后，do_last方法完成剩余的open操作，如查找路径中的最后一个组件，执行open逻辑。

       整个open过程涉及多层函数调用，从系统调用到内核源码的详细实现，体现了Linux内核设计的复杂性和层次性。通过逐步解析这些步骤，可以更直观地理解Linux内核如何实现文件打开功能。

MLIR Operation 与 Op

       MLIR的核心组件之一是Operation，它是Dialect中的基本语义单元，就像方言中的词汇一样，构成了整个代码表示的基石。深入理解MLIR的运作，关键在于掌握Operation类和Op类的运作机制。

       Operation类是MLIR中的核心数据结构，它在 mlir/include/mlir/IR/Operation.h 中被定义，为操作提供了丰富的接口，包括静态create函数，用于创建不同类型的Operation实例。例如，当我们创建一个FuncOp时，会先通过Operation::create调用，再通过cast转换为具体类。此外，Operation还负责操作数、结果、属性和blocks的管理，以及操作的遍历等。

       Op类则是所有具体Operation的基类，它在mlir/include/mlir/IR/OpBase.td中定义，这个文件实际上是TableGen语言编写的。在定义新的Dialect时，开发者需要在Ops.td文件中引入OpBase.td，基于这个基类扩展出符合特定Dialect需求的Op类。

       整个过程涉及到TableGen工具的编译和链接，将这些定义转化为编译时可用的代码。通过理解并操作这些基础类，开发者可以构建和优化复杂的编译逻辑。更多关于Op类的具体细节和功能，还需进一步研究mlir的源码和官方文档。