皮皮网

1.TiKV 源码解析系列文章（十七）raftstore 概览
2.TiKV 源码解析系列文章（十四）Coprocessor 概览
3.一文看懂开源许可证
4.TiFlash 源码阅读（一） TiFlash 存储层概览

TiKV 源码解析系列文章（十七）raftstore 概览

       TiKV，源码作为分布式 KV 数据库，源码利用 Raft 算法提供强一致性，源码但单一 Raft 组无法满足扩展性和均衡需求，源码因此引入了 MultiRaft 架构。源码在 TiKV 中，源码海洋模板源码数据通过分片形成多个 Region，源码每个 Region 由一个 Raft 组管理，源码形成一对一关系。源码通过多 Raft 组并行管理，源码实现高效扩展和均衡。源码

       MultiRaft 与 Region 结构紧密相连，源码数据在多个副本间分布，源码一个机器可能承载多个不同 Region 的源码副本。这种设计允许 Raft 组并行工作，源码从而提升性能和容错能力。

       Batch System 是 raftstore 的核心机制，用于并发驱动状态机。状态机通过 PollHandler 驱动，分为 normal 和 control 两种类型。control 状态机负责全局任务管理，normal 状态机处理特定任务。消息和消息队列绑定在状态机上，PollHandler 负责消费消息，产生落盘或网络交互的即时im源码副作用。

       raftstore 中包含 RaftBatchSystem 和 ApplyBatchSystem 两个 Batch System。RaftBatchSystem 处理 Raft 状态机，包括日志分发、落盘、状态迁移等。ApplyBatchSystem 解析日志并应用到底层 KV 数据库，执行回调函数。写操作遵循此流程，客户端请求序列化为日志后，通过 Raft 提交到 raft。Ready 机制收集副作用，最终由 Batch System 处理。

       Region 的分裂和合并是 TiKV 稳定运行的关键。Split 将大范围数据分割，创建新 Raft 组管理；Merge 则合并相邻 Raft 组，优化资源利用。这些操作遵循 Raft 提交/确认流程，并维护版本概念，确保写命令正确分发。

       LocalReader 为读操作提供优化，Raft 组 leader 维护 lease 机制，确保在有效期内的读操作即时执行，超出则触发续期。Lease 定义了读操作的phpcp源码下载时间窗口，允许精度误差，优化性能。

       Coprocessor 用于自定义 KV 处理逻辑，如事务一致性、关键数据管理等。TiKV 中包括 SQL 下推、Observer 等 Coprocessor，监听事件并执行自定义逻辑，保证系统正确运行。

       综上所述，TiKV 通过 MultiRaft、Batch System、LocalReader 和 Coprocessor 等机制，实现了高效、可靠的分布式 KV 存储。深入理解这些组件的原理与实现细节，有助于优化 TiKV 应用场景与性能。

TiKV 源码解析系列文章（十四）Coprocessor 概览

       本文将简要介绍 TiKV Coprocessor 的基本原理。TiKV Coprocessor 是 TiDB 的一部分，用于在 TiKV 层处理读请求。通过引入 Coprocessor，TiKV 可以在获取数据后进行计算，从而提高性能。

       传统处理方式中，tar工具源码TiDB 向 TiKV 获取数据，然后在 TiDB 内部进行计算。而 Coprocessor 则允许 TiKV 进行计算，将计算结果直接返回给 TiDB，减少数据在系统内部的传输。

       Coprocessor 的概念借鉴自 HBase，其主要功能是对读请求进行分类，处理包括 TableScan、IndexScan、Selection、Limit、TopN、Aggregation 等不同类型请求。其中，DAG 类请求是最复杂且常用的类型，本文将重点介绍。

       DAG 请求是由一系列算子组成的有向无环图，这些算子在代码中称为 Executors。DAG 请求目前支持两种计算模型：火山模型和向量化模型。在当前的 TiKV master 上，这两种模型并存，但火山模型已被弃用，因此本文将重点介绍向量化计算模型。

       向量化计算模型中，hikaripool源码详解所有算子实现了 BatchExecutor 接口，其核心功能是 get_batch。算子类型包括 TableScan、IndexScan、Selection、Limit、TopN 和 Aggregation 等，它们之间可以任意组合。

       以查询语句“select count(1) from t where age>”为例，展示了如何使用不同算子进行处理。本文仅提供 Coprocessor 的概要介绍，后续将深入分析该模块的源码细节，并欢迎读者提出改进意见。

一文看懂开源许可证

       探究开源许可证的奥秘

       在数字世界中，开源软件犹如璀璨的明珠，其源代码的开放性赋予了使用者无比的创新可能。然而，这种自由并非无限制，而是被一系列许可证条款所规范。我们可以将这些许可证大致分为两大类：宽松自由软件许可和Copyleft。

       宽松自由的翅膀

       Apache、MIT和BSD等许可，就像一把自由的翅膀，赋予开发者广泛的权利。它们鼓励代码共享，赋予用户在不公开源代码的前提下，自由地使用、修改和集成这些软件。Apache License，由Apache软件基金会推出，比如TiDB、TiKV和Chaos Mesh等项目，均采用此许可，它的魅力在于允许商业发行，但前提是你必须尊重原作者的署名和遵守协议条款。

       Copyleft的坚持

       Copyleft，如GPL（GNU General Public License）和LGPL（Lesser General Public License），则坚持"病毒式"的开源理念，要求任何基于这些许可证的衍生作品必须同样开源。GPL的严格要求旨在确保代码的自由传播，而LGPL则允许商业软件利用开源库，但修改后的作品必须遵循LGPL的规则。SSPL（Sleepycat Software Public License）则针对特定场景，如公有云供应商，规定他们对开源作品的回馈要求。

       创新的催化剂

       开源组织如OSI（Open Source Initiative）扮演着守护者的角色，它定义并审核开源的边界，确保软件标记的准确无误。商业产品如是，只要包含开源组件，就必须明确标注，以尊重开源精神。而Creative Commons（CC）协议，主要适用于设计领域，它在分享的自由与限制修改和商业利用之间找到了平衡。

       规则与社区的力量

       参与开源世界，意味着要遵循规则，尊重他人的贡献，共同推动技术进步。比如PingCAP，他们积极维护TiDB社区的健康氛围，使其成为成熟度研究的典范。无论是开源社区还是商业机构，都在这个共享的舞台上，共同书写着创新的历史。

       想了解更多细节？TiDB社区版已等待你的探索，企业版则提供了更为专业的服务。点击链接，深入了解一下这些许可证如何在实际应用中运作，共同塑造一个更加开放和繁荣的技术未来。

       结语：共创开源未来

       开源许可证，既是技术的桥梁，也是创新的催化剂。理解并遵循这些规则，让我们共同推动软件技术的发展，为全球开发者和企业打开无限可能。现在，就让我们携手探索，共同书写开源的辉煌篇章吧！

TiFlash 源码阅读（一） TiFlash 存储层概览

       本系列文章聚焦于 TiFlash，读者需具备基本的 TiDB 知识。TiFlash 是 TiDB HTAP 模式的关键组件，作为 TiKV 的列存扩展，通过 Raft Learner 协议实现异步复制，并提供与 TiKV 相同的快照隔离支持。自 5.0 引入 MPP 后，TiDB 的实时分析场景下计算加速能力得到了增强。

       TiFlash 整体逻辑模块划分如下：通过 Raft Learner Proxy 接入多 Raft 体系，计算层 MPP 在 TiFlash 间进行数据交换，提供更强的分析计算能力。Schema 模块与 TiDB 表结构同步，将 TiKV 同步数据转换为列形式，并写入列存引擎。底层为 DeltaTree 引擎。

       TiFlash 基于 ClickHouse fork，沿用了 ClickHouse 的向量化执行引擎，并加入针对 TiDB 的对接、MySQL 兼容、Raft 协议、集群模式、实时更新列存引擎、MPP 架构等特性。DeltaTree 引擎解决了高频率数据写入、实时更新读性能优化、符合 TiDB 事务模型、支持 MVCC 过滤、数据分片便于分析场景等需求。

       DeltaTree 引擎不同于 MergeTree，具备原生支持高频率写入、列存实时更新下读性能优化、支持 TiDB 事务模型、数据分片便于提供分析特性等优势。MergeTree 引擎存在写入碎片、Scan 时 CPU cache miss 严重、清理过期数据时 compaction 导致性能波动等问题，而 DeltaTree 通过横向分割数据管理、delta-stable 数据组织、PageStorage 存储等设计优化了性能。

       DeltaTree 引擎通过在表内按 handle 列分段管理数据，采用 delta-stable 数据组织，PageStorage 存储小数据块，构建 DeltaIndex 和 Rough Set Index 等组件优化读性能。DeltaIndex 帮助减少 CPU bound 的 merge 操作，Rough Set Index 用于过滤数据块，减少不必要的 IO 操作。

       TiFlash 存储层 DeltaTree 引擎在不同数据量和更新 TPS 下读性能表现优于基于 MergeTree 的实现，提供更稳定、高效的读、写性能。TiFlash 中的 PageStorage、DeltaIndex、Rough Set Index 等组件协同作用，优化数据管理和查询性能。

       DeltaTree 引擎在 TiFlash 内部实现中，通过 PageStorage 存储数据，DeltaIndex 提高读性能，Rough Set Index 优化查询效率，提供了对 HTAP 场景的优化和支持。TiFlash 存储层 DeltaTree 引擎的设计和实现细节将在后续章节中详细展开。