皮皮网

1.SQL解析系列(Python)--sqlparse源码
2.MySQL · 源码分析 · Subquery代码分析
3.一文了解数据库 Set 命令源码
4.PostgreSQL 技术内幕（十七）：FDW 实现原理与源码解析
5.Mybatis拼接sql出错及源码解析
6.spark sql源码系列 | json_tuple一定比 get_json_object更高效吗？

SQL解析系列(Python)--sqlparse源码

       sqlparse是码分一个无验证的SQL解析器，它提供了SQL语句解析、码分拆分和格式化的码分能力。

       获取源码请访问：github.com/andialbrecht...

       sqlparse包含三个基本函数：解析、码分拆分和格式化SQL语句。码分

       代码结构清晰，码分源码编辑器做24点游戏分为词法解析、码分语句拆分、码分语法解析和格式化四个部分。码分

       词法解析(tokenize)：将SQL语句分解为词法元素。码分

       语句拆分(sqlparse.split)：将连续的码分SQL语句拆分为独立的语句。

       语法解析(sqlparse.parse)：解析SQL语句的码分语法结构。

       SQL格式化(sqlparse.format)：将SQL语句格式化为更清晰的码分格式。

       实战应用包括：从SELECT中提取表名，码分从CREATE中提取字段定义。码分

       具体实现请参考：github.com/messixukejia...

MySQL · 源码分析 · Subquery代码分析

       MySQL中的子查询源码分析深入探讨

       在了解了MySQL中衍生表的前篇内容后，现在我们将聚焦于条件和投影中嵌套的子查询，这些在MySQL内部是通过Item_subselect来处理的。子查询在SQL中分为相关和非相关两种，MySQL在解析和语义检查后能判断其相关性，并可能在后续优化中调整。integer的源码分析

       所有子查询都属于Item_subselect类的子类，这个类的继承结构展示了MySQL支持的子查询类型和它们的标记。执行方式则由Subquery_strategy枚举决定，总共分为五种可能的策略，尽管优化过程涉及复杂函数，但重点在于理解整体流程。

       MySQL对查询处理分为三个阶段：prepare、optimize和execute。在prepare阶段，从抽象语法树（AST）构建开始，主要针对子查询进行转换，虽涉及规则和复杂函数，但核心思路清晰。在这个阶段，仅留下标记为CANDIDATE_FOR_IN2EXISTS_OR_MAT的子查询，其执行方式在优化阶段决定。

       优化阶段则基于代价估算，选择子查询的执行方式，是物化执行还是EXISTS方式。这个阶段的王者荣耀方框源码逻辑相当丰富，但这里仅关注子查询部分。

       到了execute阶段，执行逻辑相对简单，根据先前的分析，总结了执行子查询的几种方式。总的来说，子查询处理的复杂性高于衍生表，特别是prepare阶段的变换，这为深入源码研究提供了初步框架。

一文了解数据库 Set 命令源码

       在OpenMLDB数据库中，Set命令是SQL语法的一部分，提供了灵活的变量管理。要深入理解Set命令的源码实现，首先需要参考命令行客户端的入口函数，找到与Set语句对应的逻辑计划节点kPlanTypeSet。这部分代码会调用SetVariable函数，根据逻辑计划分析配置，区分系统变量和局部变量。

       系统变量会在底层持久化，影响所有OpenMLDB客户端，BC开源源码其底层实现会在其他相关文档中详细说明。目前仅支持四种配置，对于新增配置，开发者可以考虑添加错误处理。所有设置的全局变量和局部变量都会存储在SQLClusterRouter类的成员变量中，这意味着每个客户端的内存会记录从启动以来的所有变量信息。

       使用Set命令设置变量后，SQL语句会根据内存中的变量进行相应的操作，如自动选择离线或在线模式。用户可以通过"show variables"语句查看当前变量值，但暂不支持"like"子句。有兴趣的程序员可以扩展此功能，相关GitHub issue可在github.com/4paradigm/OpenMLDB/...中找到。

       总的来说，OpenMLDB的变量管理是其强大功能之一，未来将不断扩展SQL功能，以满足更多需求。

PostgreSQL 技术内幕（十七）：FDW 实现原理与源码解析

       FDW，全称为Foreign Data Wrapper，是springboot刷新源码PostgreSQL提供的一种访问外部数据源的机制。它允许用户通过SQL语句访问和操作位于不同数据库系统或非数据库类数据源的外部数据，就像操作本地表一样。以下是从直播内容整理的关于FDW的使用详解、实现原理以及源码解析。

       ### FDW使用详解

       FDW在一定规模的系统中尤为重要，数据仓库往往需要访问外部数据来完成分析和计算。通过FDW，用户可以实现以下场景：

       跨数据库查询：在PostgreSQL数据库中，用户可以直接请求和查询其他PostgreSQL实例，或访问MySQL、Oracle、DB2、SQL Server等主流数据库。

       数据整合：从不同数据源整合数据，如REST API、文件系统、NoSQL数据库、流式系统等。

       数据迁移：高效地将数据从旧系统迁移到新的PostgreSQL数据库中。

       实时数据访问：访问外部实时更新的数据源。

       PostgreSQL支持多种常见的FDW，能够直接访问包括远程PostgreSQL服务器、主流SQL数据库以及NoSQL数据库等多种外部数据源。

       ### FDW实现原理

       FDW的核心组件包括：

       1. **Foreign Data Wrapper (FDW)**：特定于各数据源的库，定义了如何建立与外部数据源的连接、执行查询及处理其他操作。例如，`postgres_fdw`用于连接其他PostgreSQL服务器，`mysql_fdw`专门连接MySQL数据库。

       2. **Foreign Server**：本地PostgreSQL中定义的外部服务器对象，对应实际的远程或非本地数据存储实例。

       3. **User Mapping**：为每个外部服务器设置的用户映射，明确哪些本地用户有权访问，并提供相应的认证信息。

       4. **Foreign Table**：在本地数据库创建的表结构，作为外部数据源中表的映射。对这些外部表发起的SQL查询将被转换并传递给相应的FDW，在外部数据源上执行。

       FDW的实现涉及PostgreSQL内核中的`FdwRoutine`结构体，它定义了外部数据操作的接口。接口函数包括扫描、修改、分析外部表等操作。

       ### FDW源码解析

       FDW支持多种数据类型，并以`Postgres_fdw`为例解析其源码。主要包括定义`FdwRoutine`、访问外部数据源、执行查询、插入、更新和删除操作的逻辑。

       访问外部数据源：通过`postgresBeginForeignScan`阶段初始化并获取连接到远端数据源。

       执行查询：进入`postgresIterateForeignScan`阶段，创建游标迭代器并从其中持续获取数据。

       插入操作：通过`postgresBeginForeignInsert`、`postgresExecForeignInsert`和`postgresEndForeignInsert`阶段来执行插入操作。

       更新/删除操作：遵循与插入操作相似的流程，包括`postgresBeginDirectModify`、`postgresIterateDirectModify`和相应的结束阶段。

       对于更深入的技术细节，建议访问B站观看视频回放，以获取完整的FDW理解和应用指导。

Mybatis拼接sql出错及源码解析

       结论是，Mybatis在拼接SQL时出现意外条件添加，可能是由于别名与参数名冲突导致的。作者猜测，当在foreach循环中设置了别名exemptNo，Mybatis可能误将这个别名与参数关联，即使exemptNo值为空，也会在SQL中添加条件。这个行为实际上是一个潜在的bug，源于Mybatis在处理一次性使用的别名时的内存管理问题。

       深入分析，当在org.apache.ibatis.scripting.xmltags.DynamicSqlSource的getBoundSql方法中设置断点，可以看到exemptNo的空值状态表明该条件不应被添加。进一步在rootSqlNode.apply(context)的applyItem方法中，问题集中在DynamicContext对象的ContextMap上。它在遍历时将别名作为键存储，然而在操作结束后没有及时清理，导致了不必要的参数混淆。

       Mybatis的ContextMap设计用于存储SQL参数和临时键值对，但这里的问题在于，别名被永久性地存储在map中，而不是作为一次性使用的变量。因此，为了避免这类问题，应确保SQL的别名与实际参数名不冲突，以防止Mybatis的内存管理不当。

       总结来说，Mybatis在处理别名时的临时性考虑不足，导致了这个bug，提醒我们在使用Mybatis时，要注意别名的命名规则，以避免意外的SQL拼接错误。

spark sql源码系列 | json_tuple一定比 get_json_object更高效吗？

       对比json_tuple和get_json_object，网上普遍认为json_tuple效率更高。理由是json_tuple仅需解析一次json数据，而get_json_object需多次解析。实际操作中，get_json_object在解析json字符串到jsonObject阶段仅执行一次，而非多次解析。从执行计划角度看，get_json_object更为简洁，而json_tuple涉及udtf函数，其执行计划更为繁重。功能多样性上，get_json_object支持更丰富的路径处理，如正则匹配、嵌套、多层取值等，而json_tuple仅能解析第一层key。在实际使用时，无需盲从效率结论，根据具体需求选择。确保json数据不过长过大，无论使用哪种方法，效率都不会理想。正确理解并合理运用这些函数，对于优化查询性能至关重要。