1.Flink深入浅出：JDBC Connector源码分析
2.Flink DataStream数据转换(2)：keyBy
3.新一代实时数据集成框架 Flink CDC 3.0 —— 核心技术架构解析
4.详细讲讲Flink DataStream和DataSet的码分定义、作用以及使用场景，码分并给出他们的码分不同点对比？
5.Flink介绍-《Fink原理、实战与性能优化》

Flink深入浅出：JDBC Connector源码分析

       大数据开发中，码分数据分析与报表制作是码分日常工作中最常遇到的任务。通常，码分button源码我们通过读取Hive数据来进行计算，码分并将结果保存到数据库中，码分然后通过前端读取数据库来进行报表展示。码分然而，码分使用FlinkSQL可以简化这一过程，码分通过一个SQL语句即可完成整个ETL流程。码分

       在Flink中，码分读取Hive数据并将数据写入数据库是码分常见的需求。本文将重点讲解数据如何写入数据库的码分过程，包括刷写数据库的机制和原理。

       以下是本文将讲解的几个部分，以解答在使用过程中可能产生的疑问：

       1. 表的定义

       2. 定义的表如何找到具体的实现类（如何自定义第三方sink）

       3. 写入数据的机制原理

       （本篇基于1..0源码整理而成）

       1. 表的定义

       Flink官网提供了SQL中定义表的示例，以下以oracle为例：

       定义好这样的表后，就可以使用insert into student执行插入操作了。接下来，我们将探讨其中的技术细节。

       2. 如何找到实现类

       实际上，这一过程涉及到之前分享过的SPI（服务提供者接口），即DriverManager去寻找Driver的过程。在Flink SQL执行时，会通过translate方法将SQL语句转换为对应的Operation，例如insert into xxx中的protobuf使用源码javaxxx会转换为CatalogSinkModifyOperation。这个操作会获取表的信息，从而得到Table对象。如果这个Table对象是CatalogTable，则会进入TableFactoryService.find()方法找到对应的实现类。

       寻找实现类的过程就是SPI的过程。即通过查找路径下所有TableFactory.class的实现类，加载到内存中。这个SPI的定义位于resources下面的META-INFO下，定义接口以及实现类。

       加载到内存后，首先判断是否是TableFactory的实现类，然后检查必要的参数是否满足（如果不满足会抛出异常，很多人在第一次使用Flink SQL注册表时，都会遇到NoMatchingTableFactoryException异常，其实都是因为配置的属性不全或者Jar报不满足找不到对应的TableFactory实现类造成的）。

       找到对应的实现类后，调用对应的createTableSink方法就能创建具体的实现类了。

       3. 工厂模式+创建者模式，创建TableSink

       JDBCTableSourceSinkFactory是JDBC表的具体实现工厂，它实现了stream的sinkfactory。在1..0版本中，它不能在batch模式下使用，但在1.版本中据说会支持。这个类使用了经典的工厂模式，其中createStreamTableSink负责创建真正的Table，基于创建者模式构建JDBCUpsertTableSink。

       创建出TableSink之后，在线投保系统源码就可以使用Flink API，基于DataStream创建一个Sink，并配置对应的并行度。

       4. 消费数据写入数据库

       在消费数据的过程中，底层基于PreparedStatement进行批量提交。需要注意的是提交的时机和机制。

       控制刷写触发的最大数量 'connector.write.flush.max-rows' = ''

       控制定时刷写的时间 'connector.write.flush.interval' = '2s'

       这两个条件先到先触发，这两个参数都是可以通过with()属性配置的。

       JDBCUpsertFunction很简单，主要的工作是包装对应的Format，执行它的open和invoke方法。其中open负责开启连接，invoke方法负责消费每条数据提交。

       接下来，我们来看看关键的format.open()方法：

       接下来就是消费数据，执行提交了

       AppendWriter很简单，只是对PreparedStatement的封装而已

       5. 总结

       通过研究代码，我们应该了解了以下关键问题：

       1. JDBC Sink执行的机制，比如依赖哪些包？（flink-jdbc.jar，这个包提供了JDBCTableSinkFactory的实现）

       2. 如何找到对应的实现？基于SPI服务发现，扫描接口实现类，通过属性过滤，最终确定对应的实现类。

       3. 底层如何提交记录？目前只支持append模式，底层基于PreparedStatement的addbatch+executeBatch批量提交

       4. 数据写入数据库的时机和机制？一方面定时任务定时刷新，另一方面数量超过限制也会触发刷新。

       更多Flink内容参考：

Flink DataStream数据转换(2)：keyBy

       在Flink中，libreelec如何编译源码某些转换操作如join、coGroup、keyBy、groupBy等，需要在元素集合上定义一个关键值。而其他转换操作如reduce、groupReduce、aggregate、windows等则可以在按关键值分组的数据上进行应用。Flink的数据模型基于元素而非键值对，因此无需物理打包数据集为键值对。在数据流中定义的键被视为“虚拟”的，它们是实际数据上的函数，用于指导分组操作。

       分组操作可以按元组的元素位置进行。例如，下面的示例代码演示了如何按元组的一个或多个字段进行分组：

       执行上述代码后，输出结果将显示基于元组字段的分组情况。

       有时，您需要使用字段表达式来定义键。这允许引用嵌套字段并为分组、排序、连接或联合分组定义键，特别是在处理复杂类型如Tuple和POJO时。例如，可以通过字段表达式按成员的性别进行分组：

       执行此程序后，输出结果将按性别对成员进行分组。黑客黑页面源码

       另一种定义键的方法是使用"key selector"函数。这种函数接受单个元素作为输入，并返回该元素的键。返回的键可以是任何类型，可以从确定性计算中得出。例如，下面的示例代码根据成员的年龄将元素分组为成人和未成年人：

       执行此代码后，输出结果将显示基于年龄的分组情况。

新一代实时数据集成框架 Flink CDC 3.0 —— 核心技术架构解析

       Flink CDC 3.0 是一款由阿里云开源的大数据平台发布的实时数据集成框架，它基于数据库日志 CDC（Change Data Capture）技术，结合 Flink 的管道能力与丰富生态，实现高效海量数据实时集成。Flink CDC 从年7月的诞生到年月的3.0版本升级，经历了从1.0到2.0的演进，解决了数据一致性与水平扩展的问题，并在2.0版本中受到广泛好评。然而，随着广泛应用，用户发现通过SQL定义表结构方式的不便、整库同步占用连接多、计算资源消耗大等问题。为了解决这些痛点，Flink CDC 3.0在年月实现了功能落地，提供全增量同步、表结构变更自动同步、整库同步、分库分表同步等高级特性。

       Flink CDC 3.0的核心架构分为四层，其整体架构自顶而下构建。在数据抽象层面，Event接口作为内部处理及传输的数据结构接口，包括ChangeEvent和FlushEvent两种类型。ChangeEvent用于表示表上发生的变更事件，包含变更前和变更后每条记录的字段值，而FlushEvent用于控制数据刷写逻辑。在算子编排方面，FlinkCDC根据数据集成场景定制了Flink DataStream的算子链路，包含Source、Transform、Schema、Route、Partition和Sink六个模块。其中，Source模块负责生产变更事件，而Sink模块则负责将数据写出到外部系统中，并将表结构变更应用到外部系统中。在数据同步场景中，数据生产和消费速率不匹配，因此Partition模块负责分发事件到不同的Sink中。在表结构变更事件处理方面，Schema模块负责阻塞上游数据发放，直到旧版本格式数据刷写完毕。Route模块提供表名映射能力，实现整库同步和分库分表同步功能。

       为了提高数据处理的效率，Flink CDC 3.0对数据格式和算子编排进行了深度定制，实现了表结构变更同步和整库同步支持。未来规划包括在Transform模块中提供更多深度定制需求的满足，支持表结构动态调整和数据过滤能力，以及接入更多主流数据源和先进湖仓存储系统，拓宽上下游数据集成范围，推动与上下游组件的深度融合。

详细讲讲Flink DataStream和DataSet的定义、作用以及使用场景，并给出他们的不同点对比？

       黄老师来解析Flink中的两个核心概念：DataStream和DataSet，它们的定义、作用以及使用场景。

       DataStream就像一条持续流动的河流，代表着动态、无界的实时数据流，适用于实时处理，如实时分析和报警。在DataStream API中，Flink提供了丰富的操作符，如转换、聚合和时间处理，支持事件时间和水印处理，以应对实时数据的挑战。

       相反，DataSet则更像是一个固定的水池，代表静态、有界的批量数据集，适合批处理场景，如数据分析和机器学习。虽然Flink 1.后DataSet API被标记为遗留，但它仍然支持map、filter等基本操作，尤其是对于遗留代码和特定场景。

       两者的区别主要在于数据类型（DataStream处理无界流，DataSet处理有界集）、时间处理能力、状态管理和容错机制。DataStream API的事件时间和容错机制使其在实时处理中更为强大，而DataSet API则更适合批处理的相对简单环境。

       随着Flink的发展，DataStream API逐渐成为主流，因为它能更好地满足实时处理的需求。DataSet API逐渐被视为遗留，主要因为Flink致力于统一处理模型，以简化开发和维护，例如引入Table API/SQL和DataStream API的批处理模式。

       对于新项目和用户，建议优先考虑使用DataStream API或其批处理模式，以适应现代数据处理需求。虽然DataSet API在某些特定情况下仍有其价值，但总体上，Flink社区倾向于统一的API发展路径。

Flink介绍-《Fink原理、实战与性能优化》

       在数据处理的进化版图上，Apache Flink以其独特的魅力脱颖而出，作为一款专为高吞吐量、低延迟和高性能设计的分布式流处理框架，它在实时数据世界中扮演着至关重要的角色。相较于传统的单体架构（集中式存储，维护复杂</）和微服务架构（独立服务，数据仓库繁复</），Flink以Lambda架构和有状态流计算为核心，为我们提供了一种更为高效且灵活的解决方案。

       凭借其卓越的性能，Flink不仅支持实时流处理，还能够无缝整合批量计算，特别是在引入Google Dataflow模型后，它的吞吐量和延迟控制达到了前所未有的高度。Flink的亮点在于其强大的状态管理和分布式快照技术，即使在面对异常情况，也能保证数据处理的正确性和一致性，这是其在竞争激烈的流处理领域的一大亮点。

       与其他框架相比，Flink的独特之处在于其独一无二的集成特性</，它超越了Spark和Storm，支持事件时间窗口计算，确保时序信息的准确。1.4版本引入的状态管理进一步提升了性能，使得处理复杂流传输变得更为灵活。Flink通过轻量级分布式快照机制实现容错，同时利用Save Points技术避免数据丢失，为实时推荐、欺诈检测和数仓分析等关键应用场景提供了强大支持。

       Flink的架构设计精巧，分为API&Libraries、Runtime核心和物理部署三层。API层提供了DataStream和DataSet API，让用户可以方便地进行高级或基础的数据处理。Runtime核心则是分布式计算服务和任务调度的核心驱动力，Task Operator的转换则确保了计算的高效执行。物理部署层面，Flink兼容本地和云环境，适应各种部署需求。整个系统由JobManager（Master）和TaskManager（Worker）构成，通信基于Akka，用户可以提交任务并实时监控运行状态。

       JobManager负责全局的调度和资源管理，而TaskManager则负责任务执行和资源的高效利用，多线程设计进一步提升了CPU的利用率，TaskManager通过资源共享实现更高的性能。Flink的世界，是性能与灵活性的完美结合，等待着你来探索和实践。