皮皮网

1.Flink Checkpoint 问题排查实用指南
2.flinkcdc 3.0尝鲜

Flink Checkpoint 问题排查实用指南

       文章内容摘要：本文提供了Flink中Checkpoint问题排查的实用指南，包括Checkpoint失败和慢的情况分析，以及可能的原因和排查步骤。通过理解Checkpoint流程，我们可以针对不同异常情况采取针对性的排查，如Checkpoint Decline（包括Checkpoint Cancel）、ai还原源码Checkpoint Expire（超时失败）和Checkpoint慢的几个原因，如Source Trigger Checkpoint慢、增量Checkpoint使用、作业反压或数据倾斜、barrier对齐问题等。最后，作者建议在遇到问题时逐步定位和调整，淘宝关注店铺源码必要时调整日志级别以获取更多详细信息。

flinkcdc 3.0尝鲜

       本文旨在全面体验FlinkCDC 3.0，涉及搭建环境、数据同步、从检查点重启同步任务等多个步骤。内容主要包括以下部分：

       搭建Flink环境（Standalone模式）：下载Flink 1..0，建材公司网站源码解压后修改checkpoint时间间隔为3秒，启动并访问页面.0.0.1:。

       搭建Doris环境：使用docker compose搭建Doris集群，启动并验证成功。

       准备MySQL环境及测试数据：使用本机MySQL建测试库及测试表，初始化插入测试数据。超级人脉源码商城

       配置容器路由转发：解决通过容器IP访问问题，安装路由转发镜像，重启容器完成路由转发。

       准备依赖包：下载flinkcdc 3.0.0-bin.tar.gz及连接器依赖包至flink目录下，解压并配置FLINK_HOME环境变量。

       数据同步整库同步：编写yaml文件，js解析网页源码启动任务，查看页面数据同步效果，包括新增、更新、删除数据同步情况。总结同步规则：新增数据、新增字段、修改数据实时同步到Doris，删除数据在修复后正常同步，修改字段、删除字段、删除表不被同步。

       实现分表合一：使用flinkcdc 3.0新增路由功能，配置route.yaml，完成数据分表到Doris的库表映射，创建Doris端ods库，启动任务，测试数据同步效果。

       从检查点恢复任务并新增分表：修改flink-conf以保留检查点，启动任务，新增表后cancel任务，从检查点重启，数据正常同步。

       参考资源：基于Flink CDC 3.0构建MySQL到Doris的Streaming ELT；vm.max_map_count参数详解。