皮皮网

1.MQTT Broker 选型
2.Flink CDC：基于 Apache Flink 的流式数据集成框架

MQTT Broker 选型

       MQTT Broker选型

       在构建分布式系统时，选择合适的MQTT Broker至关重要，它负责接收发布者发布的消息并将其分发给不同的订阅者。市面上有许多MQTT Broker可供选择，以下是一些常用选项的对比与分析。

       Mosquitto

       Mosquitto是涂鸦跳跃java源码由Eclipse出品的开源MQTT Broker，基于C/C++语言编写，当前版本为1.5.8。其特点包括支持MQTT 3.1/3.1.1协议，但性能上存在一些限制，如内存优化、多线程的锁机制等。它适合运行在低功耗设备上，如嵌入式传感器、手机和微处理器，但不适用于大规模云服务。官方文档显示其理论支持约万连接，实际使用中还需根据具体情况进行评估。

       EMQ (emqttd)

       EMQ，扫描电脑端口源码一款国人开发的开源MQTT Broker，目前版本为2.0和3.0，2.0版本支持本地共享订阅，3.0版本新增集群共享订阅功能。EMQ具有完整QoS支持、单节点万连接能力、分布式集群支持、多种验证插件（如LDAP、MySQL、PostgreSQL等）以及API、Web监控界面等特性。官方宣称支持MQTT 3.1、3.1.1和5.0版本，并在性能上做了优化。然而，开源版本不支持服务器内部消息持久化，这是其一个显著限制。

       HiveMQ

       HiveMQ是免授权源码主机一款企业级MQTT Broker，使用Java编写，功能丰富，支持MQTT 3.1、3.1.1和5.0版本，完整QoS支持，分布式集群，持久化支持，流量控制，IPv6支持等。其唯一限制在于高昂的费用，没有公开源码供参考。集群基于Jgroups，数据同步通过自定义一致性哈希和VectorClock实现。多线程和并发控制使用Google的guava库，代码质量高。

       MqttWk

       MqttWk是一个基于nutzboot、netty、redis和kafka实现的平安证券指标源码MQTT服务开源Broker，代码简洁易懂。它支持MQTT和Websocket连接方式，集群功能和消息分发重试，但存在一些限制，如消息队列非队列结构、消息分发重试机制较差、主题限制等。它是上生产的项目，经历过2万设备连接的考验。

       Jmqtt

       Jmqtt是一个基于Java的开源MQTT Broker，对现有开源Broker进行了优化，特别是在CONNECT处理和Session过期管理方面。支持MQTT和Websocket连接方式，使用RocksDB进行本地存储，但不支持集群和SSL。

       Moquette

       Moquette是一个功能齐全的Java编写的开源MQTT Broker，提供完整的QoS服务和认证方式，支持多种持久化存储。福星彩指标源码然而，0.版本中存在内存泄漏问题，官方修复后发布为irubant/moquette。其集群功能仅使用Hazelcast作为消息总线，不支持共享订阅。

       综上所述，选择合适的MQTT Broker需考虑应用的具体需求，包括连接数量、协议版本、性能要求、集群支持、消息持久化、安全认证等因素。在选择时，应充分评估各Broker的特性和限制，以满足实际应用场景的需要。

Flink CDC：基于 Apache Flink 的流式数据集成框架

       摘要：本文整理自阿里云 Flink SQL 团队研发工程师于喜千（yux）在 SECon 全球软件工程技术大会中数据集成专场沙龙的分享。内容主要为以下四部分： 1. Flink CDC 开源社区介绍； 2. Flink CDC 的演进历史； 3. Flink CDC 3.x 核心特性解读； 4. 基于Flink CDC 的实时数据集成实践。

       1. **Flink CDC 开源社区介绍

**

        - **1.1 Flink CDC 的演进历史

**

        - Flink CDC 从 GitHub 开源社区开始，于 年 7 月在 Ververica 公司的 GitHub 仓库下以 Apache 2.0 协议开放源代码。初期主要支持从 MySQL 和 PG SQL 数据库捕获变化数据。2.0 版本增强了运行效率、稳定性和故障恢复机制，并扩展了源数据库支持范围至 Oracle、MongoDB 实时数据抽取。

        - 年 月发布的 CDC 3.0 版本引入了 YAML pipeline 作业，使其成为独立的端到端数据集成框架，通过简化语法提供更便捷的数据集成作业描述。

        - **1.2 Flink CDC 社区现状

**

        - CDC 作为 Flink 的一个子项目，于 年初正式加入 Apache 软件基金会，遵循 ASF 标准进行迭代开发。截至最新版本 3.1.1，累计超过 名贡献者提交了 余次代码提交，GitHub 收获超过 颗 star。

        - 社区生态多元，GitHub Top 代码贡献者来自 家公司，覆盖 MongoDB、Oracle、Db2、OceanBase 等连接器及 Pipeline Transform 等核心功能。社区通过多种渠道保持与用户沟通，如钉钉群、邮件列表和 Slack 频道。

       2. **Flink CDC 的演进历史

**

        - **2.1 CDC 技术简介

**

        - CDC 技术专注于实时监控数据变更，并将变化记录实时写入数据流，用于数据同步、分发和加载到数据仓库或数据湖。技术包括 Query-based CDC 和 Log-based CDC，后者通过监听数据库日志来实现低延迟变化捕获，减轻数据库压力，确保数据处理一致性。

        - **2.2 早期 CDC 技术局限

**

        - 早期实现存在实用性问题，如依赖数据库查询、并发处理和状态管理的复杂性，以及对数据库性能的高要求。

        - **2.3 Flink CDC 接入增量快照框架

**

        - Flink CDC 2.0 引入增量快照算法，支持任意多并发快照读取，无需数据库加锁，实现故障恢复。通过 Netflix DBlog 论文中的无锁快照算法，实现了高效并发处理。

        - **2.4 Flink CDC 增强

**

        - 引入 SplitEnumerator 和 Reader 架构，实现数据源的逻辑划分和并发读取，增强了处理效率和吞吐量。支持 Schema Evolution，允许在不重启作业的情况下处理表结构变更，提高了作业的稳定性和维护性。

       3. **Flink CDC 3.0 核心特性解读

**

        - **3.1 Flink CDC 2.x 版本回顾

**

        - CDC 2.x 版本提供 SQL 和 Java API，但缺乏直观的 YAML API 和高级进阶能力支持。

        - **3.2 Flink CDC 3.0 设计目标

**

        - 3.0 版本引入 YAML API，提供端到端数据集成流程描述。支持 Schema Evolution、Transform 和路由功能，增强数据处理灵活性。

        - **3.3 Flink CDC 3.0 核心架构

**

        - 采用无状态设计，简化部署和运维。分离连接层，保留对 Flink 生态系统的兼容性，支持多样化的部署架构和集群环境。

        - **3.4 Flink CDC 3.0 API 设计

**

        - YAML API 提供直观的数据集成任务配置，支持转换、过滤、路由等高级功能，简化了开发和配置流程。

        - **3.5 Flink CDC 3.0 Schema Evolution 功能

**

        - 提供了在不重启作业的情况下处理表结构变更的机制，确保数据处理的一致性和稳定性。

       4. **基于 Flink CDC 的实时数据集成实践

**

        - **4.1 实例：MySQL 到 Kafka 实时传输

**

        - Flink CDC 3.0 内建 Kafka 输出连接器，简化了 MySQL 数据至 Kafka 的实时传输过程，无需额外基础设施配置。

        - **4.2 实时数据集成实践

**

        - Flink CDC 3.0 支持模式进化、列操作和丰富的内置函数，提供了高度可定制的预处理能力，提升数据处理的灵活性与效率。

       总结：Flink CDC 是一个高效、易用的实时数据集成框架，通过不断演进优化，满足了数据同步、分发和加载到数据仓库或数据湖的需求。社区活跃，支持多渠道沟通，鼓励代码贡献和用户参与，是实时数据处理领域的有力工具。