1.Kafka消费者源码：重平衡（1）-初始化与FIND_COORDINATOR
2.部署Kafka监控
3.kafka源码阅读之MacBook Pro M1搭建Kafka2.7版本源码运行环境
4.Kafka Logcleaner源码分析
5.kafka源码Topic的修改创建源码分析(附视频)

Kafka消费者源码：重平衡（1）-初始化与FIND_COORDINATOR

       在Kafka 2.5.2的消费者组中，重平衡是源源码依赖关键，它定义了消费者如何根据订阅关系调整对Topic分区的码修分配。当消费者数量、版本订阅的修改Topic或GroupCoordinator所在的Broker发生变更时，会触发重平衡。源源码依赖手办展示源码

       消费者组状态由GroupState类管理，码修共有五个状态：Empty（无成员）、版本PreparingRebalance（加入中）、修改CompletingRebalance（等待分配）、源源码依赖Stable（已平衡）和Dead（元数据已删除）。码修状态间的版本转换基于预先定义的前置状态。例如，修改从Empty到PreparingRebalance，源源码依赖预示着重平衡的码修开始。

       重平衡过程分为几个步骤，首先是消费者和Broker之间的协调。服务端启动时，GroupCoordinator组件即已就绪，而Consumer通过ConsumerCoordinator与之通信。在启动时，如何让源码运行消费者首先会通过FindCoordinatorRequest找到GroupCoordinator，通过最小负载节点发送请求，然后服务端确定哪个Broker负责协调，如groupId的hash值对consumer_offsets分区数取模确定。

       一旦找到GroupCoordinator，消费者会发送JoinGroupRequest。后续步骤如SYNC_GROUP和HEARTBEAT确保消费者与协调器保持同步。这部分详细内容在后续的文章中会进一步探讨。

部署Kafka监控

       在Kafka部署过程中，监控系统的设置至关重要。本文将简述搭建Kafka监控的实践经验，包括所选工具和环境配置步骤。

       首先，确保Kafka实例在本地部署了三个实例，未使用Docker。监控方案选择了kafka_exporter、Prometheus和Grafana组合，详细选择理由可自行查阅网络资源。kafka_exporter在本地编译部署，因遇到go环境不匹配问题，压力公式源码大全最终选择源码编译，通过git克隆v1.7.0版本，设置goproxy以获取依赖库。编译过程中，对`go mod vendor`指令进行了修改，成功编译出kafka_exporter可执行文件，并针对多个Kafka实例制定了启动命令。

       同时，为了监控系统负载，部署了node-exporter在Docker中，确保其固定IP以方便Prometheus的配置。node-exporter的IP设为..0.2，端口为。

       接下来是Prometheus的部署。首先通过Docker拉取prom/prometheus镜像，配置文件中包含了Prometheus自身、node-exporter（.网段）和kafka_exporter（..0.1）的采集项。使用命令`docker run`启动Prometheus，监听端口，与node-exporter和kafka_exporter通信。倒闭的游戏源码

       Grafana的安装则在另一个目录B中进行，设置了读写权限后通过Docker拉取grafana/grafana镜像。部署时，Grafana容器的IP设为..0.4，监听端口。登录Grafana后，首先添加DataSource，指向Prometheus实例，然后导入官网提供的Linux系统模板（如、），Kafka监控模板（如），以及Prometheus模板（）以设置Dashboard。

       总结，通过这些步骤，成功搭建了Kafka的监控系统，包括本地部署的kafka_exporter、Docker中的node-exporter和Prometheus，以及Grafana用于可视化监控数据。

kafka源码阅读之MacBook Pro M1搭建Kafka2.7版本源码运行环境

       在探索Kafka源码的过程中，决定搭建本地环境进行实际运行，小鱼支付全套源码以辅助理解和注释。由于日常开发中常使用Kafka 2.7版本，选择了在MacBook Pro M1笔记本上搭建此版本的源码环境。搭建过程中，记录了遇到的障碍，方便未来再次搭建时不必从头开始。

       搭建Kafka 2.7源码环境需要准备以下基础环境：

       一、Zulu JDK1.8

       在MacBook Pro M1笔记本上，基本都已安装JDK，版本不同而已。使用的是Zulu JDK1.8版本，通过下载.dmg格式的一键安装，环境自动配置，安装路径通常在 /Library/Java/JavaVirtualMachines。

       二、Scala 2..1

       并未在系统里安装Scala，而是直接利用IDEA。按照Preferences -> Plugins -> Scala安装。选择IDEA的不同Scala JDK版本。

       三、安装Gradle6.6

       通过官网gradle.org/releases/下载Gradle6.6版本。如国内下载速度较慢，可直接从百度网盘下载安装包。安装完成后，解压并放置在目录/Users/helloword/software/gradle-6.6，通过mac终端执行指令配置环境。

       四、Zookeeper3.4.6安装

       直接从百度网盘下载zookeeper-3.4.6.tar.gz包，解压后放置在三台机器的/app目录下。在每个目录中创建data子目录，并建立myid文件，按照特定数字填写。在zoo.cfg文件中进行配置并复制至其他机器。

       五、Kafka2.7源码部署

       从官网下载Kafka 2.7源码，或从百度网盘获取。解压至目录/Users/helloword/software/kafka/kafka-2.7.0-src，并通过Gradle构建环境。在mac终端执行指令，生成gradle-wrapper.jar，配置依赖。将源码导入IDEA，加载Gradle构建的项目。

       六、源码运行

       确保源码运行打印日志，需将log4j.properties复制到core的 resources目录，并在build.gradle中添加log4配置。修改config/server.properties配置，包括zookeeper路径和broker的ip。配置server、consumer、producer三个进程，确保Kafka服务、消费者和生产者能够正常工作。

       整个Kafka 2.7版本源码的本地搭建步骤完成。后续计划撰写系列文章总结阅读源码的经验。关注公众号写代码的朱季谦，获取更多分类归纳的博客。

Kafka Logcleaner源码分析

       Kafka日志保留策略包括按时间/大小和compact两种。Logcleaner遵循compact策略清理日志，只保留最新的消息，当多个消息具有相同key时，只保留最新的一个。

       每个日志由两部分组成：clean和dirty。dirty部分可以进一步划分为cleanable和uncleanable。uncleanable部分不允许清理，包括活跃段和未达到compact延迟时间的段。

       清理过程由后台线程定期执行，选择最脏的日志进行清理，脏度由dirty部分字节数与总字节数的比例决定。清理前，Logcleaner构建一个key->last_offset映射，包含dirty部分的所有消息。清理后，日志文件过滤掉过期消息，并合并较小的连续段为较大文件。

       payload为null的消息被Logcleaner删除，这类消息在topic配置的时间内保留，然后被清理。清理过程需与幂等性和事务性生产者兼容，保留活跃生产者最后一批消息，直到产生新消息或生产者不活跃。只清理提交或终止事物中的消息，未提交事物中的消息不清理。

       Logcleaner通过cleanOrSleep方法启动清理，选择最脏日志，调用clean清理并合并段。在清理前计算tombstone的移除时间，确保在clean部分驻留一定时间后移除。清理过程包括构建offset映射，分组段文件并清理合并。

       Logcleaner的清理逻辑确保了高效和一致的日志管理，助力Kafka系统稳定运行。

kafka源码Topic的创建源码分析(附视频)

       关于Kafka Topic创建的源码分析，可以从kafka-topic.sh脚本的入口开始，它执行了kafka.admin.TopicCommand类。在创建Topic时，主要涉及AdminClientTopicService对象的创建和AdminClientClient创建Topics方法的调用，其中Controller负责处理客户端的CreateTopics请求。

       服务端的处理逻辑在KafkaRequestHandler.run()方法中，通过apis.handle(request)调用对应接口，如KafkaApis.handleCreateTopicsRequest，这个方法会触发adminManager.createTopics()，创建主题并监控其完成状态。创建的Topic配置和分区副本信息会被写入Zookeeper，如Topic配置和Topic的分区副本分配。

       当Controller监听到/brokers/topics/Topic名称的变更后，会触发Broker在磁盘上创建相关Log文件。如果Controller在创建过程中失败，如Controller挂掉，待重新选举后，创建过程会继续，直到Log文件被创建并同步到zk中。

       创建Topic时，zk上会创建特定节点，包括主题配置和分区信息。手动添加或删除/brokers/topics/节点将影响Topic的创建和管理。完整参数可通过sh bin/kafka-topic -help查看。