1.consulmanager部署和使用
2..NET 6+Loki+Grafana实现轻量级日志可视化服务功能
3.通过transmittable-thread-local源码理解线程池线程本地变量传递的码改原理
4.Mac搭建grafana二次开发环境操作教程（图文详解）
5.收藏 Kafka监控组件大全
6.基于Prometheus + Grafana搭建IT监控报警最佳实践(2)

consulmanager部署和使用

       书接上回 渐行渐远：prometheus的安装以及监控指标的配置

       这次主要介绍如何使用consulmanager 去监控各个监控项

       一 consulmanager安装

       github.com/starsliao/Te... #consulmanager项目地址

       consulmanager 是一个开源的项目，现在已经更名为tensuns，码改有兴趣的码改可以自行研究

       要想安装consulmanager，必须先安装下面三个 docker ，码改docker-compase，码改 consul

       1.1 安装consul

       1.1.1 安装consul-基于centos7

       1.1.2 生成uuid

       1.1.3 配置文件设置

       1.1.4 启动consul

       访问方式 ip:

       1.2 安装docker和docker-compase

       1.2.1 安装docker

       1.2.2 安装docker-compase

       二 安装 ConsulManager

       2.1 下载源码

       下载地址 github.com/starsliao/Co...

       目录结构如下：

       2.2 docker-compose.yml 内容

       2.3 启动并访问

       三 配置consulmanager

       3.1 云主机管理

       3.1.1 同步云主机

       云主机管理就是码改仿第一源码网 源码下载可以自动同步云服务器到consulmanager这个上面

       前提是需要你在云账号里面创建access key 和secret key,这个账号还需要有访问主机的权限

       新增云资源

       创建完成之后，你可以手动同步，码改也可以自动同步，码改然后去云主机列表查看，码改是码改否同步过来了

       3.1.2 批量云主机监控

       前提是每天主机需要安装好node-exporter

       选定好指定的组，选择好系统，码改点击生成配置，码改然后把这个配置，码改粘贴到prometheus的码改配置文件中

       进行重启prometheus

       然后进去到prometheus-target里进行查看

       当然如果你的node-exporter的端口不是,怎么办，打开cousul的码改web页面，可以自定义设置

       3.1.3 导入对应的模版

       导入ID：

       详细URL： grafana.com/grafana/das...

       3.1.4 设置告警规则

       3.2 blackbox站点监控设置

       3.2.1. 配置Blackbox_Exporter

       在Web页面点击

       Blackbox 站点监控/Blackbox 配置，点击

       复制配置，如下所示：

       复制配置到 blackbox.yml，清空已有的配置，把复制的内容粘贴进去，重启blackbox_exporter

       3.2.2 配置Prometheus

       在Web页面点击 Blackbox 站点监控/Prometheus 配置，点击复制配置。编辑Prometheus的

       prometheus.yml，把复制的内容追加到最后，reload或重启Prometheus

       3.2.3. 配置Prometheus告警规则

       在Web页面点击

       Blackbox 站点监控/告警规则，点击复制配置。

       编辑Prometheus的配置文件，添加 rules.yml，然后把复制的内容粘贴到rules.yml里面，reload或重启Prometheus。

       然后去prometheus查看告警规则是否生成

       3.2.4. 查看Prometheus

       在Prometheus的Web页面中，点击Status-Targets，能看到新增的Job即表示数据同步到Prometheus。

       3.2.5 新增tcp或者blogs.com/weskynet/p/领取本地安装包，包括源码。

       解压Loki至本地后，根据文档配置文件。注意配置文件中的retention_period应为小时的整数倍。更多Loki配置信息，请参考grafana.com/docs/loki/l页面。

       启动Loki服务，推荐在控制台操作以确保稳定运行。启动命令为：xxx.exe --config.file=配置文件.yaml。若条件允许，您也可将Loki服务挂载到Windows中，方法参考另一篇文章，了解如何挂载Elasticsearch等至Windows服务。

       创建测试案例，使用基于.NET6的生态圈源码webapi服务。在此服务中，引用serilog包，并在appsetrings配置文件中添加日志输出配置，分别输出至控制台与Loki，并配置日志标签用于查询和规则匹配。

       在启动项内注册serilog日志服务，确保自动关联配置文件。在控制器中新增日志写入测试方法，注入日志服务，输出不同类型的日志。

       运行程序后，通过Swagger接口测试日志写入，控制台将显示日志输出。在Grafana中，通过数据源设置连接Loki，配置Loki部署地址（默认为本地），并测试连接成功。接下来，使用Explore菜单进行日志查询，预设查询区间，选择标签与标签值进行搜索，根据时间区间查询对应日志。同时，可以以Json形式查看日志，或进行关键字查询。

       如果您需要配套的安装包和源码，可扫描下方二维码，或搜索公众号Dotnet Dancer，回复Loki获取所有内容。本文至此结束，希望对您的日志管理与分析工作有所帮助。

通过transmittable-thread-local源码理解线程池线程本地变量传递的原理

       最近几周，我投入了大量的时间和精力，完成了UCloud服务和中间件迁移至阿里云的工作，因此没有空闲时间撰写文章。不过，回忆起很早之前对ThreadLocal源码的分析，其中提到了ThreadLocal存在向预先创建的线程中传递变量的局限性。恰好，我的一位前同事，HSBC的技术大牛，提到了团队引入了transmittable-thread-local（TTL）来解决此问题。借此机会，我深入分析了TTL源码，本文将全面分析ThreadLocal和InheritableThreadLocal的局限性，并深入探讨TTL整套框架的实现。如有对线程池和ThreadLocal不熟悉的读者，建议先阅读相关前置文章，马保国源码本篇文章行文较为干硬，字数接近5万字，希望读者耐心阅读。

       在Java中，没有直接的API允许子线程获取父线程的实例。获取父线程实例通常需要通过静态本地方法Thread#currentThread()。同样，为了在子线程中传递共享变量，也常采用类似的方法。然而，这种方式会导致硬编码问题，限制了方法的复用性和灵活性。为了解决这一问题，线程本地变量Thread Local应运而生，其基本原理是通过线程实例访问ThreadLocal.ThreadLocalMap来实现变量的存储与传递。

       ThreadLocal与InheritableThreadLocal之间的区别主要在于控制ThreadLocal.ThreadLocalMap的创建时机和线程实例中对应的属性获取方式。通过分析源码，可以清楚地看到它们之间的联系与区别。对于不熟悉概念的读者，可以尝试通过自定义实现来理解其中的原理与关系。

       ThreadLocal和InheritableThreadLocal的最大局限性在于无法为预先创建的线程实例传递变量。泛线程池Executor体系、TimerTask和ForkJoinPool等通常会预先创建线程，因此无法在这些场景中使用ThreadLocal和InheritableThreadLocal来传递变量。

       TTL提供了更灵活的解决方案，它通过委托机制（代理模式）实现了变量的传递。委托可以基于Micrometer统计任务执行时间并上报至Prometheus，然后通过Grafana进行监控展示。此外，TTL通过字节码增强技术（使用ASM或Javassist等工具）实现了类加载时期替换Runnable、Callable等接口的实现，从而实现了无感知的增强功能。TTL还使用了模板方法模式来实现核心逻辑。

       TTL框架的核心类TransmittableThreadLocal继承自InheritableThreadLocal，通过全局静态变量holder来管理所有TransmittableThreadLocal实例。holder实际上是一个InheritableThreadLocal，用于存储所有线程本地变量的映射，实现变量的全局共享。disableIgnoreNullValueSemantics属性的设置可以影响NULL值的处理方式，影响TTL实例的行为。

       发射器Transmitter是TransmittableThreadLocal的一个公有静态类，提供传输TransmittableThreadLocal实例和注册当前线程变量至其他线程的功能。通过Transmitter的静态方法，可以实现捕获、重放和复原线程本地变量的功能。

       TTL通过TtlRunnable类实现了任务的封装，确保在执行任务时能够捕获和传递线程本地变量。在任务执行前后，桃源码头布局通过capture和restore方法捕获和重放变量，实现异步执行时上下文的传递。

       启用TTL的Agent模块需要通过Java启动参数添加javaagent来激活字节码增强功能。TTL通过Instrumentation回调激发ClassFileTransformer，实现目标类的字节码增强，从而在执行任务时自动完成上下文的捕捉和传递。

       TTL框架提供了一种高效、灵活的方式来解决线程池中线程复用时上下文传递的问题。通过委托机制和字节码增强技术，TTL实现了无入侵地提供线程本地变量传递功能。如果您在业务代码中遇到异步执行时上下文传递的问题，TTL库是一个值得考虑的解决方案。

Mac搭建grafana二次开发环境操作教程（图文详解）

       Grafana是开源的图表数据展示系统，可以配置很多的dashboard，还可以下载别人已经配置好的dashboard。

       这篇博客介绍下如何在mac下搭建grafana的二次开发环境。

一、安装grafana

       首先，我们可以通过brew把grafana安装到系统里，来看一看这个开源系统的功能。

       如果你的brew是直接可用的，就在terminal中直接运行下面的命令，否则，需要先brewupdate一下。

brewinstallgrafana

       装好以后，通过如下命令可以启动grafana

brewservicesstartgrafana

       然后打开localhost:，看到下面的图，就可以了。

       初始账号密码是admin/admin。

       通过下面的命令可以关闭和重启grafana

brewservicesstopgrafanabrewservicesrestartgrafana二、搭建grafana的开发环境

       grafana依赖node和go，需要先安装好node和go。

1、安装node

       我这里的grafana是7.3，需要版本的node

       安装node有两种方式

       如果之前没有装过，直接brewinstallnode就可以了，这样安装的node默认是最新版本，如果需要指定版本，可以在node后通过@来指定安装某个版本。

       通过版本管理神器n来升级

npmin-g//安装node版本管理神器n-V//安装后查看n的版本nlatest//使用或安装最新的官方发布：nstable//使用或安装稳定的正式版本：nlts//使用或安装最新的LTS正式版本：

       安装好node后顺便升级下npm

npminpm@latest-g2、安装golang

       依然通过brew安装go

brewinstallgo//安装golang

       然后查看go的环境变量配置

goenv

       上面的命令默认得到如下信息

GOMODULE=""GOARCH="amd"GOBIN=""GOCACHE="/Users/XXXXX/Library/Caches/go-build"GOENV="/Users/XXXXX/Library/ApplicationSupport/go/env"GOEXE=""GOFLAGS=""GOHOSTARCH="amd"GOHOSTOS="darwin"GOINSECURE=""GOMODCACHE="/Users/XXXXX/go/pkg/mod"GONOPROXY=""GONOSUMDB=""GOOS="darwin"GOPATH="/Users/XXXXX/go"GOPRIVATE=""GOPROXY=""GOROOT="/usr/local/go"GOSUMDB="sum.golang.org"GOTMPDIR=""GOTOOLDIR="/usr/local/go/pkg/tool/darwin_amd"GCCGO="gccgo"AR="ar"CC="clang"CXX="clang++"CGO_ENABLED="1"GOMOD=""CGO_CFLAGS="-g-O2"CGO_CPPFLAGS=""CGO_CXXFLAGS="-g-O2"CGO_FFLAGS="-g-O2"CGO_LDFLAGS="-g-O2"PKG_CONFIG="pkg-config"GOGCCFLAGS="-fPIC-m-pthread-fno-caret-diagnostics-Qunused-arguments-fmessage-length=0-fdebug-prefix-map=/var/folders/3m/xp_vx4jj3lh8chqq5tq_dwgn/T/go-build=/tmp/go-build-gno-record-gcc-switches-fno-common"

       注意GOPATH地址，在"/Users/XXXXX/go"下，其中XXXXX是我的用户名。但是在XXXXX下是没有go这个文件夹，需要我们自己建立。

       假如我们想写一个go的helloworld，就需要把这个程序放到go目录下。

       假如想要修改GOPATH也是客服系统php源码可以的。用如下命令：

vim~/.bash_profile

       添加如下代码：exportGOPATH="XXXXXXXXXX"然后快捷键shift+zz关闭文件

       这时候，在terminal中输入echo$GOPATH，就可以看到刚刚设置的GOPATH了。

       到这一步，go就算安装到我们的电脑里了。

3、下载grafana的源代码

       由于grafana是开源的，因此代码托管在github上，地址：makerun

       到这里，grafana的二次开发环境就搭建好了。

作者：晴天同学

收藏 Kafka监控组件大全

       本文概述了用于监控Kafka系统的多种组件，包括Burrow、Telegraf、Grafana以及一些其他工具，如Kafka Manager、Kafka Eagle、Confluent Control Center和Kafka Offset Monitor。以下对这些工具进行了简要介绍。

       Burrow是一个用于监控Kafka的组件，由Kafka社区的贡献者编写，主要关注于监控消费者端的情况。它使用Go语言编写，功能强大，但用户界面不提供，可通过GitHub获取二进制文件进行安装。

       Telegraf是一个数据收集工具，与Burrow结合使用，用于收集Kafka监控数据，并将其存储到InfluxDB中，以便在Grafana中进行可视化展示。

       Grafana是一个强大的数据可视化工具，允许用户创建仪表板，以直观地显示从Burrow收集的监控数据。通过配置Grafana，可以设置变量和图表，过滤集群并显示关键指标，如消费者滞后度、分区状态等。

       Kafka Manager是一个受欢迎的监控组件，使用Scala编写，提供源码下载。它支持管理多个Kafka集群、副本分配、创建和管理Topic等功能，但编译过程较为复杂，且在处理大型集群时资源消耗大。

       Kafka Eagle是一个由国人开发的监控工具，以其美观的界面和强大的数据展现能力受到推崇。它支持权限报警和多种报警方式，如钉钉、微信和邮件，还具备使用ksql查询数据的功能。

       Confluent Control Center是一个功能齐全的Kafka监控框架，集成了多种监控和管理功能，但需购买Confluent企业版才能使用。官方文档提供了快速启动指南，但安装过程较为繁琐，需要引入特定的Kafka版本及其相关服务。

       Kafka Monitor和Kafka Offset Monitor被认为是监控组件中的“炮灰”，具体信息不详。

       综上所述，这些组件提供了从不同角度监控Kafka系统的能力，包括消费者监控、资源管理、性能分析和数据可视化等。选择合适的监控工具时，需要考虑功能需求、资源消耗和集成难度等因素。

基于Prometheus + Grafana搭建IT监控报警最佳实践(2)

       见字如面，大家好，我是小斐。延续前文，本文将深入探讨Prometheus和Grafana的监控体系。

       首先，我们需要打开Prometheus和Grafana进行操作，访问地址分别为：...:/ 和 ...:/。

       以node_exporter数据采集器为例，先确保其已安装于需要监控的主机。若要获取...主机的状态数据，需在该主机安装node_exporter采集器。

       在prometheus.yml中添加需要抓取的目标源信息，具体操作为：在scrape_configs下添加job_name，指定静态目标，添加...:目标。

       配置文件配置完成后，由于是静态的，需要重新加载配置文件，重启Prometheus以生效。

       在targets中查看是否已抓取到目标，根据上图可见，...的主机节点数据已抓取到。在Prometheus中验证数据正确性，点击http://...:/metrics 可查看抓取的所有数据。

       查看数据信息，输入node_memory_MemTotal_bytes查询该主机内存数据是否正确，可以看到G总内存，与我本机内存相符，说明数据正确。

       至此，我们可以确定数据抓取是成功的。

       数据生成大屏数据UI，展示放在Grafana中，打开Grafana：http://...:/，点击数据源：关联Prometheus数据源。

       输入Prometheus的地址：http://...:，下载Grafana的面板，json模版可在Grafana官网模版库中找到。在此，我选择了一个模版，具体链接为：Linux主机详情 | Grafana Labs。

       添加模版：点击import，导入下载下来的json文件。

       或者根据ID来加载。如果对面板数据和展示的风格不适用，可单独编辑变量和数据查询语句，关于Grafana的变量和数据查询语句后续单独开篇说明，在此只采用通用的模版展示数据。

       关于SNMP数据采集，我们可以通过SNMP协议来监控交换机、路由器等网络硬件设备。在一台Linux主机上，我们可以使用snmpwalk命令来访问设备通过SNMP协议暴露的数据。

       简单查看后，我们需要长期监控，这个时候就要借助SNMP Exporter这个工具了。SNMP Exporter是Prometheus开源的一个支持SNMP协议的采集器。

       下载docker image使用如下命令，使用中请切换对应的版本。如果使用二进制文件部署，下载地址如下。

       对于SNMP Exporter的使用来说，配置文件比较重要，配置文件中根据硬件的MIB文件生成了OID的映射关系。以Cisco交换机为例，在官方GitHub上下载最新的snmp.yml文件。

       关于采集的监控项是在walk字段下，如果要新增监控项，写在walk项下。我新增了交换机的CPU和内存信息。

       在Linux系统中使用Docker来运行SNMP Exporter可以使用如下脚本。

       在Linux系统部署二进制文件，使用系统的Systemd来控制服务启停，系统服务文件可以这么写。该脚本源自官方提供的脚本，相比于官方脚本增加了SNMP Exporter运行端口的指定。

       运行好以后，我们可以访问http://localhost:来查看启动的SNMP Exporter，页面上会显示Target、Module、Submit、Config这几个选项和按钮。

       在Target中填写交换机的地址，Module里选择对应的模块，然后点击Submit，这样可以查到对应的监控指标，来验证采集是否成功。

       target可以填写需要采集的交换机IP，模块就是snmp.yml文件中命名的模块。

       点击Config会显示当前snmp.yml的配置内容。

       如果上面验证没有问题，那么我们就可以配置Prometheus进行采集了。

       配置好Prometheus以后启动Prometheus服务，就可以查到Cisco交换机的监控信息了。

       接下来就Prometheus配置告警规则，Grafana进行画图了。这些操作和其他组件并无区别，就不再赘述。

       关于手动生成snmp.yml配置文件，当官方配置里没有支持某些设备时，我们需要通过MIB文件来自己生成配置文件。

       以华为交换机为例，在单独的CentOS7.9的一台虚拟机中部署snmp_exporter，在这里我以源码编译部署。

       在此我贴出generator.yml文件的模版：模块中，if_mib是指思科模块提供公共模块，HZHUAWEI是我自定义的模块名，根据walk下的OID和变量下的mib库文件路径生成snmp.yml配置文件，然后根据snmp.yml配置文件采集交换机信息。

       generator.yml文件格式说明：参考官网。

       这次我贴一份比较完整的snmpv3版本的模版：参考网络上，后续我内部的完整模版贴出来，形成最佳实践。

       主要的消耗时间就是想清楚需要采集的交换机监控指标信息，并到官网找到OID，贴到generator.yml文件中，最后执行./generator generate命令遍历OID形成snmp.yml配置文件，启动snmp_exporter时指定新形成的snmp.yml文件路径。

       启动后在浏览器中，打开http://...5:/。

       在此需要说明下，交换机需要开启snmp使能。如内部交换机比较多，可采用python或者ansible批量部署snmp使能，python这块可学习下@弈心 @朱嘉盛老哥的教程，上手快并通俗易懂，ansible后续我会单独出一套针对华为设备的教程，可关注下。

       一般情况下，交换机都是有多台，甚至几百上千台，在如此多的设备需要监控采集数据，需要指定不同模块和不同配置文件进行加载采集的，下面简单介绍下多机器部署采集。

       编辑prometheus.yml文件，snmp_device.yml的内容参照如下格式即可。我在下面的示例中添加了architecture与model等变量，这些变量Prometheus获取目标信息时，会作为目标的标签与目标绑定。

       重启服务器或重加载配置文件即可，后续贴出我的实际配置文件。

       此篇到此结束，下篇重点说明配置文件细节和我目前实践的配置文件讲解。

java后端如何对接SNMP\IPMI\syslog常用底层协议

       岗位职责

       1、负责监控系统的研发以及平台工具建设；

       2、承担监控系统开发任务，保证开发质量和效率；

       3、优化代码架构，实施技术改进；

       4、独立设计关键系统模块并实施；

       5、快速响应并定位解决线上问题；

       6、参与数据中心基础元数据管理系统的开发，实现资源线上全生命周期管理。

       岗位要求

       1、大专及以上学历，有数据中心DCM相关工作经验者优先；

       2、精通Java，熟悉Spring、Mybatis、SpringMvc、SpringBoot框架；

       3、3年以上主流运维工具使用和开发经验，了解Zabbix，Prometheus，Nagios等；

       4、具有监控系统开发经验，熟悉SNMP、IPMI、syslog等底层协议；

       5、掌握MySQL、Redis、Mongodb、Polardb等数据存储技术；

       6、熟悉Promethus、Grafana、Skywalking等开源组件，对源码有深入了解者优先；

       7、具备良好的编码习惯，熟悉面向对象编程；

       8、了解Docker、K8S原理，有实际应用经验者优先；

       9、具备学习能力、团队协作能力，自我驱动能力强，抗压能力佳，团队精神强。

       企业简介

       专注IT基础架构和信息安全领域，提供从方案设计、硬件交付、部署实施到售后巡检的全面服务。

       企业规模

       全国四地五中心，超人的团队，连续九年的营收增长。

       业务范围

       与多家知名厂家合作，提供计算、存储、网络、安全领域解决方案。

       技术团队

       拥有行业认证的技术工程师，实行标准化管理，确保技术服务的质量。

       服务案例

       服务过+企事业单位，涵盖制造业、互联网、高新技术企业、高等院校等。

       企业使命

       简化并确保数字化转型的顺利进行。

       核心价值观

       分享、尊重、共进、卓越。