1.Alertmanager逻辑和代码分析
2.prometheus的rules文件
3.初识Alertmanager
4.Prometheus
5.手把手教你实现Prometheus通过企业微信告警
6.技术干货|Prometheus告警及告警规则

Alertmanager逻辑和代码分析

       构建一个全面的监控体系需要一系列关键功能。首先是数据采集，通常通过xxx_export实现，其次数据抓取由prometheus完成，数据存储则依托于prometheus或cortex。规则检测和生成告警则由prometheus或cortex.ruler承担，通达信主力风向源码告警处理则由alertmanager负责，最后，告警通知的实现则需要根据业务和管理体系进行个性化定制。

       Alertmanager的核心功能之一是告警处理，包括聚合、抑制、屏蔽和路由。告警数据由prometheus或cortex.ruler产生，通常由一系列键值对组成，包括labels和annotations。labels代表了告警的关键信息，是后续处理的基础；而annotations则包含了用户自定义的附加信息，如告警概述、详述和当前值。

       在接收到告警信息后，Alertmanager开始进行后续处理，kubeapiserver源码所有处理都基于labels。告警路由采用基于路由树的方式，类似服务器中的路由表，依据的是告警labels和路由labels。每个路由节点对应不同的接收人，而默认路由则是根路由。路由的匹配遵循配置文件中的顺序，通常建议按最长前缀匹配生成。

       告警聚合是另一个关键功能，它能有效减少告警风暴，通过在路由之后配置特定的聚合labels，如按产品、集群、团队等进行聚合，可实现更有序的管理。

       告警抑制指的是在发生高等级告警时自动抑制低等级告警的发送，直到高等级告警恢复。常见场景是磁盘使用率告警，当使用率超过一定阈值时，发送警告，达到更高阈值时则发送严重警告。sdio源码告警抑制基于labels，但支持的是全局而非特定路由的配置，且只支持静态labels。对于此设计的两个问题，即无法记录屏蔽的告警和屏蔽后即使告警恢复也无法发送通知，原生alertmanager存在局限性。为解决这些问题，进行了改造，使屏蔽的告警能够继续发送，但会添加特殊标记，以便记录和捕捉恢复情况。

       告警发送是告警系统中的最后一个处理环节，通常基于webhook设计，以适应不同的公司需求。Alertmanager的核心组件包括API、Alerts接口、Inhibitor、Dispatcher等。API用于接收、验证和存储alert信息，Alerts接口用于维护当前报警的delve源码核心操作。Inhibitor和Dispatcher则负责抑制、屏蔽、集群通知、通知、重试等后续步骤，以及整合所有功能和维护运行时信息。

prometheus的rules文件

       发送警报通知

       Prometheus可以周期性的发送

       关于警报状态的信息到Alertmanager实例，

       然后Alertmanager调度来发送正确的通知。

       该Alertmanager可以通过

       -alertmanager.url命令行flag来配置。

初识Alertmanager

       本文主要介绍Alertmanager的基本概念、主要功能、配置解析、路由规则、告警通知以及计划内维护暂停告警等内容。

       Alertmanager是由Prometheus社区开发的一个独立组件，其主要作用是管理和路由警报通知，确保警报以可靠的方式发送到相应的接收者，进行去重和聚合等操作。Prometheus监控系统中的警报规则将警报发送到Alertmanager，而Alertmanager则负责处理并发送通知给接收者。

       在设置警报和通知时，appinventer源码主要有以下步骤：首先，通过HTTP协议，Prometheus服务器将警报通知发送给Alertmanager；然后，Alertmanager根据接收者配置和规则，将警报通知发送到相应的接收者。配置文件中的主要部分包括五大块，灵活地自定义各种通知和路由规则。

       路由规则的配置在Alertmanager配置文件中非常重要，它允许根据分组将告警发送给对应的人或小组，例如，可以根据job、alertname或其他标签进行分组。配置文件中包含顶级配置的route入口、分组字段group_by、子路由routes等。

       告警通知可以通过多种方式实现，包括邮箱、待命通知系统和聊天平台等。在邮箱通知部分，需在邮箱中进行相应设置，包括开启SMTP协议、配置告警模板、添加接收者和分组等。配置完成后，可以观察到已存在告警邮件。同时，Alertmanager提供了模板功能，便于阅读自定义模板，通过添加告警模板、配置接收器和发送间隔来实现。

       为了在计划内维护期间暂停告警通知，Alertmanager提供了暂停告警的功能。在维护期间，只需在Alertmanager界面中针对特定的告警分组进行操作，选择“+”然后点击“Silence”，填写相关信息并创建暂停告警的规则。完成设置后，该告警分组将不再显示在主界面，从而暂停了告警通知。

       通过以上介绍，Alertmanager为Prometheus监控系统提供了强大的警报管理和通知功能，帮助监控系统更有效地处理和发送告警通知，确保关键问题能及时得到关注和处理。

Prometheus

        Prometheus是一个开源系统监控和报警工具包，具有活跃的生态系统。是一个多维数据模型，其中的时间序列数据由指标名称和键/值对识别。它不依赖分布式存储，单个服务器节点是自治的。通过一个中间网关支持推送时间序列，可以通过服务发现或静态配置来发现目标，支持多种模式的图表和仪表盘制作。

        Prometheus具体架构图如下：

        Prometheus 直接或通过中介推送网关从检测的作业中抓取指标，用于短期作业。 它将所有抓取的样本存储在本地，并对这些数据运行规则，以从现有数据聚合和记录新的时间序列或生成警报。 Grafana 或其他 API 使用者可用于可视化收集的数据。

        --config.file="prometheus.yml"Prometheus配置文件路径。

        --web.listen-address="0.0.0.0:"用于监听UI、API和遥测的地址。

        --web.config.file=""[EXPERIMENTAL] 可以启用TLS或认证的配置文件的路径。

        --web.read-timeout=5m超时读取请求和关闭空闲连接之前的最大持续时间。

        --web.max-connections=最大同时连接数。

        --web.external-url=<URL>外部可访问Prometheus所在的URL（例如，如果Prometheus通过反向代理提供服务）。用于生成返回到Prometheus本身的相对和绝对链接。如果URL有路径部分，它将用于为Prometheus服务的所有HTTP端点添加前缀。如果省略，将自动派生相关的URL组件。

        --web.route-prefix=<path>Web端点的内部路线的前缀。默认为-web.external-url的路径。

        --web.user-assets=<path>静态资源目录的路径，位于 /user。

        --web.enable-lifecycle通过HTTP请求启用关闭和重新加载。

        --web.enable-admin-api启用管理控制行动的API端点。

        --web.console.templates="consoles"控制台模板目录的路径，位于/consoles。

        --web.console.libraries="console_libraries"控制台库目录的路径。

        --storage.tsdb.path="data/"指标存储的基本路径。仅用于server模式。

        --storage.tsdb.retention.time= 样本在储存中保留多长时间。设置此标志后，它会覆盖“storage.tsdb.retention”。如果此标志、“storage.tsdb.retention”或“storage.tsdb.retention.size”均未设置，则保留时间默认为d。支持的单位：y、w、d、h、m、s、ms。仅用于server模式。

        --storage.tsdb.retention.size= 块存储的最大字节数。需要一个单位，支持的单位：B、KB、MB、GB、TB、PB、EB。例如：“MB”。仅用于server模式。

        --storage.tsdb.no-lockfile不在数据目录中创建锁文件。仅用于server模式。

        --storage.tsdb.allow-overlapping-blocks允许重叠块，从而启用垂直压缩和垂直查询合并。仅用于服务器模式。

        --storage.agent.path="data-agent/"指标存储的基本路径。仅用于agent模式。

        --storage.agent.wal-compression压缩代理WAL。仅用于agent模式。

        --storage.agent.retention.min-time=当WAL被截断时，样本在被强行删除之前的最小年龄，仅用于agent模式。

        --storage.agent.retention.max-time=当WAL被截断时，样本在被强行删除之前的最大年龄，仅用于agent模式。

        --storage.agent.no-lockfile不在数据目录中创建锁文件。仅用于agent模式。

        --storage.remote.flush-deadline=<duration>在关闭或重新加载配置时等待刷新样本的时间。

        --storage.remote.read-sample-limit=5e7在单个查询中通过远程读取接口返回的最大样本总数。 0 表示没有限制。对于流式响应类型，将忽略此限制。仅用于server模式。

        --storage.remote.read-concurrent-limit=并发远程读取调用的最大数量。 0 表示没有限制。仅用于server模式。

        --rules.alert.for-outage-tolerance=1h为恢复“for”警报状态而容忍Prometheus中断的最长时间。仅用于server模式。

        --rules.alert.for-grace-period=m警报和恢复“for”状态之间的最短持续时间。这仅适用于配置的“for”时间大于宽限期的警报。仅用于server模式。

        --rules.alert.resend-delay=1m在向 Alertmanager 重新发送警报之前等待的最短时间。仅用于server模式。

        --alertmanager.notification-queue-capacity=等待Alertmanager通知的队列容量。仅用于server模式。

        --query.lookback-delta=5m在表达式评估和联合期间，检索指标的最长回溯持续时间。仅用于server模式。

        --query.timeout=2m查询在中止之前可能需要的最长时间。仅用于server模式。

        --query.max-concurrency=并发执行的最大查询数。仅用于server模式。

        --query.max-samples=单个查询可以加载到内存中的最大样本数。请注意，如果查询尝试将比这更多的样本加载到内存中，查询将失败，因此这也限制了查询可以返回的样本数量。仅用于server模式。

        --enable-feature=逗号分隔的要启用的功能名称。有效选项：agent、exemplar-storage、expand-external-labels、memory-snapshot-on-shutdown、promql-at-modifier、promql-negative-offset、remote-write-receiver。extra-scrape-metrics、new-service-discovery-manager。

        --log.level=info只记录给定严重程度或以上的信息。其中之一：[debug, info, warn, error]。

        --log.format=logfmt日志信息的输出格式。其中之一：[logfmt, json]。

        通用占位符定义如下：

        全局配置区域：

        scrape_config部分指定了一组描述如何抓取它们的目标和参数，目标可以通过static_configs参数静态配置或使用支持的服务发现机制之一动态发现。

        Prometheus自身支持basic验证和TLS（将来可能会改变），也可以通过nginx开启basic验证。

        Exporter将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server，Prometheus Server通过访问该Exporter提供的Endpoint端点，即可获取到需要采集的监控数据。

        一般来说可以将Exporter分为2类：

        Prometheus UI提供了快速验证PromQL以及临时可视化支持的能力，而在大多数场景下引入监控系统通常还需要构建可以长期使用的监控数据可视化面板（Dashboard）。这时用户可以考虑使用第三方的可视化工具如Grafana，Grafana是一个开源的可视化平台，并且提供了对Prometheus的完整支持。

        在Prometheus Server中支持基于PromQL创建告警规则，如果满足PromQL定义的规则，则会产生一条告警，而告警的后续处理流程则由AlertManager进行管理。在AlertManager中我们可以与邮件，Slack等等内置的通知方式进行集成，也可以通过Webhook自定义告警处理方式。AlertManager即Prometheus体系中的告警处理中心。

        Alertmanager 处理客户端应用程序（例如 Prometheus 服务器）发送的警报。 它负责对它们进行重复数据删除、分组和路由到正确的接收器集成，例如Email、PagerDuty 或 OpsGenie。 它还负责警报的静音和抑制。

        报警全家桶 /feiyu/PrometheusAlert

手把手教你实现Prometheus通过企业微信告警

       Prometheus，被誉为下一代的监控解决方案，特别适合管理和监控云上K8S集群。当与alertmanager配合使用，它能实时通过邮件或webhook发送告警通知，让运维人员得以轻松处理。本文将详细介绍如何通过企业微信实现告警发送，让运维工作更加便捷。

       首先，了解Prometheus的基本架构，它包含一个服务端和告警管理器Alertmanager。服务端负责监控，通过拉取node-exporter的数据指标，当指标超出预设阈值时，Alertmanager负责处理告警规则，包括抑制、静默和通知。告警规则的设置通常涉及下载alertmanager安装包，配置文件管理和规则文件，如node_alerts.yml和pod_rules.yml，后者可通过科学上网获取更全面的规则示例。

       安装AlertManager后，关键步骤是配置Prometheus告警规则，如在prometheus.yml中添加alertmanager服务器的配置，并确保prometheus的热重启功能启用。告警规则配置完成后，可以通过prometheus targets界面检查其效果，如监控节点和Pod的状态是否正常加载。

       要实现企业微信告警通知，需要在企业后台创建应用，并记录相关身份信息。告警规则中包含抑制功能，可以避免同一实例、alertname下出现重复告警。告警状态分为Inactive、Pending和Firing，调整阈值后，Prometheus会实时发送告警。

       总的来说，通过上述步骤，您就能成功地将Prometheus的告警通过企业微信发送，极大地提升了运维效率。如果你对技术交流有兴趣，可以加入我们的技术交流群，详情请在「运维之美」公众号回复「加群」。

技术干货|Prometheus告警及告警规则

       深入理解Prometheus告警与规则处理

       Prometheus的核心功能之一是告警管理，它通过AlertRule进行定期计算，当满足预设条件时，会向Alertmanager发送警报。告警规则由Prometheus在YAML文件中统一定义，涉及告警触发条件、告警组的使用以及Alertmanager的特性，如分组、抑制和静默等。

       Alertmanager负责接收和处理告警，它能合并多条警报信息，消除重复，按服务集群或名称分组，并支持邮件、Slack等多种通知方式，以及Webhook集成。其配置文件允许设置告警通知的细节，如分组规则、抑制策略和静默条件。

       告警规则由PromQL表达式定义，用户可以在Prometheus的Web界面查看和管理规则。规则文件可以组织在多个组内，每个组包含多个规则，通过evaluation_interval设置计算周期。模板化标签和annotations可以优化告警信息的呈现。

       通过实践，例如定义主机监控告警，可以看到Prometheus如何在满足条件后触发告警，状态会从PENDING变为FIRING。告警状态可通过Prometheus的Alerts页面实时查看，这有助于快速响应和处理系统问题。

       接下来，我们将探索如何利用Alertmanager对告警进行更深入的处理，包括告警通知的定制化和管理。这将全面展示Prometheus告警系统的强大功能和灵活应用。