1.基于 OpenResty 的源码动态服务路由方案
2.consulmanager部署和使用
3.RocketMQ—NameServer总结及核心源码剖析
4.zookeepervsetcdvsconsul哪个好?
5.七、Docker常用安装
基于 OpenResty 的源码动态服务路由方案
基于 ngx_lua 的动态服务路由解决方案,是源码由又拍云首席布道师邵海杨在年5月日的OpenResty × Open Talk 全国巡回沙龙武汉站上分享的。此方案主要用于解决服务更新过程中服务不断掉的源码问题,确保更新过程无失败。源码在更新服务时,源码导购网站 源码若失败导致请求失败,源码即使请求量很小,源码也会影响到口碑和可能引发的源码赔偿问题。此方案已稳定运行三年,源码并且已经开源,源码适合有类似需求的源码用户使用。
服务发现与负载均衡:
服务发现采用Zookeeper、源码etcd、源码Consul等多种方案,源码但又拍云选择Consul,因其部署、维护和监控功能齐全,支持KV存储和原生服务监控。负载均衡方案包括LVS、量化捕鱼源码HA_PROXY和Nginx,Nginx在HTTP领域具有优秀的扩展性,支持TCP、UDP、HTTP协议的转发和负载均衡。
Nginx与Consul集成:
Nginx与Consul集成用于动态服务路由。Registrator通过Docker API定时向Consul汇报容器状态,Nginx则通过Consul获取服务信息并进行负载均衡。
服务更新至Nginx:
在服务更新时,需要将Consul中的服务信息动态更新到Nginx中。此问题可通过Consul_template或内部NDS方案解决,但又拍云最终选择使用 ngx_/starsliao/Te... #consulmanager项目地址
consulmanager 是一个开源的项目,现在已经更名为tensuns,有兴趣的可以自行研究
要想安装consulmanager,必须先安装下面三个 docker ,docker-compase, consul
1.1 安装consul
1.1.1 安装consul-基于centos7
1.1.2 生成uuid
1.1.3 配置文件设置
1.1.4 启动consul
访问方式 ip:
1.2 安装docker和docker-compase
1.2.1 安装docker
1.2.2 安装docker-compase
二 安装 ConsulManager
2.1 下载源码
下载地址 github.com/starsliao/Co...
目录结构如下:
2.2 docker-compose.yml 内容
2.3 启动并访问
三 配置consulmanager
3.1 云主机管理
3.1.1 同步云主机
云主机管理就是可以自动同步云服务器到consulmanager这个上面
前提是需要你在云账号里面创建access key 和secret key,这个账号还需要有访问主机的权限
新增云资源
创建完成之后,你可以手动同步,也可以自动同步,京东货源码然后去云主机列表查看,是否同步过来了
3.1.2 批量云主机监控
前提是每天主机需要安装好node-exporter
选定好指定的组,选择好系统,点击生成配置,然后把这个配置,粘贴到prometheus的配置文件中
进行重启prometheus
然后进去到prometheus-target里进行查看
当然如果你的node-exporter的端口不是,怎么办,打开cousul的web页面,可以自定义设置
3.1.3 导入对应的模版
导入ID:
详细URL: grafana.com/grafana/das...
3.1.4 设置告警规则
3.2 blackbox站点监控设置
3.2.1. 配置Blackbox_Exporter
在Web页面点击
Blackbox 站点监控/Blackbox 配置,点击
复制配置,如下所示:
复制配置到 blackbox.yml,清空已有的配置,把复制的内容粘贴进去,重启blackbox_exporter
3.2.2 配置Prometheus
在Web页面点击 Blackbox 站点监控/Prometheus 配置,点击复制配置。编辑Prometheus的
prometheus.yml,把复制的内容追加到最后,reload或重启Prometheus
3.2.3. 配置Prometheus告警规则
在Web页面点击
Blackbox 站点监控/告警规则,点击复制配置。
编辑Prometheus的rh指标源码配置文件,添加 rules.yml,然后把复制的内容粘贴到rules.yml里面,reload或重启Prometheus。
然后去prometheus查看告警规则是否生成
3.2.4. 查看Prometheus
在Prometheus的Web页面中,点击Status-Targets,能看到新增的Job即表示数据同步到Prometheus。
3.2.5 新增tcp或者/grafana/das...
最终在grafana访问的效果如下:
四 总结
到这里基本的监控项和报警规则都已经设定好了,接下来会介绍告警的方式和具体实现
RocketMQ—NameServer总结及核心源码剖析
一、NameServer介绍
NameServer 是为 RocketMQ 设计的轻量级名称服务,具备简单、集群横向扩展、无状态特性和节点间不通信的特点。RocketMQ集群架构主要包含四个部分:Broker、Producer、Consumer 和 NameServer,这些组件之间相互通信。
二、为什么要使用NameServer?
当前有多种服务发现组件,如etcd、肖恩源码consul、zookeeper、nacos等。然而,RocketMQ选择自研NameServer而非使用开源组件,原因在于特定需求和性能优化。
三、NameServer内部解密
NameServer主要功能在于管理路由数据,由Broker提供,并在内部进行处理。路由数据被Producer和Consumer使用。NameServer核心逻辑基于RouteInfoManager类,用于维护路由信息管理,提供注册/查询等核心功能。NameServer使用HashMap和ReentrantReadWriteLock读写锁来管理路由数据。
四、结论
作为RocketMQ的“大脑”,NameServer保存集群MQ路由信息,包括主题、Broker信息及监控Broker运行状态,为客户端提供路由能力。NameServer的核心代码围绕多个HashMap操作,包括Broker注册、客户端查询等。
zookeepervsetcdvsconsul哪个好?
比较 Zookeeper、etcd 及 Consul,它们都是强大的一致性元信息存储解决方案。在服务应用中,它们的功能大多可以互相替代,例如主节点选举等功能。
Zookeeper在开发和版本更新方面表现相对落后,社区活跃度也远不及etcd。从易用性角度看,etcd的RESTful API更符合应用需求,操作更为便捷。
考虑周边产品生态时,开发者的语言偏好和应用环境也至关重要。如果团队熟悉Java并且有较多的Java应用,Zookeeper可能是更合适的选择。对于侧重于Go语言的团队,etcd则因其源码可读性成为更好的选项。
综上所述,选择Zookeeper、etcd还是Consul,应综合考虑应用需求、技术栈以及团队熟悉度。在应用服务的广泛场景中,它们的互换性较强,具体选择应基于团队的实际情况和长期规划。
七、Docker常用安装
安装Docker的总体步骤包括安装并配置常用软件如Tomcat、Nginx、MySQL、Redis、RabbitMQ、.NetCore项目、ELK、Consul、RocketMQ、Nacos及Sentry。具体操作如下:
在安装Tomcat时,若计划将项目部署至根目录,需在tomcat文件夹创建ROOT文件夹,并将项目文件拷贝至其中。
安装并配置Nginx以实现负载均衡,通过编辑nginx.conf文件,添加对应web应用的IP地址和端口号,并配置proxy_pass以指向upstream的名称。
安装MySQL,通过特定命令映射端口、指定服务名称、挂载配置文件和日志目录,并初始化root用户密码。运行命令后,登录MySQL并展示数据库。
安装Redis5.1,使用redis-cli连接Redis,并通过客户端工具配置redis。
安装并部署.RocketMQ项目,使用Dockerfile创建并运行镜像,注意正确使用端口映射和命名。
部署.NetCore项目,通过Dockerfile构建并运行镜像,确保数据库连接字符串使用宿主机IP。
安装并配置ELK系统,使用Elasticsearch、Logstash和Kibana三个组件进行日志收集、处理和可视化。确保所有组件版本一致,并根据配置文件进行相应设置。
安装Consul,通过拉取镜像并启动,访问其管理页面进行管理。
安装RocketMQ,使用Docker-Compose环境搭建,配置docker-compose.yml文件以运行broker服务,并使用本机IP作为brokerIP。
安装Nacos,通过访问其管理界面进行管理,使用默认登录账号和密码。
安装Sentry,使用git下载源码进行安装,若忘记DSN,可通过项目设置找到。