1.《面试1v1》List
2.④优雅的缓存框架：SpringCache之多级缓存
3.Metersphere 源码启动并做性能测试（一）
4.OpenIM原创IM服务端docker、源码、集群部署 非常实用
5.EMQX-简介、安装部署、基础功能、python代码测试
6.深度解析单线程的帝国下载网站源码 Redis 如何做到每秒数万 QPS 的超高处理能力！

《面试1v1》List

       面试官：小伙子,听说你对Java集合挺在行的?

       候选人：谢谢夸奖,我对Java集合还在学习中,只能算入门水平。特别是List这个接口,其下的实现类功能非常丰富,我还未能全部掌握。

       面试官：那么,简单介绍下List这个接口及常用实现类吧!这是Java集合的基础,也是日常开发中最常用的。

       候选人：List接口表示一个有序集合,它的主要实现类有ArrayList、LinkedList、Vector等。它们都实现了List接口,有一些共同的方法,但底层数据结构不同,所以在不同场景有不同的使用优势。这取决于应用的需求。

       面试官：那日常工作用的最多的是哪个实现类?它的源码能不能讲解一下?

       候选人：我日常工作中最常用的List实现类就是ArrayList。它的源码如下:

       ArrayList底层采用动态数组实现,通过ensureCapacityInternal()方法动态扩容,以达到在保证查询效率的同时,尽量减小扩容带来的性能消耗。这也是我在日常使用中最欣赏ArrayList的地方。当然,它的实现远不止这些,我还在不断学习与理解中。

       面试官：不错,你对这些知识已经有一定理解。ArrayList的源码分析得也比较到位。看来你之前真的有认真研读与理解。不过List相关知识还有更广阔的空间,需要你继续努力!

       候选人：非常感谢面试官的肯定与指导。您说得对,List及其相关知识还有很多值得我继续学习与探索的地方。我会持续加深理解,提高运用能力。

       面试官：那么,你对List还有哪些不太理解的地方?或是想更深入学习的内容?

       候选人：关于List,我还不太清楚或想进一步学习的内容如下：

       这些都是我想进一步学习与理解的List相关内容与知识点。我会根据这份清单继续深入阅读源码、分析案例并实践使用,以便全面掌握List及其相关接口与实现类。这无疑需要一段长期的学习与总结过程,但这正是我成长为一名资深Java工程师所必须经历的阶段。

       面试官：Wonderful!这份学习清单涵盖的内容非常全面且具有针对性。你能够准确定位自己尚未完全掌握的知识点,这展现出你的自我认知能力。只要你能够有计划和耐心地向这个清单上的每一项知识点进发,你在List及相关接口的理解上一定会有大的提高,这也为你成长为资深工程师奠定基础。我对你的学习态度和理解能力很为欣赏。

       最近我在更新《面试1v1》系列文章，主要以场景化的方式，讲解我们在面试中遇到的问题，致力于让每一位工程师拿到自己心仪的offer。如果您对这个系列感兴趣，可以关注公众号JavaPub追更！

       《面试1v1》系列文章涵盖了Java基础、锁、数据结构与算法、Mybatis、搜索LuceneElasticsearch、Spring、Spring Boot、中间件、zookeeper、RocketMQ、Prometheus、流程引擎、Redis、Docker、sql、设计模式、分时吃货源码分布式、shell等主题。您可以在Gitee或GitHub上找到更多资源。如果您需要PDF版的干货，可以访问指定链接进行下载。希望这些资源能帮助您更好地准备面试，实现职业目标！

④优雅的缓存框架：SpringCache之多级缓存

       多级缓存策略能够显著提升系统响应速度并减轻二级缓存压力。本文采用Redis作为二级缓存，Caffeine作为一级缓存，通过多级缓存的设计实现优化。

       首先，进行多级缓存业务流程图的声明，并通过LocalCache注解对一级缓存进行管理。具体源码地址如下。

       其次，自定义CaffeineRedisCache，进一步优化缓存性能。相关源码地址提供如下。

       为了确保缓存机制的正确执行，自定义CacheResolver并将其注册为默认的cacheResolver。具体实现细节可参考以下源码链接。

       在实际应用中，通过上述自定义缓存机制，能够有效地提升系统性能和用户体验。为了验证多级缓存优化效果，我们提供实战应用案例和源码。相关实战案例和源码如下链接。

       实现多级缓存策略的完整源码如下：

       后端代码：<a href="github.com/L1yp/van-tem...

       前端代码：<a href="github.com/L1yp/van-tem...

       欲加入交流群讨论更多技术内容，点击链接加入群聊： Van交流群

Metersphere 源码启动并做性能测试（一）

       最近发现了一个开源测试平台——Metersphere，其在GitHub上广受好评。平台以Java语言编写，功能丰富，包括测试管理、接口测试、UI测试和性能测试。因此，我决定在本地尝试启动并进行性能测试。

       Metersphere的架构主要包括前端Vue和后端SpringBoot，数据库使用MySQL，缓存则依赖Redis。为了本地启动MS项目，首先需准备环境，参考其官方文档进行操作。在启动项目时，可能会遇到找不到特定类的错误，通常这是由于依赖问题导致的。解决这类问题，最常见的方式是注释掉相关的依赖和引用。如果遇到启动时出现依赖bean的问题，这可能是因为找不到对应的bean注入或调用方法时找不到对应的类。这种问题通常需要开发人员通过排查找到问题根源并解决，百度等资源是java消息队列源码查找解决方案的有效途径。

       启动项目后，会观察到后台服务运行正常，接下来启动前端服务。执行`npm run serve`命令，如果项目已打包，这一步骤通常能成功启动前端。遇到前端加载失败的问题，可能需要重新打包项目，确保所有资源文件都能正常加载。

       接下来，进行性能测试的准备。Metersphere的性能测试流程包括发起压力测试、Node-controller拉起Jmeter执行测试、数据从Kafka流中获取并计算后存入MySQL数据库。在启动性能测试过程中，首先拉取Node-controller项目，需修改Jmeter路径，并确保本地环境支持Docker，因为Node-controller依赖Docker容器进行性能测试。Data-Streaming服务则负责解析Kafka数据并进行计算，需要确保Kafka服务已启动。

       启动Metersphere的backend和frontend后，配置压测资源池，添加本地Node-controller服务的地址和端口。性能测试分为通过JMX和引用接口自动化场景两种方式，可以模拟真实的网络请求。配置压力参数后，保存并执行性能测试，查看报告以了解测试结果。Metersphere的报告功能较为全面，值得深入研究。

       本地启动并执行性能测试的流程大致如上所述。在遇到问题时，查阅官方文档和利用百度等资源是解决问题的关键。Metersphere的官方文档提供了详尽的信息，对新用户来说是宝贵的学习资源。若仍有问题，可以考虑加入社区群寻求帮助。

OpenIM原创IM服务端docker、源码、集群部署 非常实用

       Open-IM是由IM技术专家打造的开源的即时通讯组件，具备高性能、轻量级、易扩展等特点。开发者通过集成Open-IM组件，并私有化部署服务端，可以快速将即时通讯和实时网络能力集成到自身应用中，确保业务数据的安全性和私密性。

       创始团队由IM高级架构师、weixin IM/WebRTC专家团队组成，致力于用开源技术创造服务价值，打造轻量级、高可用的信用盘新版源码IM架构。开发者只需简单调用SDK，即可在应用内构建多种即时通讯及实时音视频互动场景。

       作为核心业务数据，IM的安全性至关重要。OpenIM开源以及私有化部署让企业能更放心使用。在IM云服务商收费高企的今天，如何让企业低成本、安全、可靠接入IM服务，是OpenIM的历史使命，也是我们前进的方向。

       了解更多原创文章：如果您有兴趣可以在文章结尾了解到更多关于我们的信息，期待着与您的交流合作。

       如图所示，表示正常启动。

       Open-IM-Server依赖五大开源组件：Etcd、MySQL、MongoDB、Redis、Kafka，在使用源码部署Open-IM-Server前，请确保五大组件已安装。如果没有安装以上组件，建议使用上文的docker部署。

       1.克隆项目2.修改config.yaml，配置五大组件的连接参数

       保存config.yaml退出即可。

       每种RPC数量默认为1，如果需要调整RPC数量，修改config.yaml中的配置项rpcport对应的port信息，port个数代表对应rpc服务的进程数。比如openImUserPort: [,]表示本机会启动两个open_im_user，port分别为,

       如图所示，表示正常启动。

       本小节主要讲解通过源码方式如何部署Open-IM-Server集群。

       （1）在集群的每台机器（比如A、B两台机器）上执行源码部署。

       （2）A、B机器都提供了IM能力，在nginx做一个路由转发即可。

       OpenIM github开源地址：

       OpenIM官网：

       OpenIM官方论坛：

       我们致力于通过开源模式，为全球企业/开发者提供简单、易用、高效的IM服务和实时音视频通讯能力，帮助开发者降低项目的开发成本，并让开发者掌控业务的核心数据。

EMQX-简介、安装部署、基础功能、python代码测试

       MQTT属于是物联网的通信协议，在MQTT协议中有两大角色：客户端（发布者/订阅者），服务端（Mqtt broker）；针对客户端和服务端需要有遵循该协议的的具体实现，EMQ/EMQX就是MQTT Broker的一种实现。

       EMQX是免费人才招聘源码基于 Erlang/OTP 平台开发的 MQTT 消息服务器，是开源社区中最流行的 MQTT 消息服务器。EMQ X 是开源百万级分布式 MQTT 消息服务器（MQTT Messaging Broker），用于支持各种接入标准 MQTT协议的设备，实现从设备端到服务器端的消息传递，以及从服务器端到设备端的设备控制消息转发。从而实现物联网设备的数据采集，和对设备的操作和控制。

       到目前为止，比较流行的 MQTT Broker 有几个：使用 C 语言实现的 MQTT Broker，使用 Erlang 语言开发的 MQTT Broker，使用 Node.JS 开发的 MQTT Broker，同样使用 Erlang 开发的 MQTT Broker。从支持 MQTT5.0、稳定性、扩展性、集群能力等方面考虑，EMQX 的表现应该是最好的。

       与别的MQTT服务器相比EMQ X 主要有以下的特点：经过+版本的迭代，EMQ X 目前为开源社区中最流行的 MQTT 消息中间件，在各种客户严格的生产环境上经受了严苛的考验；支持丰富的物联网协议，包括 MQTT、MQTT-SN、CoAP、 LwM2M、LoRaWAN 和 WebSocket等；优化的架构设计，支持超大规模的设备连接。企业版单机能支持百万的 MQTT 连接；集群能支持千万级别的 MQTT 连接；易于安装和使用；灵活的扩展性，支持企业的一些定制场景；中国本地的技术支持服务，通过微信、QQ等线上渠道快速响应客户需求；基于 Apache 2.0 协议许可，完全开源。EMQ X 的代码都放在 Github 中，用户可以查看所有源代码；EMQ X 3.0 支持 MQTT 5.0 协议，是开源社区中第一个支持 5.0协议规范的消息服务器，并且完全兼容 MQTT V3.1 和 V3.1.1 协议。除了 MQTT 协议之外，EMQ X 还支持别的一些物联网协议；单机支持百万连接，集群支持千万级连接；毫秒级消息转发。EMQ X 中应用了多种技术以实现上述功能；利用 Erlang/OTP 平台的软实时、高并发和容错（电信领域久经考验的语言）；全异步架构；连接、会话、路由、集群的分层设计；消息平面和控制平面的分离等；扩展模块和插件，EMQ X 提供了灵活的扩展机制，可以实现私有协议、认证鉴权、数据持久化、桥接发和管理控制台等的扩展；桥接：EMQ X 可以跟别的消息系统进行对接，比如 EMQ X Enterprise 版本中可以支持将消息转发到 Kafka、RabbitMQ 或者别的 EMQ 节点等；共享订阅：共享订阅支持通过负载均衡的方式在多个订阅者之间来分发 MQTT 消息。比如针对物联网等 数据采集场景，会有比较多的设备在发送数据，通过共享订阅的方式可以在订阅端设置多个订阅者来实现这几个订阅者之间的工作负载均衡。

       典型的物联网平台包括设备硬件、数据采集、数据存储、分析、Web / 移动应用等。EMQX 位于数据采集这一层，分别与硬件和数据存储、分析进行交互，是物联网平台的核心：前端的硬件通过 MQTT 协议与位于数据采集层的 EMQX 交互，通过 EMQX 将数据采集后，通过 EMQX 提供的数据接口，将数据保存到后台的持久化平台中（各种关系型数据库和 NOSQL 数据库），或者流式数据处理框架等，上层应用通过这些数据分析后得到的结果呈现给最终用户。

       EMQX 公司主要提供三个产品，可在官网首页产品导航查看每一种产品；主要体现在支持的连接数量、产品功能和商业服务等方面的区别。

       完整的 MQTT V3.1/V3.1.1 及 V5.0 协议规范支持；QoS0, QoS1, QoS2 消息支持；持久会话与离线消息支持；Retained 消息支持；Last Will 消息支持；TCP/SSL 连接支持；MQTT/WebSocket/SSL 支持；HTTP 消息发布接口支持；$SYS/# 系统主题支持；客户端在线状态查询与订阅支持；客户端 ID 或 IP 地址认证支持；用户名密码认证支持；LDAP 认证；Redis、MySQL、PostgreSQL、MongoDB、HTTP 认证集成；浏览器 Cookie 认证；基于客户端 ID、IP 地址、用户名的访问控制 (ACL)；多服务器节点集群 (Cluster)；支持 manual、mcast、dns、etcd、k8s 等多种集群发现方式；网络分区自动愈合；消息速率限制；连接速率限制；按分区配置节点；多服务器节点桥接 (Bridge)；MQTT Broker 桥接支持；Stomp 协议支持；MQTT-SN 协议支持；CoAP 协议支持；Stomp/SockJS 支持；延时 Publish ($delay/topic)；Flapping 检测；黑名单支持；共享订阅 ($share/:group/topic)；TLS/PSK 支持；规则引擎；空动作 (调试)；消息重新发布；桥接数据到 MQTT Broker；检查 (调试)；发送数据到 Web 服务。

       EMQ X 目前支持的操作系统：Centos6、Centos7、OpenSUSE tumbleweed、Debian 8、Debian 9、Debian 、Ubuntu .、Ubuntu .、Ubuntu .、macOS .、macOS .、macOS .、Windows Server 。产品部署建议 Linux 服务器，不推荐 Windows 服务器。安装的方式有很多种，可供自由选择：Shell脚本安装、包管理器安装、二进制包安装、ZIP压缩包安装、Homebrew安装、Docker运行安装、Helm安装、源码编译安装。

       Dashboard界面查看基本信息。

       身份认证是大多数应用的重要组成部分，MQTT 协议支持用户名密码认证，启用身份认证能有效阻止非法客户端的连接。EMQ X 中的认证指的是当一个客户端连接到 EMQ X 的时候，通过服务器端的配置来控制客户端连接服务器的权限。EMQ X 的认证支持包括两个层面：MQTT 协议本身在 CONNECT 报文中指定用户名和密码，EMQ X 以插件形式支持基于 Username、ClientID、HTTP、JWT、LDAP 及各类数据库如 MongoDB、MySQL、PostgreSQL、Redis 等多种形式的认证；在传输层上，TLS 可以保证使用客户端证书的客户端到服务器的身份验证，并确保服务器向客户端验证服务器证书。也支持基于 PSK 的 TLS/DTLS 认证。

       EMQ X 支持使用内置数据源（文件、内置数据库）、JWT、外部主流数据库和自定义 HTTP API 作为身份认证数据源。连接数据源、进行认证逻辑通过插件实现的，每个插件对应一种认证方式，使用前需要启用相应的插件。客户端连接时插件通过检查其 username/clientid 和 password 是否与指定数据源的信息一致来实现对客户端的身份认证。（v5.0以上默认集成）EMQ X 支持的认证方式：内置数据源、外部数据库、其他。认证结果：认证成功、认证失败、忽略认证（ignore）。

       EMQ X 默认配置中启用了匿名认证，任何客户端都能接入 EMQ X。没有启用认证插件或认证插件没有显式允许/拒绝（ignore）连接请求时，EMQ X 将根据匿名认证启用情况决定是否允许客户端连接。

       可以订阅多个主题。

       安装 paho-mqtt：导入 Paho MQTT 客户端。

       通过TCP连接：设置 broker、port、topic、client_id，连接 MQTT Broker。

       通过SSL/TLS连接：设置 broker、port、topic、client_id，连接 MQTT Broker，使用 CA certificate，设置用户名密码。

       订阅主题：设置 on_message 回调函数，当收到消息时执行。

       取消订阅：通过以下代码取消订阅，此时应指定取消订阅的主题。

       发布消息：通过以下代码发布消息，设置消息内容、主题，调用 publish 方法。

       接收消息：通过以下代码指定客户端对消息事件进行监听，并在收到消息后执行回调函数，将接收到的消息及其主题打印到控制台。

       断开连接：如客户端希望主动断开连接，可以通过如下代码实现。

       完整代码：导入 random、time、paho.mqtt.client as mqtt_client，设置 broker、port、topic、client_id，连接 MQTT Broker，设置 on_connect 回调函数，设置 publish 回调函数，运行客户端。

深度解析单线程的 Redis 如何做到每秒数万 QPS 的超高处理能力！

       大家好，我是飞哥！

       在网络编程中，提到高性能，很多人会想到多线程。但实际上，服务器端仅需单线程便可实现极高处理能力，Redis 就是这一模式的杰出代表，能够支撑每秒数万 QPS 的性能。今天，我们将深入探讨 Redis 核心网络模块的实现，揭示它是如何实现如此高性能的。

       本文转自个人技术公众号「开发内功修炼」，关注以获取飞哥最新深度文章。同时，分享我撰写的电子书《理解了实现再谈网络性能》。该书正处于出版流程中。需要电子版的朋友可点击下载，或添加我本人: zhangyanfei，获取《理解了实现再谈网络性能》的链接。

       一、理解多路复用原理

       在开始介绍 Redis 之前，让我们先简单介绍下 epoll。

       在传统的同步阻塞网络编程模型中，进程线程的高开销是影响性能的根本原因。单个进程或线程只能处理一个用户请求，犹如一个人只能看管一只羊。当面对成千上万的请求时，这种模式的成本非常高。

       性能提升的关键在于让众多请求复用同一个进程或线程，这就是多路复用。多路指的是众多用户连接，复用指的是对进程或线程的高效利用。以羊群为例，只需一名牧羊人即可管理。

       实现多路复用需要特殊的 socket 事件管理机制，其中 epoll 是最高效和典型的方案。它的工作原理类似于一只牧羊犬，负责管理与进程或线程复用相关的 socket 事件。

       二、Redis 服务启动与初始化

       理解了 epoll 的基本原理后，我们将探索 Redis 如何具体实现这一机制。通过 Github 即可获取 Redis 源码，我们关注 5.0.0 版本中的单线程版本实现。

       整个 Redis 服务的核心入口位于 src/server.c 文件中，主要集中在 initServer 和 aeMain 函数。在 initServer 这个关键函数内，Redis 执行了以下三项重要操作。

       2.1 创建 epoll 对象

       在 aeCreateEventLoop 函数中创建 epoll 对象，然后将其保存在 redisServer 的 aeEventLoop 成员中。接下来，我们深入了解 aeCreateEventLoop 的具体逻辑。

       在 eventLoop 对象中，eventLoop->events 数组用于保存各种事件处理器。真正创建 epoll 对象的过程发生在 ae_epoll.c 文件的 aeApiCreate 函数中，通过调用 epoll_create 实现。

       2.2 绑定监听服务端口

       Redis 的 listen 过程发生在 listenToPort 函数中，通过 bind 和 listen 系统调用完成。

       Redis 支持多个端口，listenToPort 函数内部使用循环调用 anetTcpServer，逐步展开调用直到执行 bind 和 listen。

       2.3 注册事件回调函数

       initServer 函数中，Redis 调用 aeCreateEventLoop 创建 epoll 对象后，通过 listenToPort 进行服务端口绑定。接着，调用 aeCreateFileEvent 注册 accept 事件处理器。

       在 aeCreateFileEvent 函数中，Redis 为 listen socket 上的新用户连接注册了 acceptTcpHandler 作为读回调函数，负责处理新连接请求。

       三、Redis 事件处理循环

       在上一节中，我们了解了 Redis 的启动初始化过程。接下来，Redis 将进入 aeMain 开始真正的用户请求处理。

       aeMain 函数是一个无休止的循环，每次循环中执行如下关键操作。

       3.1 epoll_wait 发现事件

       Redis 通过 epoll_wait 统一发现和管理可读（包括 listen socket 上的 accept 事件）、可写事件，并管理 timer 事件。

       每当发现特定事件发生，epoll_wait 调用相应注册的事件处理函数进行处理。aeProcessEvents 函数封装了 epoll_wait 的逻辑。

       3.2 处理新连接请求

       假设现在有新用户连接到达。listen socket 上的 rfileProc 注册的 acceptTcpHandler 负责处理新连接请求。在 acceptTcpHandler 中，主要完成接收连接、创建客户端连接对象和注册读事件处理器。

       anetTcpAccept 负责调用 accept 接收新连接，acceptCommonHandler 为连接创建客户端连接对象，createClient 注册读事件处理器。

       3.3 处理客户连接上的可读事件

       当用户发送命令时，Redis 通过 epoll_wait 发现可读事件后，调用已注册的读处理函数 readQueryFromClient。

       在 readQueryFromClient 中，Redis 处理命令并将其转换为内部数据结构，如执行 GET 命令并从内存中查找值。

       四、高性能 Redis 网络原理总结

       Redis 服务器通过单线程实现高处理能力，每秒可达到数万 QPS，这主要得益于对 Linux 多路复用机制 epoll 的高效利用。

       Redis 的核心逻辑集中于 initServer 和 aeMain 两个关键函数，理解这些函数是掌握 Redis 网络原理的基础。

       总结 Redis 的网络核心模块，包括启动服务和事件循环处理，对于深入理解网络编程大有裨益。相信通过本文的介绍，您对网络编程的理解将会更加深入。

       快来分享这篇文章给您的技术好友吧！

       最后，分享我撰写的电子书《理解了实现再谈网络性能》，该书正处于出版流程中。电子版下载地址或添加我本人: zhangyanfei，获取《理解了实现再谈网络性能》的链接。

第七篇：实战redis-operator

       实战调试、修改、编译、打包Redis Operator，以GitHub - spotahome/redis-operator为例。spotahome/redis-operator源码逻辑简洁，仅支持哨兵集群模式，主要逻辑位于cmd/redisoperator/main.go。

       若需根据实际业务修改operator，可通过在api/redisfailover/v1目录下添加字段，执行make generate-crd命令，即可在manifests目录生成新的yaml文件。

       镜像打包涉及Dockerfile和build.sh的修改，原设置采用docker buildx，旨在生成兼容不同操作系统的镜像。然而实践操作中常遇失败，鉴于实际场景无需支持多种操作系统，仅需为centos、redhat等AMD系统打包镜像即可。因此，调整Dockerfile和build.sh以适应上述需求。