皮皮网

1.PostgreSQL · 源码分析 · 回放分析（一）
2.Linux软件管理-YUM工具及源码包
3.mqttrocketmq?刷盘源码
4.一文深入了解Linux内核源码pdflush机制

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，刷盘源码如断电、刷盘源码崩溃。刷盘源码这些情况可能导致数据异常或丢失，刷盘源码影响业务。刷盘源码bitcoin 源码修改为了在数据库重启时恢复到崩溃前状态，刷盘源码确保数据一致性和完整性，刷盘源码我们引入了WAL（Write-Ahead Logging）机制。刷盘源码WAL记录数据库事务执行过程，刷盘源码当数据库崩溃时，刷盘源码利用这些记录恢复至崩溃前状态。刷盘源码

       WAL通过REDO和UNDO日志实现崩溃恢复。刷盘源码REDO允许对数据进行修改，刷盘源码UNDO则撤销修改。刷盘源码REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。职教网源码检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，加快数据页面更新，提高重启恢复速度。在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，wpe发送源码根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。

Linux软件管理-YUM工具及源码包

       YUM基本概述

       yum是wp源码搭建RedHat及CentOS中的软件包管理器，提供自动解决依赖性关系、通过互联网下载以rpm结尾的包、安装软件包、简化命令等众多优势。具体来说，包含以下几点：

       联网获取软件

       基于RPM管理

       自动解决依赖

       命令简单好记

       遵循生产最佳实践

       YUM源的配置

       为了成功使用yum工具安装或更新软件或系统，需要配置一个包含各种rpm软件包的repository，称为yum源或yum仓库。该仓库可为本地或网络源。

       BASE源：各大镜像源，如阿里云、清华大学、、华为云、中国科学技术大学等。

       EPEL源：安装其他特定源，如nginx、zabbix、saltstack等。

       YUM实践案例

       使用yum工具时，可执行以下操作：

       查询软件包：使用yum search关键字

       安装软件包：使用yum install 软件包名称

       重装软件包：使用yum reinstall 软件包名称

       更新软件包：使用yum update 软件包名称

       删除软件包：使用yum remove 软件包名称

       YUM全局配置文件[扩展]

       YUM的配置方式包括全局配置文件（/etc/yum.conf）和子配置文件（/etc/yum.repos.d/目录下的所有.repo文件）。

       YUM签名检查机制[扩展]

       rpm软件在构建rpm包时使用redhat的私钥签名，客户端使用redhat提供的公钥验证rpm包的合法性。可通过指定公钥位置、提前导入公钥或选择不进行签名验证来实现。

       制作本地YUM仓库

       自行制作本地YUM仓库时，需了解配置文件参数含义。操作步骤包括挂载镜像、备份原有仓库、创建新仓库文件、网站导购源码刷新repos生成缓存等。

       构建企业级YUM仓库

       本地光盘提供基础软件包（Base）、yum缓存提供update软件包、常用软件包如nginx、zabbix、docker、saltstack等。环境准备涉及IP、角色、主机名、服务端yum仓库及客户端使用等。

       源码包概述

       源码包指的是未编译成可运行工具的程序源代码。学习源码包有助于自定义软件、定制功能、优先更新源码及实现自动化规范。

       优点：二次开发、定制功能、优先更新、自动化规范

       缺点：相较于yum安装复杂、耗时较长

       源码包获取

       常见软件源码包可在官方网站获取。

       源码包安装步骤

       解压tar、生成configure或cmake、编译、安装。

       源码包安装实战

       通过编译Nginx深入理解源码包安装过程。

       源码编译报错信息处理

       在安装源码包时遇到问题，需妥善处理报错信息，确保安装过程顺利。

       自定义RPM包并制作YUM仓库[扩展]

       可自行定制RPM包及制作YUM仓库，实现软件自定义安装与管理。

mqttrocketmq?

       RocketMQ作为国内流行的MQ，其在公司项目中的应用与研究对于理解MQ流程大有裨益。本文旨在解析一条消息从发送至存储的全过程，以辅助读者深入理解RocketMQ。分析内容聚焦于消息发送到存储的总体技术流程，包括代码中关于MQ文件系统优化、设计等关键点。

       首先，我们关注官方源码中的发送代码示例。`send`方法内设默认超时时间为3秒，采用默认同步模式，同时支持异步和单向模式。此方法需处理客户端异常、网络异常、Broker端异常以及线程中断异常。

       在`sendDefaultImpl`核心实现类中，`DefaultMQProducerImpl`的`sendDefaultImpl`方法承载发送的主要逻辑。值得注意的是，该类内部实现故障时间更新策略，通过`MQFaultStrategy`类处理MQ错误并进行服务降级。具体策略为：消息发送在毫秒内无需降级，超过毫秒则进行秒容错降级，以此类推。

       继续探讨`sendKernelImpl`核心方法，该方法在`DefaultMQProducerImpl`类中实现发送到内核的逻辑。方法首先确定Broker地址，并尝试压缩大于4M的消息（批量消息除外），同时执行各种消息处理钩子。消息生成时间（`bornTimestamp`）在此步骤中被设定，后续消息轨迹分析时，此时间点将提供重要信息。

       在默认同步模式下，`send`方法调用`MQClientAPIImpl`发送消息。在Client模块中，此层进一步设置消息详情，构建命令对象，并最终通过`remotingClient`的`invokeSync`方法发送消息。

       `MQClientAPIImpl`的`sendMessage`方法中，通过设置命令对象的`CmdCode`为`SEND_MESSAGE`，与Broker端建立契约关系。Netty模块中的`invokeSync`方法实现RPC发送，使用编码器和解码器处理消息数据的序列化与反序列化，并通过空闲处理器管理连接状态。

       Netty客户端处理返回值时，`NettyClientHandler`在`channelRead0`方法中调用`processMessageReceived`方法，此方法解析响应并唤醒阻塞发送线程。同时，执行`release`操作，限制最大异步请求数量至个。

       在Broker端，`SEND_MESSAGE Code`的使用表明了与Client的交互约定。`BrokerController`类注册`SEND_MESSAGE Code`与`SendMessageProcessor`对象的绑定关系，并将此绑定注册至Netty Server中，当Netty Server收到Cmd对象时，依据Cmd对象的Code找到对应处理器，处理数据。

       消息存储逻辑由`DefaultMessageStore`类的`putMessage`实现，消息通过PageCache写入，若锁文件时间超过1秒，则标记PageCache为忙。当耗时超过毫秒时，会记录耗时日志，便于问题排查。`commitLog.putMessage`方法最终调用数据写入代码，释放锁并记录耗时日志。

       刷盘与数据同步策略包括同步刷盘与异步刷盘，同步刷盘性能优于异步刷盘倍。使用SYNC模式的Slave数据同步受限于网络瓶颈，最高TPS仅约，原因在于内网延迟导致的同步效率低下。

       最后，`mappedFile.appendMessage`方法实现消息写入逻辑，通过MMap缓冲区对数据进行高效写入。`doAppend`方法中，处理消息总长度、魔数、CRC校验、队列ID、各种flag、存储时间、物理offset、存储IP、时间戳、扩展属性等信息，最终消息被写入MMap中。无新数据时，执行每毫秒一次的刷盘策略。

一文深入了解Linux内核源码pdflush机制

       在进程安全监控中，遇到进程长时间处于不可中断的睡眠状态（D状态，超过8分钟），可能导致系统崩溃。这种情况下，涉及到Linux内核的pdflush机制，即如何将内存缓存中的数据刷回磁盘。pdflush线程的数量可通过/proc/sys/vm/nr_pdflush_threads调整，范围为2到8个。

       当内存不足或需要强制刷新时，脏页的刷新会通过wakeup_pdflush函数触发，该函数调用background_writeout函数进行处理。background_writeout会监控脏页数量，当超过脏数据临界值（脏背景比率，通过dirty_background_ratio调整）时，会分批刷磁盘，直到比率下降。

       内核定时器也参与脏页刷新，启动wb_timer定时器，周期性地检查脏页并刷新。系统会在脏页存在超过dirty_expire_centisecs（可以通过/proc/sys/vm/dirty_expire_centisecs设置）后启动刷新。用户态的WRITE写文件操作也会触发脏页刷新，以平衡脏页比率，避免阻塞写操作。

       总结系统回写脏页的三种情况：定时器触发、内存不足时分批写、写操作触发pdflush。关键参数包括dirty_background_ratio、dirty_expire_centisecs、dirty_ratio和dirty_writeback_centisecs，它们分别控制脏数据比例、回写时间、用户自定义回写和pdflush唤醒频率。

       在大数据项目中，写入量大时，应避免依赖系统缓存自动刷回，尤其是当缓存不足以满足写入速度时，可能导致写操作阻塞。在逻辑设计时，应谨慎使用系统缓存，对于对性能要求高的场景，建议自定义缓存，同时在应用层配合使用系统缓存以优化高楼贴等特定请求的性能。预读策略是提升顺序读性能的重要手段，Linux根据文件顺序性和流水线预读进行优化，预读大小通过快速扩张过程动态调整。

       最后，注意pread和pwrite在多线程io操作中的优势，以及文件描述符管理对性能的影响。在使用pread/pwrite时，即使每个线程有自己的文件描述符，它们最终仍作用于同一inode，不会额外提升IO性能。