皮皮网

1.PostgreSQL · 源码分析 · 回放分析（一）
2.ClickHouse 源码解析: MergeTree Merge 算法
3.一文深入了解Linux内核源码pdflush机制
4.分时大小单买卖盘公式源码
5.WSL2 安装并下载、盘源编译AOSP源码

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，小盘可能遇到非预期问题，解析如断电、盘源崩溃。小盘这些情况可能导致数据异常或丢失，解析jvm 源码pdf影响业务。盘源为了在数据库重启时恢复到崩溃前状态，小盘确保数据一致性和完整性，解析我们引入了WAL（Write-Ahead Logging）机制。盘源WAL记录数据库事务执行过程，小盘当数据库崩溃时，解析利用这些记录恢复至崩溃前状态。盘源

       WAL通过REDO和UNDO日志实现崩溃恢复。小盘REDO允许对数据进行修改，解析UNDO则撤销修改。REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，燕窝溯源码哪里查询同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，加快数据页面更新，提高重启恢复速度。在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、打砖块手游源码索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。

ClickHouse 源码解析: MergeTree Merge 算法

       ClickHouse MergeTree 「Merge 算法」 是对 MergeTree 表引擎进行数据整理的一种算法，也是 MergeTree 引擎得以高效运行的重要组成部分。

       理解 Merge 算法，首先回顾 MergeTree 相关背景知识。ClickHouse 在写入时，将一次写入的数据存放至一个物理磁盘目录，产生一个 Part。然而，随着插入次数增多，查询时数据分布不均，形成问题。一种常见想法是合并小 Part，类似 LSM-tree 思想，形成大 Part。

       面临合并策略的弹弹岛战绩2源码选择，"数据插入后立即合并"策略会迅速导致写入成本失控。因此，需要在写入放大与 Part 数量间寻求平衡。ClickHouse 的 Merge 算法便是实现这一平衡的解决方案。

       算法通过参数 base 控制参与合并的 Part 数量，形成树形结构。随着合并进行，形成不同层，总层数为 MergeTree 的深度。当树处于均衡状态时，深度与 log(N) 成比例。base 参数用于判断参与合并的 Part 是否满足条件，总大小与最大大小之比需大于等于 base。

       执行合并时机在每次插入数据后，但并非每次都会真正执行合并操作。对于给定的多个 Part，选择最适合合并的组合是一个数学问题，ClickHouse 限制为相邻 Part 合并，降低决策复杂度。最终，通过穷举找到最优组合进行合并。

       合并过程涉及对有序数组进行多路合并。ClickHouse 使用 Sort-Merge Join 类似算法，通过顺序扫描多个 Part 完成合并过程，保持有序性。算法复杂度为 Θ(M * N)，其中 M 为 Part 长度，N 为参与合并的 Part 数量。

       对于非主键字段，ClickHouse 提供两种处理方式：Horizontal 和 Vertical。Vertical 分为两个阶段，分别处理非主键字段的合并和输出。

       源码解析包括 Merge 触发时机、选择需要合并的 Parts、执行合并等部分。流动资产指标源码触发时机主要在写入数据时，考虑执行 Mutate 任务后。选择需要合并的 Parts 通过 SimpleMergeSelector 实现，考虑了与 TTL 相关的特殊 Merge 类型。执行合并的类为 MergeTask，分为三个阶段：ExecuteAndFinalizeHorizontalPart、VerticalMergeStage。

       Merge 算法是 MergeTree 高性能的关键，平衡写入放大与查询性能，是数据整理过程中的必要步骤。此算法通过参数和决策逻辑实现了在不同目标之间的权衡。希望以上信息能帮助你全面理解 Merge 算法。

一文深入了解Linux内核源码pdflush机制

       在进程安全监控中，遇到进程长时间处于不可中断的睡眠状态（D状态，超过8分钟），可能导致系统崩溃。这种情况下，涉及到Linux内核的pdflush机制，即如何将内存缓存中的数据刷回磁盘。pdflush线程的数量可通过/proc/sys/vm/nr_pdflush_threads调整，范围为2到8个。

       当内存不足或需要强制刷新时，脏页的刷新会通过wakeup_pdflush函数触发，该函数调用background_writeout函数进行处理。background_writeout会监控脏页数量，当超过脏数据临界值（脏背景比率，通过dirty_background_ratio调整）时，会分批刷磁盘，直到比率下降。

       内核定时器也参与脏页刷新，启动wb_timer定时器，周期性地检查脏页并刷新。系统会在脏页存在超过dirty_expire_centisecs（可以通过/proc/sys/vm/dirty_expire_centisecs设置）后启动刷新。用户态的WRITE写文件操作也会触发脏页刷新，以平衡脏页比率，避免阻塞写操作。

       总结系统回写脏页的三种情况：定时器触发、内存不足时分批写、写操作触发pdflush。关键参数包括dirty_background_ratio、dirty_expire_centisecs、dirty_ratio和dirty_writeback_centisecs，它们分别控制脏数据比例、回写时间、用户自定义回写和pdflush唤醒频率。

       在大数据项目中，写入量大时，应避免依赖系统缓存自动刷回，尤其是当缓存不足以满足写入速度时，可能导致写操作阻塞。在逻辑设计时，应谨慎使用系统缓存，对于对性能要求高的场景，建议自定义缓存，同时在应用层配合使用系统缓存以优化高楼贴等特定请求的性能。预读策略是提升顺序读性能的重要手段，Linux根据文件顺序性和流水线预读进行优化，预读大小通过快速扩张过程动态调整。

       最后，注意pread和pwrite在多线程io操作中的优势，以及文件描述符管理对性能的影响。在使用pread/pwrite时，即使每个线程有自己的文件描述符，它们最终仍作用于同一inode，不会额外提升IO性能。

分时大小单买卖盘公式源码

       分时大小单买卖盘公式源码通常涉及对股票市场交易数据的实时分析，用于判断大单和小单的成交情况，从而推测主力资金的动向。然而，具体的公式源码因编程语言和交易系统的不同而有所差异，且往往属于交易策略的核心部分，不会轻易公开。因此，我无法提供一个通用的分时大小单买卖盘公式源码。

       1. 分时大小单的概念：

       在股票市场中，分时图是一种展示股价实时变动的图表。大单和小单通常指的是成交量的大小。大单成交往往被认为是主力资金或机构投资者的行为，而小单则更可能是散户的交易。通过分析大单和小单的成交情况，交易者可以试图判断市场的短期走势。

       2. 公式源码的复杂性：

       编写一个有效的分时大小单买卖盘公式需要深厚的股票市场知识和编程技能。这样的公式通常会考虑多种因素，如成交量的突然变化、价格与成交量的关系、买卖盘的挂单情况等。此外，公式还需要根据市场的实时数据进行动态调整，以适应市场的变化。

       3. 编程语言和交易系统：

       公式源码的编写取决于所使用的编程语言和交易系统。例如，一些交易者可能使用Python、R或C++等编程语言来编写自己的交易算法，而另一些交易者则可能使用专门的交易软件，如MetaTrader 4/5、TradeStation或Amibroker等，这些软件通常有自己的脚本语言或公式编辑器。

       4. 保密性和适用性：

       有效的交易策略往往是交易者的核心竞争力所在，因此公式源码通常被视为高度机密的信息。此外，即使获得了某个公式的源码，也并不意味着它能在所有市场条件下都有效。交易者需要根据自己的交易经验和市场理解来调整和优化公式。

       综上所述，虽然无法提供具体的分时大小单买卖盘公式源码，但交易者可以通过学习和实践来开发自己的交易策略，并借助编程语言和交易系统来实现这些策略。

WSL2 安装并下载、编译AOSP源码

       安装WSL2

       参考链接：安装WSL要求Windows 版本及更高版本（内部版本及更高版本）或Windows 。在power shell或cmd执行如下命令。

       执行完之后就安装了Linux for Windows，并且打开了Windows的虚拟机平台和Linux子系统功能，并设置wsl默认版本为2。也可以手动安装，先在控制面板中找到启用或关闭Windows功能，勾选虚拟机平台和适用于Linux的Windows子系统功能。然后在应用商店找到Linux子系统（例如Ubuntu）进行安装。

       如果是升级安装wsl，可能还需要同时升级linux内核。直接下载msi升级安装文件，点击安装即可。具体可参考：旧版WSL的手动安装步骤

       硬盘设置

       这里分为两类，一是将AOSP源码放在Windows文件系统下，二是将源码放置在WSL中。对于前者，需要修改文件目录的大小写敏感，新建完源码目录后，用管理员身份打开Windows的Powershell，执行以下命令：

       其中的path就是刚新建用来同步AOSP源码的目录，需要注意的是，这个命令只对指定的目录有效，不会改变已存在的子目录的大小写敏感，所以要在同步代码之前设置好。根据文章：WSL编译AOSP必要的几个前置工作，还需要重新挂载磁盘。如果源码放在了Windows驱动器上，比如说F:\aosp，在WSL中的路径应该是/mnt/f/aosp这种形式的，此时需要以drvfs文件系统重新挂载盘符，否则编译到中途会报错：

       注意，每次WSL重启，在编译之前都需要执行这步操作，也可以将它新建成WSL的一个开机服务，确保每次打开WSL都会执行这两段命令。如果是将源码放置在WSL中，需要注意WSL默认占用C盘空间，保证C盘有足够的空间，或者将WSL迁移到别的盘符。因为我的硬盘没有分区，不用担心占满C盘的空间，所以直接将源码放在WSL中编译。WSL安装之后默认是GB大小，对于AOSP的编译是不够的。可通过df命令查看容量，下面是我编译完之后的容量，可以看到占用了GB。

       扩展WSL 2虚拟硬盘的大小 如何管理WSL磁盘空间

       输出如下：

       经过如上操作，将wsl的虚拟磁盘大小调整到1TB。

       源码下载

       创建bin，并加入path：

       下载repo：

       下载代码有两种方式，使用每月更新的初始化包或者传统初始化方式。

       下载mirrors.tuna.tsinghua.edu.cn...，下载完成后记得根据checksum.txt的内容校验一下。由于所有代码都是从隐藏的.repo目录中checkout出来的，所以我们只保留了.repo目录，下载后解压再repo sync一遍即可得到完整的目录。使用方法如下:

       此后，每次只需运行repo sync即可保持同步。

       建立工作目录并初始化仓库: repo init -u mirrors.tuna.tsinghua.edu.cn... 如果需要某个特定的Android版本(列表)： repo init -u mirrors.tuna.tsinghua.edu.cn... -b android-4.0.1_r1 同步源码树（以后只需执行这条命令来同步）： repo sync 详细可见：AOSP | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror Android源码(AOSP)下载与编译 - 掘金

       设置WSL内存大小

       直接编译源码，会因为内存不足导致失败，通过free -m查看内存，只有4GB内存，swap空间只有2GB。可以通过设置WSL配置文件来修改相关配置属性。在用户目录下新建.wslconfig文件，在文件管理器输入%USERPROFILE%可找到用户文件夹。注意这里新建.wslconfig文件不要用新建文本文件的方式，这样文件可能没法被正确识别。可以通过命令行输入code .wslconfig的方式。

       配置文件如下，根据自己的硬件配置尽可能多的分配多点资源，在编译完成后也能修改回来。我电脑是GB内存，所以给WSL配置GB内存，还有GB swap空间。

       编译源码

       编译源码就是常规流程，lunch项根据自己需要进行选择，编译线程数根据机器配置选择。

       编译可能会报错缺少库文件，直接安装即可。sudo apt-get install libncurses5 如果需要编译出CMakeLists文件，方便导入CLion，需要在编译前添加环境变量。

       编译成功！！

       导入Clion效果。

       若需要导入Android Studio中，还需要生成配置索引。

       这一步需要Java环境，提前安装一下。sudo apt install openjdk--jdk

       最终效果如下：