皮皮网

1.二十年重回首——CIH病毒源码分析
2.[源码级解析] 巧妙解决并深度分析Linux下rm命令提示参数列表过长的源码问题
3.I/O源码分析(3)--BufferedOutputStream之秒懂"flush"
4.FFmpeg源码分析: AVStream码流
5.linux 5.15 ncsi源码分析
6.history 源码分析

二十年重回首——CIH病毒源码分析

       CIH病毒源码分析

       随着双十一的临近，我在考虑为自己的分析电脑添置一块NVME协议的固态硬盘。然而，记录我发现自己老款主板并不支持NVME协议。源码在探索解决方案时，分析我偶然回想起了CIH病毒，记录提现审核源码一款曾引起巨大破坏的源码古老病毒。出于好奇，分析我决定深入分析CIH源码，记录回顾那段历史，源码并分享分析过程与心得。分析

       CIH源码在GitHub上能找到，记录版本1.4。源码源码的分析编写者习惯良好，代码中包含了功能更新的记录时间和具体细节。时间线如下：

       1.0版于年4月日完成，基本功能实现，代码长度字节。

       1.1版于5月日完成，增加了操作系统判断，若为WinNT则不执行病毒，长度字节。

       1.2版于5月日，加入删除BIOS和破坏硬盘功能，长度字节。

       1.3版于5月日，修复了感染WinZIP自解压文件的错误，长度字节。

       1.4版于5月日，彻底修复错误，长度字节。

       CIH病毒于年7月日在美国大面积传播，8月日全球蔓延，引发公众恐慌。最终，病毒作者陈盈豪公开道歉，提供了解毒程序和防毒软件，病毒逐渐被控制。

       源码的第一部分是PE文件头，用于符合PE文件格式，确保Windows识别和执行。接下来，病毒开始运行，通过修改SEH（Structured Exception Handling）来识别操作系统类型。如果为WinNT或之后版本，病毒将自行产生异常并停止运行。

       病毒通过修改中断描述符表，获得Ring0权限。然而，vr源码大全在WinNT操作系统中，这种方法已失效。因此，修改SEH的目的是判断当前操作系统，以避免在非Win9x系统上感染。

       病毒在Win9x系统中，通过修改中断描述符表，将异常处理函数指向病毒自定义的MyExceptionHook。病毒利用此函数安装系统调用钩子，当执行文件操作时，会运行到病毒代码中。

       病毒在MyExceptionHook中，通过dr0寄存器记录病毒安装状态，分配系统内存，并将病毒代码复制到内存中。之后，病毒安装钩子，当有文件读写调用时，会执行病毒代码。

       当系统调用参数为关闭文件时，病毒进行时间判断，直到每月日，统一开始破坏BIOS和硬盘。破坏BIOS的方法包括映射BIOS内容、设置BIOS可写性。硬盘破坏则通过VXD驱动调用命令。

       综上所述，CIH病毒利用了Win9x系统的漏洞，通过修改SEH和中断描述符表进入内核，安装系统调用钩子，感染文件并在特定时间执行破坏操作。然而，其在WinNT及后续系统上的感染能力已失效。尽管如此，CIH病毒的源码和分析过程对了解历史和安全漏洞仍具有重要价值。

[源码级解析] 巧妙解决并深度分析Linux下rm命令提示参数列表过长的问题

       在处理大型文件夹清理任务时，发现使用Linux下rm命令清理包含数百万文件的目录时，会遇到“参数列表过长”的提示问题。经过一系列的试验与深入研究内核源码，最终找到了巧妙的解决方案，并理解了Linux Shell的一些有趣特性。以下内容是对这一问题的详细解析与解决办法的记录。

       最初，以为是rm命令对文件数量有特定限制，但尝试执行其他命令如ls和touch时也遇到相同问题，暗示问题可能与Shell的通配符使用有关。于是，通过管道功能，核心源码演示成功完成了清理任务。随后，通过使用find命令列出所有文件，并发现文件名格式包含日期和时间信息，导致在使用rm命令时，文件名被不当分割。为了解决这一问题，引入了-print0与-0参数，这样可以区分空格与分界符，正确解析包含空格的文件名。

       吸取教训后，使用find命令配合-1参数，避免了递归操作，确保只删除文件而不删除目录，成功解决了第二次处理大量文件时的问题。紧接着，开始探索通配符长度限制的来源。通过实验，发现限制与Bash无关，而是Shell执行命令的本质。进一步研究得知，Shell执行命令的过程涉及exec()类系统调用，且限制可能源自系统调用，而非Shell自身。深入分析源码后发现，最大参数长度限制为ARG_MAX，且其大小为栈空间的1/4。通过调整栈空间大小，可以增加允许的最大参数数量，从而解决“参数列表过长”的问题。

       这一限制在许多现代操作系统中存在，不仅影响了Linux环境，也见于MacOS和Windows等系统。通过理解和调整相关配置，能够有效解决处理大型文件夹清理任务时遇到的“参数列表过长”问题，提升系统管理的效率与灵活性。

I/O源码分析(3)--BufferedOutputStream之秒懂"flush"

       本文基于JDK1.8，深入剖析了BufferedOutputStream的源码，帮助理解缓冲输出流的工作机制。

       BufferedOutputStream，作为与缓冲输入流相对应的面向字节的IO类，其主要功能是通过write方法进行字节写出操作，并在调用flush方法时清除缓存区中的剩余字节。

       其继承体系主要包括了基本的输出流类，如OutputStream。

       相较于缓冲输入流，BufferedOutputStream的方法相对较少，但功能同样强大。指标源码自制

       BufferedOutputStream内部包含两个核心成员变量：buf代表缓冲区，count记录缓冲区中可写出的字节数。

       构造函数默认初始化缓冲区大小为8M，若指定大小则按指定大小初始化。

       BufferedOutputStream提供了两种主要的写方法：write(int b)用于写出单个字节，以及write(byte[] b, int off, int len)用于从数组中写出指定长度的字节。在内部实现中，使用System.arraycopy函数加速字节的复制过程。

       对于上述方法在调用之后，均会进行缓冲区的清空操作，即调用内部的flushBuffer()方法。然而，用户直接调用的公有flush()方法有何意义呢？

       在实际应用中，当使用BufferedOutputStream进行高效输出时，用户可能需要在程序结束前调用flush()方法，以确保所有未输出的字节都能被正确处理。避免了在程序未结束时输出流的缓存区中出现未输出的字节。

       flush()方法内部逻辑简单，主要通过调用继承自FilterOutputStream的out变量的flush()方法实现缓存区的清空，并将缓冲区的字节全部输出。同时，由于Java的IO流采用装饰器模式，该过程也包括了调用其他实现缓冲功能类的flush方法。

       为验证flush()方法的功能，本文进行了简单的测试，通过初始化缓冲区大小为5个字节，分别测试了不调用flush()、调用close()与不调用flush()、不调用close()的情况。

       测试结果显示，不调用flush()而调用close()时，输出为一个特殊符号，表明字节被正确输出。而在不调用flush()且不调用close()的情况下，输出为空，说明有字节丢失。

       值得注意的是，如果在测试时定义的字节数组长度超过缓冲区大小，BufferedOutputStream可能直接使用加速机制全部写出，无需调用flush()。

       综上所述，使用BufferedOutputStream时，养成在程序结束前调用flush()的习惯，能有效避免因缓存区未清空导致的数据丢失问题，确保程序的稳定性和可靠性。

FFmpeg源码分析: AVStream码流

       在AVCodecContext结构体中，AVStream数组存储着所有视频、音频和字幕流的邮件源码转换信息。每个码流包含时间基、时长、索引数组、编解码器参数、dts和元数据。索引数组用于保存帧数据包的offset、size、timestamp和flag，方便进行seek定位。

       让我们通过ffprobe查看mp4文件的码流信息。该文件包含5个码流，是双音轨双字幕文件。第一个是video，编码为h，帧率为.fps，分辨率为x，像素格式为yuvp。第二个和第三个都是audio，编码为aac，采样率为，立体声，语言分别为印地语和英语。第四个和第五个都是subtitle，语言为英语，编码器为mov_text和mov_text。

       调试实时数据显示，stream数组包含以下信息：codec_type（媒体类型）、codec_id、bit_rate、profile、level、width、height、sample_rate、channels等编解码器参数。

       我们关注AVCodecContext的编解码器参数，例如codec_type、codec_id、bit_rate、profile、level、width、height、sample_rate和channels。具体参数如下：codec_type - 视频/音频/字幕；codec_id - 编码器ID；bit_rate - 位率；profile - 编码器配置文件；level - 编码器级别；width - 宽度；height - 高度；sample_rate - 采样率；channels - 音道数。

       AVStream内部的nb_index_entries（索引数组长度）和index_entries（索引数组）记录着offset、size、timestamp、flags和min_distance信息。在seek操作中，通过二分查找timestamp数组来定位指定时间戳对应的帧。seek模式有previous、next、nearest，通常使用previous模式向前查找。

       时间基time_base在ffmpeg中用于计算时间戳。在rational.h中，AVRational结构体定义为一个有理数，用于时间计算。要将时间戳转换为真实时间，只需将num分子除以den分母。

linux 5. ncsi源码分析

       深入剖析Linux 5. NCSI源码：构建笔记本与BMC通信桥梁

       NCSI（Network Configuration and Status Interface），在5.版本的Linux内核中，为笔记本与BMC（Baseboard Management Controller）以及服务器操作系统之间的同网段通信提供了强大支持。让我们一起探索关键的NCSI网口初始化流程，以及其中的关键结构体和函数。

       1. NCSI网口初始化：驱动注册

       驱动程序初始化始于ftgmac_probe，这是关键步骤，它会加载并初始化struct ncsi_dev_priv，包含了驱动的核心信息，如NCSI_DEV_PROBED表示最终的拓扑结构，NCSI_DEV_HWA则启用硬件仲裁机制。

       关键结构体剖析

struct ncsi_dev_priv包含如下重要字段：

       request表，记录NCSI命令的执行状态；

       active_package，存储活跃的package信息；

       NCSI_DEV_PROBED，表示连接状态的最终拓扑；

       NCSI_DEV_HWA，启用硬件资源的仲裁功能。

       命令与响应的承载者

       struct ncsi_request是NCSI命令和结果的核心容器，包含请求ID、待处理请求数、channel队列以及package白名单等。每个请求都包含一个唯一的ID，用于跟踪和管理。

       数据包管理与通道控制

       从struct ncsi_package到struct ncsi_channel，每个通道都有其特定状态和过滤器设置。multi_channel标志允许多通道通信，channel_num则记录总通道数量。例如，struct ncsi_channel_mode用于设置通道的工作模式，如NCSI_MODE_LINK表示连接状态。

       发送与接收操作

       struct ncsi_cmd_arg是发送NCSI命令的关键结构，包括驱动私有信息、命令类型、ID等。在ncsi_request中，每个请求记录了请求ID、使用状态、标志，以及与网络链接相关的详细信息。

       ncsi_dev_work函数：工作队列注册与状态处理

       在行的ncsi_register_dev函数中，初始化ncsi工作队列，根据网卡状态执行通道初始化、暂停或配置。ncsi_rcv_rsp处理NCSI报文，包括网线事件和命令响应，确保通信的稳定和高效。

       扩展阅读与资源

       深入理解NCSI功能和驱动probe过程，可以参考以下文章和资源：

       Linux内核ncsi驱动源码分析（一）

       Linux内核ncsi驱动源码分析（二）

       华为Linux下NCSI功能切换指南

       NCSI概述与性能笔记

       浅谈NCSI在Linux的实现和应用

       驱动probe执行过程详解

       更多技术讨论：OpenBMC邮件列表和CSDN博客

       通过以上分析，NCSI源码揭示了如何构建笔记本与BMC的高效通信网络，为开发者提供了深入理解Linux内核NCSI模块的关键信息。继续探索这些资源，你将能更好地运用NCSI技术来优化你的系统架构。

history 源码分析

       history库与源码分析

       history库基于html5的history接口，专门用于管理和监控浏览器地址栏的变化。本文将分为两部分进行探讨：html5的history接口；以及history库的实现。

       html5的history接口

       通过使用html的history.pushState(state, title, url)方法，可以实现浏览器地址栏的变更，同时避免页面的刷新。配合ajax请求，这种操作可以实现局部刷新的效果。详细操作方法可以参考MANIPULATING HISTORY FOR FUN & PROFIT这篇文章。此外，若要确保回退按钮也能实现局部刷新，需要监听popstate事件。

       history库的实现

       history库构建了一个虚拟的history对象，它可以用于操作浏览器地址栏的变更、hash路径的变更或管理内存中的虚拟历史堆栈。各history对象都包含以下属性或方法：push(path, state)、replace(path, state)、go、goBack、goForward、block(prompt)和listen((location, action) => { })。

       listen函数会在地址栏变更后执行。实现上，history会先收集历史堆栈入口的变更数据并写入虚拟的history对象中，然后再执行listen函数。这种机制涉及createBrowserHistory、createHashHistory和createMemoryHistory模块中的setState函数。因此，通过pushState、replaceState、go方法，或通过改变location对象来更新地址栏，都可以调用setState执行监听函数。

       监听函数与阻断地址栏变更

       history提供了两种阻断地址栏变更的方法：在变更前拦截和在变更后回滚。对于变更地址栏的三种方式：直接改变location对象、调用pushState或replaceState方法、或使用go方法，前两种我们能知道变更后的值，所以history选择在变更前拦截；后一种我们无法得知变更后的值，因此history选择在变更后回滚。实现上，history使用transitionManager.confirmTransitionTo包裹前两种方法的调用过程，并通过监听popstate和hashchange事件获得变更后的location数据，进一步使用transitionManager.confirmTransitionTo判断是否需要回滚或维持现状。

       transitionManager的机制

       transitionManager由createTransitionManager模块创建，提供四种方法：appendListener(fn)、notifyListeners(...args)、setPrompt(nextPrompt)和confirmTransitionTo(location, action, getUserConfirmation, callback)。这些方法共同协作触发监听函数、阻断地址栏变更。

       不同历史库实现

       本文将详细分析createBrowserHistory、createHashHistory和createMemoryHistory模块。

       createBrowserHistory

       createBrowserHistory基于html5中的pushState和replaceState来变更地址栏。它支持html5 history接口的浏览器，并在不支持时直接修改location.href或使用location.replace方法。此外，它接受props参数，如forceRefresh、getUserConfirmation、keyLength和basename，以控制地址栏变更的细节。

       createHashHistory

       createHashHistory专注于hash路径的变更，实现逻辑与createBrowserHistory类似，但针对hash路径进行专门处理。它接受basename、getUserConfirmation和hashType等属性，以定制hash路径的编码和解码策略。

       createMemoryHistory

       createMemoryHistory在内存中创建一个完全虚拟的历史堆栈，不与真实的地址栏交互，也与popstate、hashchange事件无关。它通过props参数控制初始历史堆栈内容、索引值和路径长度，实现对历史记录的管理。

       工具函数

       文章还介绍了PathUtils、LocationUtils和DOMUtils等工具函数，它们分别用于路径操作、location对象操作以及判断DOM环境。

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，如断电、崩溃。这些情况可能导致数据异常或丢失，影响业务。为了在数据库重启时恢复到崩溃前状态，确保数据一致性和完整性，我们引入了WAL（Write-Ahead Logging）机制。WAL记录数据库事务执行过程，当数据库崩溃时，利用这些记录恢复至崩溃前状态。

       WAL通过REDO和UNDO日志实现崩溃恢复。REDO允许对数据进行修改，UNDO则撤销修改。REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，加快数据页面更新，提高重启恢复速度。在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。