PyTorch Dynamo 初探：Python ByteCode 的动态修改
深度学习框架在编译优化时，通常会先形成逻辑计算图，换源再对计算图进行修改，更改最后执行修改后的换源计算图。计算图生成有两种方法：一种是更改基于跟踪tensor执行路径的trace tensor，另一种是换源洗盘买点源码基于解析Python文本代码的抽象语法树（AST）。
CPython解释器执行Python代码时，更改首先将源码解析成AST，换源然后生成并优化字节码（ByteCode），更改最后在虚拟机中执行字节码。换源基于AST解析的更改计算图生成发生在第一阶段，而基于trace tensor的换源计算图生成则在第三阶段之后。
TorchDynamo的更改独特之处在于它在字节码执行前动态修改Python字节码，因此最终执行的换源是修改后的字节码。这类似于DynamoRIO项目，更改它可以在x机器码上动态修改指令。
TorchDynamo工作原理是动态设置自定义的字节码框架，该框架允许在执行字节码之前修改字节码。其主要优点是最大程度地优化了代码开发体验，使编译优化变得更容易。但这种设计并未改进寻求最佳性能或方便静态部署的目标。
Python的标准执行流程是从Python文本代码到AST，再到字节码。通过示例展示这一流程，包括使用ast组件生成AST，使用compile函数编译字节码，以及使用exec系统函数执行字节码。在执行字节码之前，可以通过代码对象的指针检查生成的字节码，并通过打印字节码的指令来理解执行流程。
TorchDynamo的主要改变是在标准Python执行流程中支持修改字节码执行前的字节码。它允许将一段字节码转换为FX图，然后调用用户自定义的FX图进行执行逻辑的修改，生成一个可编译的执行函数。将修改后的字节码替换为函数调用字节码，实现编译优化功能。
TorchDynamo在字节码执行前进行动态修改，有源码没模板每次执行都会走到这个步骤，可以选择是否进行字节码修改，以及进行何种修改，支持缓存和复用修改结果。这体现了Dynamo的动态特性。
TorchDynamo通过修改Python字节码实现编译优化，依赖于PEP 提供的执行自定义框架评估API。通过设置自定义的评估框架函数，可以在字节码执行前执行自定义的字节码。TorchDynamo正是通过在进入Dynamo作用域时设置自定义的评估框架函数实现动态修改字节码。
总结了Python执行流程和TorchDynamo的工作原理，包括修改字节码的实现细节。深入理解了Python字节码的生成、执行流程以及TorchDynamo如何在这一过程中动态修改字节码以实现编译优化。
PyTorch 源码分析(三）：torch.nn.Norm类算子
PyTorch源码详解(三)：torch.nn.Norm类算子深入解析
Norm类算子在PyTorch中扮演着关键角色，它们包括BN（BatchNorm）、LayerNorm和InstanceNorm。1. BN/LayerNorm/InstanceNorm详解
BatchNorm（BN）的核心功能是对每个通道（C通道）的数据进行标准化，确保数据在每个批次后保持一致的尺度。它通过学习得到的gamma和beta参数进行缩放和平移，保持输入和输出形状一致，同时让数据分布更加稳定。 gamma和beta作为动态调整权重的参数，它们在BN的学习过程中起到至关重要的作用。2. Norm算子源码分析
继承关系：Norm类在PyTorch中具有清晰的继承结构，子类如BatchNorm和InstanceNorm分别继承了其特有的功能。
BN与InstanceNorm实现：在Python代码中，BatchNorm和InstanceNorm的实例化和计算逻辑都包含对输入数据的2D转换，即将其分割为M*N的矩阵。
计算过程：在计算过程中，首先计算每个通道的均值和方差，这是这些标准化方法的基础步骤。
C++侧的源码洞察
C++实现中，对于BatchNorm和LayerNorm，代码着重于处理数据的标准化操作，同时确保线程安全，砖石黄金指标源码通过高效的数据视图和线程视图处理来提高性能。Pytorch源码剖析：nn.Module功能介绍及实现原理
nn.Module作为Pytorch的核心类，是构建模型的基础。它提供了一系列功能，包括记录模型的参数，实现网络的前向传播，加载和保存模型数据，以及进行设备和数据类型转换等。这些功能在模型的训练和应用中起到关键作用。
在训练与评估模式间切换，模块的行为会有所不同，如rrelu、dropout、batchnorm等操作在两种模式下表现不同。可学习的参数，如权重和偏置，需要通过梯度下降进行更新。非学习参数，比如batchnorm的running_mean，是训练过程中的统计结果。_buffers包含的Tensor不作为模型的一部分保存。
模块内部包含一系列钩子（hook）函数，用于在特定的前向传播或反向传播阶段执行自定义操作。子模块列表用于存储模型中的所有子模块。
魔术函数__init__在声明对象时自动调用，优化性能的关键在于使用super().__setattr__而非直接赋值。super调用父类的方法，避免不必要的检查，提高效率。使用register_buffer为模块注册可变的中间结果，例如BatchNorm的running_mean。register_parameter用于注册需要梯度下降更新的参数。
递归应用函数用于对模型进行操作，如参数初始化。可以将模型移动到指定设备，转换数据类型，主力必吃肉源码以及注册钩子函数以实现对网络的扩展和修改。
调用魔术方法__call__执行前向传播。nn.Module未实现forward函数，子类需要提供此方法的具体实现。对于线性层等，forward函数定义了特定的运算流程。从检查点加载参数时，模块自动处理兼容性问题，确保模型结构与参数值的兼容。
模块的__setattr__方法被重写，以区别对待Parameter、Module和Buffer。当尝试设置这些特定类型的属性时，执行注册或更新操作。其他属性的设置遵循标准的Python行为。
模块的save方法用于保存模型参数和状态，确保模型结构和参数值在不同设备间转移时的一致性。改变训练状态（如将模型切换到训练或评估模式）是模块管理过程的重要组成部分。
PyTorch 源码解读之 torch.optim：优化算法接口详解
本文深入解读了 PyTorch 中的优化算法接口 torch.optim，主要包括优化器 Optimizer、学习率调整策略 LRScheduler 及 SWA 相关优化策略。以下为详细内容：
Optimizer 是所有优化器的基类，提供了初始化、更新参数、设置初始学习率等基本方法。在初始化优化器时，需要传入模型的可学习参数和超参数。Optimizer 的核心方法包括：
1. 初始化函数：创建优化器时，需指定模型的可学习参数和超参数，如学习率、动量等。
2. add_param_group：允许为模型的不同可学习参数组设置不同的超参数，以适应不同的学习需求。
3. step：执行一次模型参数更新，需要闭包提供损失函数的梯度信息。
4. zero_grad：在更新参数前，java返利平台源码清空参数的梯度信息。
5. state_dict 和 load_state_dict：用于序列化和反序列化优化器的状态，便于保存和加载模型的训练状态。
Optimizer 包括常见的优化器如 SGD、Adagrad、RMSprop 和 Adam，各有特点，适用于不同的应用场景。例如，SGD 适用于简单场景，而 Adam 则在处理大数据集时表现更优。
学习率调节器 lr_scheduler 则负责在训练过程中调整学习率，以适应模型的收敛过程。PyTorch 提供了多种学习率调整策略，如 StepLR、MultiStepLR、ExponentialLR 等，每种策略都有其特点和应用场景，如 StepLR 用于周期性调整学习率，以加速收敛。
SWA（随机权重平均）是一种优化算法，通过在训练过程中计算模型参数的平均值，可以得到更稳定的模型，提高泛化性能。SWA 涉及 AveragedModel 类，用于更新模型的平均参数，以及 update_bn 函数，用于在训练过程中更新批量归一化参数。
总结，torch.optim 提供了丰富的优化算法接口，可以根据模型训练的需求灵活选择和配置，以达到最佳的训练效果和泛化性能。通过深入理解这些优化器和学习率调整策略，开发者可以更有效地训练深度学习模型。
Pytorch之Dataparallel源码解析
深入解析Pytorch之Dataparallel源码
在深入理解Dataparallel原理之前，需要明白它的使用场景和目的。Dataparallel设计用于在多GPU环境下并行处理数据，提高模型训练效率。
初始化阶段，Dataparallel需要实例化一个模型。这一步中，模型的参数会被复制到所有可用的GPU上，从而实现并行计算。
在前向传播阶段，Dataparallel的核心作用体现出来。它会将输入数据分割成多个小批次，然后分别发送到各个GPU上。在每个GPU上执行前向传播操作后，结果会被收集并汇总。这样，即便模型在多GPU上运行，输出结果也如同在单GPU上运行一样。
具体实现中，Dataparallel会利用Python的多重继承和数据并行策略。它继承自nn.Module，同时调用nn.DataParallel的构造函数，从而实现并行计算。
对于那些需要在GPU间共享的状态或变量，Dataparallel还提供了相应的管理机制，确保数据的一致性和计算的正确性。这样的设计使得模型能够高效地在多GPU环境下运行，同时保持代码的简洁性和易读性。
总结而言，Dataparallel通过分割数据、并行执行前向传播和收集结果的机制，实现了高效的数据并行训练。理解其源码有助于开发者更好地利用多GPU资源，提升模型训练效率。
PyTorch 源码解读之 torch.utils.data：解析数据处理全流程
文@ 目录 0 前言 1 Dataset 1.1 Map-style dataset 1.2 Iterable-style dataset 1.3 其他 dataset 2 Sampler 3 DataLoader 3.1 三者关系 (Dataset, Sampler, Dataloader) 3.2 批处理 3.2.1 自动批处理（默认） 3.2.2 关闭自动批处理 3.2.3 collate_fn 3.3 多进程处理 (multi-process) 4 单进程 5 多进程 6 锁页内存 (Memory Pinning) 7 预取 (prefetch) 8 代码讲解 0 前言 本文以 PyTorch 1.7 版本为例，解析 torch.utils.data 模块在数据处理流程中的应用。 理解 Python 中的迭代器是解读 PyTorch 数据处理逻辑的关键。Dataset、Sampler 和 DataLoader 三者共同构建数据处理流程。 迭代器通过实现 __iter__() 和 __next__() 方法，支持数据的循环访问。Dataset 提供数据获取接口，Sampler 控制遍历顺序，DataLoader 负责加载和批处理数据。 1 Dataset Dataset 包括 Map-style 和 Iterable-style 两种，分别用于索引访问和迭代访问数据。 Map-style dataset 通过实现 __getitem__() 和 __len__() 方法，支持通过索引获取数据。 Iterable-style dataset 实现 __iter__() 方法，适用于随机访问且批次大小依赖于获取数据的场景。 2 Sampler Sampler 用于定义数据遍历的顺序，支持用户自定义和 PyTorch 提供的内置实现。 3 DataLoader DataLoader 是数据加载的核心，支持 Map-style 和 Iterable-style Dataset，提供单多进程处理和批处理等功能。 通过参数配置，如 batch_size、drop_last、collate_fn 等，DataLoader 实现了数据的自动和手动批处理。 4 批处理 3.2.1 自动批处理（默认） DataLoader 默认使用自动批处理，通过参数控制批次生成和样本整理。 3.2.2 关闭自动批处理 关闭自动批处理，允许用户自定义批处理逻辑或处理单个样本。 3.2.3 collate_fn collate_fn 是手动批处理时的关键，用于整理单个样本为批次。 5 多进程 多进程处理通过 num_workers 参数启用，加速数据加载。 6 单进程 单进程模式下，数据加载可能影响计算流程，适用于数据量小且无需多进程的场景。 7 锁页内存 (Memory Pinning) Memory Pinning 技术确保数据在 GPU 加速过程中快速传输，提高性能。 8 代码讲解 通过具体代码分析，展示了 DataLoader 的初始化、迭代和数据获取过程，涉及迭代器、Sampler 和 Dataset 的交互。[技术随笔]🛠🛠从源码安装Pytorch3D详细记录及学习资料
在启动安装Pytorch3D之前，首要任务是选择合适的pytorch基础镜像。我选择了包含CUDA组件和驱动的pytorch 1.9的devel版本，以确保满足Pytorch3D对于pytorch和cuda版本的要求。我使用的是python 3.7、pytorch 1.9和cuda.2，前提是你已经在宿主机上配置好了显卡驱动和nvidia-docker，以便在容器内映射宿主机的显卡信息。 在安装前，确保nvcc编译器、CUDA工具箱和驱动正常运行，并且安装了git、vim、sudo和curl等基础工具。 下一步是配置CUB工具。按照Pytorch3D的安装文档，为了支持CUDA，需要先配置CUB，并设置CUB_HOME环境变量。由于选择的镜像包含CUDA，编译过程中会自动包含cuda。为保险起见，可以指定FORCE_CUDA环境变量为1。 从源码编译Pytorch3D时，避免了使用conda可能遇到的依赖冲突问题。在确认前两步没有问题后，编译过程通常顺利。安装完成后，检查日志和pytorch3d的版本信息。 为了验证Pytorch3D的正常运行，从ARkit中导出BS系数，尝试使用它渲染一个简单的白模，并利用GPU。观察到显卡被充分利用，表明设置正确，可以进行后续操作。 在完成安装并验证Pytorch3D的功能后，可以参考收集的资料来探索其更高级的用法。以下是几个示例：从Pytorch3D文档中获取的教程和代码示例。
开源社区的讨论和问题解答，特别是与Pytorch3D相关的话题。
个人经验分享和案例研究，可以在GitHub、Stack Overflow等平台找到。
通过这些资源，您可以深入学习Pytorch3D的功能和应用，进一步拓展其在计算机图形学、三维重建和深度学习等领域的应用。PyTorch 源码分析(一）：torch.nn.Module
nn.Module是PyTorch中最核心和基础的结构，它是操作符/损失函数的基类，同时也是组成各种网络结构的基类（实际上是由多个module组合而成的一个module）。
在Python侧，2.1回调函数注册，2.2 module类定义中，有以下几个重点函数：
重点函数一：将模型的参数移动到CUDA上，内部会遍历其子module。
重点函数二：将模型的参数移动到CPU上，内部会遍历其子module。
重点函数三：将模型的参数转化为fp或者fp等，内部会遍历其子module。
重点函数四：forward函数调用。
重点函数五：返回该net的所有layer。
在类图中，PyTorch的算子都是module的子类，包括自定义算子和整网定义。
在C++侧，3.1 module.to("cuda")详细分析中，本质是将module的parameter&buffer等tensor移动到CUDA上，最终调用的是tensor.to(cuda)。
3.2 module.load/save逻辑中，PyTorch模型保存分为两种，一种是纯参数，一种是带模型结构（PyTorch中的模型结构，本质上是由module、sub-module构造的一个计算图）。
parameter、buffer是通过key-value的形式来存储和检索的，key为module的.name，value为存储具体数据的tensor。
InputArchive/OutputArchive的write和read逻辑。
通过Module，PyTorch将op/loss/opt等串联起来，类似于一个计算图。基于PyTorch构建的ResNet等模型，是逐个算子进行计算的，tensor在CPU和GPU之间来回流动，而不是整个计算都在GPU上完成（即中间计算结果不出GPU）。实际上，在进行推理时，可以构建一个计算图，让整个计算图的计算都在GPU上完成，不知道是否可行（如果GPU上有一个CPU就可以完成这个操作，不知道tensorrt是否是这样的操作）。
2024-11-30 11:31
2024-11-30 11:11
2024-11-30 10:09
2024-11-30 10:02
2024-11-30 09:32
