1.[转]Megatron-LM源码系列(八)： Context Parallel并行
2.FasterTransformer Decoding 源码分析(三)-LayerNorm介绍
3.MMDet——DETR源码解读
4.如何看《源代码》影评?维度维度
5.OpenCV:Mat源码解读
6.Python语言学习（三）：Tensorflow_gpu搭建及convlstm核心源码解读

[转]Megatron-LM源码系列(八)： Context Parallel并行

       原文链接： Megatron-LM源码系列(八)： Context Parallel并行

       Context Parallel并行(CP)与sequence并行(SP)相比，核心差异在于SP只针对Layernorm和Dropout输出的源码activation在sequence维度进行切分，而CP则进一步扩展，编程对所有input输入和所有输出activation在sequence维度上进行切分，下载形成更高效的维度维度并行处理策略。除了Attention模块外，源码手册 源码其他如Layernorm、编程Dropout等模块在CP并行中无需任何修改，下载因为它们在处理过程中没有涉及多token间的维度维度交互。

       Attention模块之所以特殊，源码是编程因为在计算过程中，每个token的下载查询(query)需要与同一sequence中其他token的键(key)和值(value)进行交互计算，存在内在依赖性。维度维度因此，源码在进行CP并行时，编程计算开始前需要通过allgather通信手段获取所有token的KV向量，反向计算时则通过reduce_scatter分发gradient梯度。

       为了降低显存使用，前向计算阶段每个GPU仅保存部分KV块，反向阶段则通过allgather通信获取全部KV数据。这些通信操作在特定的rank位置（相同TP组内）进行，底层通过send和recv等操作实现allgather和reduce_scatter。

       以TP2-CP2的transformer网络为例，CP并行的通信操作在Attention之前执行，其他则为TP通信。AG表示allgather，RS表示reduce_scatter，c 窗体时钟源码AG/RS表示前向allgather反向reduce_scatter，RS/AG表示前向reduce_scatter反向allgather。

       TP2对应为[GPU0, GPU1], [GPU2, GPU3]，CP2指的就是TP组相同位置的rank号，即[GPU0, GPU2], [GPU1, GPU3]。CP并行类似于Ring Attention，但提供了OSS与FlashAttention版本，并去除了冗余的low-triangle causal masking计算。

       LLM常因序列长度过长而导致显存耗尽（OOM）。传统解决方法包括重计算或扩大TP（tensor parallel）大小，但各自存在计算代价增加或线性fc计算时间减少与通信难以掩盖的问题。CP则能更高效地解决这一问题，每个GPU处理一部分序列，同时减少CP倍的通信和计算量，同时保持TP不变，使得activation量也减少CP倍。性能优化结果展示于图表中，用户可通过指定--context-parallel-size在Megatron中实现CP。

       具体源码实现以Megatron-Core 0.5.0版本为例进行说明。

       

参考资料：

[链接]

FasterTransformer Decoding 源码分析(三)-LayerNorm介绍

       本文深入探讨FasterTransformer中LayerNormalization（层归一化）的源码实现与优化。作为深度学习中的关键技术，层归一化可确保网络中各层具有相似的分布，从而加速训练过程并改善模型性能。背景介绍部分详细解释了层归一化的工作原理，强调其在神经网络中的高效并行特性与广泛应用。文章从代码起点开始剖析，敏感词过滤源码具体路径位于解码过程的核心部分。调用入口展示了传入参数，包括数据描述和关键参数gamma、beta、eps，简洁直观，符合公式定义。深入源码的解析揭示了优化点，特别是针对特定数据类型和维度，使用了定制化内核。此设计针对高效处理半精度数据样本，减少判断指令，实现加速运算，且对偶数维度数据进行调整以最大化Warp特性利用。接下来，内核实现的详细描述，强调了通过共享内存与block、warp级归约实现公式计算的高效性。这部分以清晰的代码结构和可视化说明，解释了块级别与Warp级归约在单个块处理多个数据点时的协同作用，以及如何通过巧妙编程优化数据处理效率。文章总结了FasterTransformer中LayerNormalization的整体优化策略，强调了在CUDA开发中基础技巧的应用，并指出与其他优化方案的比较。此外，文章还推荐了OneFlow的web购票系统源码性能优化实践，为读者提供了一个深入探索与对比学习的资源。

MMDet——DETR源码解读

       DETR是Object Detection领域中的创新之作，首次以完全采用Transformer结构实现端到端目标检测。DETR通过引入object query，将目标信息以query形式送入Transformer的decoder，以实现自注意力学习，捕捉不同目标的特征。query在经过Self Attention后，与图像特征进行Cross Attention，提取检测目标的特征。最终输出含有目标信息的query，通过FFN得到bbox和class信息。

       理解DETR模型前，需明确模型结构与配置。模型主要由三部分组成：Backbone，Transformer（encoder与decoder）及head。输入为batch图像，假设维度为[B, 3, W, H]，使用隐层维度embed_dims为，模型变换过程如下。

       DETR配置文件中，model部分分为Backbone和bbox_head。理解其配置有助于深入模型运作机制。

       DETR的前向过程在mmdet/models/detectors/single_stage.py中统一为两个步骤，具体实现于detr_head（mmdet/models/dense_heads/detr_head.py）中的forward_single()函数。该函数负责除backbone外的c 网络验证 源码所有前向过程。变量shape示例供理解，注意img_shape因随机裁剪而不同，导致shape不唯一。

       DETR的backbone采用常规的Resnet，结构相对简单，非本文讨论重点。Transformer部分的源码在mmdet/models/utils/transformer.py文件，解析如下，N = W_feat*H_feat。

       详细解读及参考文章将帮助您更深入理解DETR的内部运作与实现细节。

如何看《源代码》影评?

       1、bleem是介于3和4之间的一种空间维数

       在Hausdorff维数的理论中。

       这种维数是允许存在的，应该也能任意构造出维数介于3和4之间实数的图形。

       貌似类canor集Hausdorff维数可以是介于0和2之间的任意实数。

       如果这个影评的理解是对的，那么这玩意又是数学上早就搞出来的东西了。

       只不过大家直觉上觉得空间的维数应该是整数（Lesbesgue维度）。

       但是在数学上并非如此。

       这个bleem也就是一个介于3和4之间的实数而已。

2、bleem是介于三维欧式空间和闵可夫斯基空间之间的一种奇怪的时空结构。

       影片中教授所说的那个bleem，其实就是类似一种可以穿越时空的机器，结尾教授的车祸，和医生在黑白电视上看到的那起车祸案件。

       是同一起，所以，主持人才会说，警方无法查明死者的身份，那是因为，教授根本不是那个年代的人。这些巧合，其实就是教授用穿越时空的方式，来向医生证明了自己的观点。

OpenCV:Mat源码解读

       OpenCV中的核心组件Mat是理解库运作的关键。通过深入阅读其源码，我们可以了解到Mat如何管理内存、与Sub-mat的关系，以及如何支持不同数据类型。本文旨在提供对Mat类的深入理解，帮助你掌握Mat的内存管理机制、数据结构设计，以及Mat中数据类型的表示方式。通过本文，你将对Mat的基本构成有清晰的认识，并理解内存分配的策略。

       Mat类的实现类似于一个容器，主要构造和析构不同类型的Mat。Mat的内部数据存储在UMatData结构中，通过m.data指针访问。内存分配由UMatData和MatAllocator共同完成。Mat的shape由size（大小）和step（步长）组成，便于计算每个维度所需的内存空间。

       UMatData结构隐藏了内存配置的细节，而MatAllocator根据不同设备实现底层不同的内存管理。以CPU的底层实现为例，这里仅展示其基本架构。理解了这些，Mat的基本构造就有了基础概念。

       Mat的类型设计是其独特之处，用CV_{ bit}{ U/F/S}C{ n}表示，如CV_FC3表示3通道位浮点。其中depth部分决定基础类型，如CV_F。Mat的大小设计是根据不同类型进行优化的。在OpenCV 5.x版本中，depth用低5位表示，其余位用于通道数。

       通过实际数据类型的例子，如通道的8U类型m0和其子Matm2，可以观察到CONT_FLAG和SUBMAT_FLAG的变化，以及对于非常用数据格式如CV_8UC()的性能影响。OpenCV对1、3、4通道数据有优化，而3通道的数据在某些情况下速度可能接近4通道。

       最后，Mat的高效使用不仅依赖于基础计算，MatExpr起到了桥梁作用，它向上简化接口，向下连接加速指令。理解了Mat的这些特性，你将能够更有效地利用OpenCV的Mat进行数据处理。

Python语言学习（三）：Tensorflow_gpu搭建及convlstm核心源码解读

       在探索深度学习领域，使用Python语言进行编程无疑是一条高效且灵活的途径。尤其在科研工作或项目实施中，Python以其丰富的库资源和简单易用的特性，成为了许多专业人士的首选。本文旨在分享在Windows系统下使用Anaconda搭建TensorFlow_gpu环境及解读ConvLSTM核心源码的过程。在提供具体步骤的同时，也期待读者的反馈，以持续改进内容。

       为了在Windows系统下搭建适合研究或项目的TensorFlow_gpu环境，首先需要确认TensorFlow_gpu版本及其对应的cuDNN和CUDA版本。访问相关网站，以获取适合自身硬件配置的版本信息。以TensorFlow_gpu2.为例，进行环境搭建。

       在Anaconda环境下，通过命令行操作来创建并激活特定环境，如`tensorflow-gpu`环境，选择Python3.版本。接着，安装cuDNN8.1和CUDA.2。推荐使用特定命令确保安装过程顺利，亲测有效。随后，使用清华镜像源安装TensorFlow_gpu=2..0。激活虚拟环境后，使用Python环境验证安装成功，通常通过特定命令检查GPU版本是否正确。

       为了在Jupyter Notebook中利用该环境，需要安装ipykernel，并将环境写入notebook的kernel中。激活虚拟环境并打开Jupyter Notebook，通过命令确保内核安装成功。

       对于ConvLSTM核心源码的解读，重点在于理解模型的构建与参数设置。模型核心代码通常包括输入数据维度、模型结构、超参数配置等。以官方样例为例，构建模型时需关注样本整理、标签设置、卷积核数量等关键参数。例如，输入数据维度为（None，，，1），输出数据维度为（None，None，，，）。通过返回序列设置，可以控制模型输出的形态，是返回单个时间步的输出还是整个输出序列。

       在模型改造中，将彩色图像预测作为目标，需要调整模型的最后层参数，如将`return_sequence`参数更改为`False`，同时将`Conv3D`层修改为`Conv2D`层以适应预测彩色图像的需求。此外，选择合适的损失函数（如MAE）、优化器（如Adam）以及设置Metrics（如MAE）以便在训练过程中监控模型性能。

       通过上述步骤，不仅能够搭建出适合特定研究或项目需求的TensorFlow_gpu环境，还能够深入理解并灵活应用ConvLSTM模型。希望本文内容能够为读者提供有价值的指导，并期待在后续过程中持续改进和完善。