1.FasterTransformer Decoding 源码分析(三)-LayerNorm介绍
2.PyTorch 源码分析(三）：torch.nn.Norm类算子
3.retinanet 网络详解
4.UE4源码剖析：MallocBinned（上）
5.bootstrap和layer用哪个
6.DSIN 深度 Session 兴趣网络介绍及源码剖析

FasterTransformer Decoding 源码分析(三)-LayerNorm介绍

       本文深入探讨FasterTransformer中LayerNormalization（层归一化）的码分源码实现与优化。作为深度学习中的码分关键技术，层归一化可确保网络中各层具有相似的码分分布，从而加速训练过程并改善模型性能。码分背景介绍部分详细解释了层归一化的码分工作原理，强调其在神经网络中的码分口号帮系统源码高效并行特性与广泛应用。文章从代码起点开始剖析，码分具体路径位于解码过程的码分核心部分。调用入口展示了传入参数，码分包括数据描述和关键参数gamma、码分beta、码分eps，码分简洁直观，码分符合公式定义。码分深入源码的码分解析揭示了优化点，特别是针对特定数据类型和维度，使用了定制化内核。此设计针对高效处理半精度数据样本，减少判断指令，实现加速运算，且对偶数维度数据进行调整以最大化Warp特性利用。接下来，内核实现的详细描述，强调了通过共享内存与block、warp级归约实现公式计算的高效性。这部分以清晰的代码结构和可视化说明，解释了块级别与Warp级归约在单个块处理多个数据点时的telegram源码研究协同作用，以及如何通过巧妙编程优化数据处理效率。文章总结了FasterTransformer中LayerNormalization的整体优化策略，强调了在CUDA开发中基础技巧的应用，并指出与其他优化方案的比较。此外，文章还推荐了OneFlow的性能优化实践，为读者提供了一个深入探索与对比学习的资源。

PyTorch 源码分析(三）：torch.nn.Norm类算子

       PyTorch源码详解(三)：torch.nn.Norm类算子深入解析

       Norm类算子在PyTorch中扮演着关键角色，它们包括BN（BatchNorm）、LayerNorm和InstanceNorm。

       1. BN/LayerNorm/InstanceNorm详解

       BatchNorm（BN）的核心功能是对每个通道（C通道）的数据进行标准化，确保数据在每个批次后保持一致的尺度。它通过学习得到的gamma和beta参数进行缩放和平移，保持输入和输出形状一致，同时让数据分布更加稳定。

       gamma和beta作为动态调整权重的参数，它们在BN的学习过程中起到至关重要的作用。

       2. Norm算子源码分析

       继承关系：Norm类在PyTorch中具有清晰的继承结构，子类如BatchNorm和InstanceNorm分别继承了其特有的功能。

       BN与InstanceNorm实现：在Python代码中，BatchNorm和InstanceNorm的实例化和计算逻辑都包含对输入数据的2D转换，即将其分割为M*N的矩阵。

       计算过程：在计算过程中，首先计算每个通道的均值和方差，这是这些标准化方法的基础步骤。

       C++侧的微跳跳源码源码洞察

       C++实现中，对于BatchNorm和LayerNorm，代码着重于处理数据的标准化操作，同时确保线程安全，通过高效的数据视图和线程视图处理来提高性能。

retinanet 网络详解

       主干网络采用ResNet作为backbone。

       FPN层：输入照片尺寸为x，经过池化层后，通过ResNet网络提取特征，得到四个不同尺度的特征图，分别为layer1, layer2, layer3, layer4。源代码中的尺度融合从layer2层开始，经过尺度融合后得到f3, f4, f5, f6, f7五个不同尺度的特征层。

       一、Focal Loss：Retinanet网络的核心是Focal Loss，它在精度上超越了two-stage网络的精度，在速度上超越了one-stage网络的速度，首次实现了对二阶段网络的全面超越。

       Focal Loss是在二分类交叉熵的基础上进行修改，首先回顾一下二分类交叉熵损失。在训练过程中，正样本所占的损失权重较大，负样本所占的损失权重较小。然而，由于负样本的数量较多，即使权重较小，但大量样本数量叠加后同样带来很大的代收系统源码损失，导致在训练迭代过程中难以优化到最优状态。因此，Focal Loss在此基础上进行了改进。

       Focal Loss损失：论文中指出gamma=2.0, alpha=0.。当预测样本为简单正样本时，假设p=0.9，(1-p)的gamma次方会变得很小，因此损失函数值会变得非常小。对于负样本而言，当预测概率为0.5时，损失只减少0.倍，因此损失函数更加关注这类难以区分的样本。

       二、源代码讲解：model.py、anchors.py、losses.py、dataloader.py、train.py以上部分均为个人理解，如有错误欢迎各位批评指正。

       目前已实现口罩数据集检测，效果如下：

UE4源码剖析：MallocBinned（上）

       近期着手UE4项目开发，对UnrealEngine已久仰慕，终于得此机会深入探索。鉴于项目内存性能问题，决定从内存分配器着手，深入研读UE4源码。饵料网源码虽个人水平有限，尚不能全面理解，但愿借此机会揭开源码神秘面纱，让新手朋友们不再感到陌生。

       UE4内存分配器位于硬件抽象层HAL（Hardware Abstraction Layer）中。具体装箱内存分配器代码位于VS项目目录：UE4/Source/Runtime/Core/Private/HAL/MallocBinned。

       分析从ApplePlatformMemory::BaseAllocator开始，可发现Mac平台的默认分配器为MallocBinned，iOS的默认分配器为MallocAnsi。以下将重点分析MallocBinned。

       一、确定对齐方式

       FScopeLock用于局部线程锁，确保线程同步。关于Alignment的确定，通常使用默认值。默认值取决于内存对齐方式，此处默认对齐为8字节。

       二、确定有足够空间来内存对齐

       代码中，SpareBytesCount用于确认空间足够。若分配内存小于8字节，则按Alignment大小匹配箱体；若大于8字节，则按Size + Alignment - sizeof(FFreeMem)匹配箱体。

       三、确定箱体大小

       根据Size的大小，有三种不同的处理方式。k以下的内存分配采用装箱分配，PoolTable中包含个不同大小的池子。

       四、初始化内存池

       分析内存池初始化过程，主要工作包括：确定内存大小，分配内存块，设置内存池基本信息。

       五、内存装箱

       AllocateBlockFromPool从内存池中分配一个Block，实现内存装箱过程。

bootstrap和layer用哪个

       ä¸ŽåŒç±»å¼¹å‡ºå±‚组件相比，layer的优势明显。

       Bootstrap和layer布局Bootstrap 固定布局

       ä½¿ç”¨ Bootstrap 工具包来创建固定布局和流动布局。教程是基于 Bootstrap 版本 2.0。在版本 2.0 中，Bootstrap 为手机、平板电脑、笔记本、小型台式机、大型宽屏台式机等添加了响应特性。可以通过向页面添加 bootstrap-responsive.css 文件（位于 docs\assets\css 下）来让布局具有响应性。

layer弹窗

       layer，一个可以让你想到即可做到的web弹窗(层)解决方案(js组件)，作者贤心(前端开发工程师)。layer侧重于用户灵活的自定义，为不同人的使用习惯提供动力。其意义在于，可以让您的页面拥有更丰富与便捷的操作体验，而您只需在调用时简单地配置相关参数，即可轻松实现。

       Bootstrap，来自 Twitter，是目前很受欢迎的前端框架。Bootstrap 是基于 HTML、CSS、JavaScript 的，它简洁灵活，使得 Web 开发更加快捷。 它由Twitter的设计师Mark Otto和Jacob Thornton合作开发，是一个CSS/HTML框架。

       Bootstrap提供了优雅的HTML和CSS规范，它即是由动态CSS语言Less写成。Bootstrap一经推出后颇受欢迎，一直是GitHub上的热门开源项目，包括NASA的MSNBC(微软全国广播公司)的Breaking News都使用了该项目。 国内一些移动开发者较为熟悉的框架，如WeX5前端开源框架等，也是基于Bootstrap源码进行性能优化而来。

DSIN 深度 Session 兴趣网络介绍及源码剖析

       本文旨在深入剖析DSIN深度Session兴趣网络的基本原理与源码实现。DSIN网络专为用户历史行为序列建模，旨在捕捉用户兴趣的动态变化。核心亮点在于对用户行为序列进行Session划分，通过Session Interest Extractor Layer、Session Interest Interacting Layer、以及Session Interest Activating Layer三个核心组件，更好地理解用户在不同Session内的兴趣差异与演进。

       DSIN网络结构复杂，分为三个部分进行详细介绍。Session划分层对用户历史行为按照时间顺序进行合理分组，形成多个Session。Session兴趣提取层应用multi-head self-attention机制，捕获Session内部行为之间的内在关系。此外，引入Bias Encoding增强对Session内行为顺序的理解。Session兴趣交互层采用Bi-LSTM模型，探索Session兴趣间的动态变化与演进。最后，Session兴趣激活层通过Attention机制，量化目标商品与各Session兴趣之间的相关性。

       源码分析部分，代码主要处理了数据集Ad Display/Click Data on Taobao.com，并实现了DSIN网络从数据预处理、模型构建到训练的全过程。数据预处理涉及用户采样、行为编码、Session划分等步骤，确保数据符合模型需求。模型训练代码遵循规范，采用binary_crossentropy损失函数与adagrad优化方法，准确捕捉用户兴趣模式。

       通过DSIN网络的实现，能够有效预测用户对特定商品的点击概率，为个性化推荐系统提供强有力的支持。在代码层面的深入解析，有助于理解DSIN网络如何在实际应用中发挥作用，以及如何通过优化网络结构与参数，提升推荐系统的性能。

bootstrap和layer

       bootstrap和layer怎么使用

       Bootstrap布局

       ç®€ä»‹

       åœ¨æœ¬æ•™ç¨‹ä¸­ï¼Œæ‚¨å°†å­¦ä¹ å¦‚何使用Bootstrap工具包来创建固定布局和流动布局。教程是基于Bootstrap版本2.0。

       åœ¨ç‰ˆæœ¬2.0中，Bootstrap为手机、平板电脑、笔记本、小型台式机、大型宽屏台式机等添加了响应特性。

       å¯ä»¥é€šè¿‡å‘页面添加bootstrap-responsive.css文件（位于docs\assets\css下）来让布局具有响应性。

       Bootstrap固定布局

       å¦‚果您想要创建基于固定像素数的网页或app，请看这部分的教程。

       ç”¨æ³•

       body

       divclass="container"

       ...

       /div

       /body

       è§£é‡Š

       bootstrap.css（位于bootstrap的主文件夹的docs\assets\css下）的第到行，为创建主容器渲染样式，从而创建一个固定布局。固定布局的目的是为网页或app创建一个像素（默认）宽的布局。

       Bootstrap固定布局的实例

       ä¸‹é¢çš„代码创建一个网页固定布局。为了定制，除了默认样式，还需创建一个新的css文件example-fixed-layout.css，与bootstrap.css位于同一个文件夹下。

       CSS代码

       body{

       padding-top:px;

       padding-bottom:px;

       }

       .navli{

       padding-top:5px;

       }

       .leaderboard{

       padding:px;

       margin-bottom:px;

       background-image:url('/twitter-bootstrap/images/gridbg.gif');

       background-repeat:repeat;

       -webkit-border-radius:6px;

       -moz-border-radius:6px;

       border-radius:6px;

       }

       .leaderboardh1{

       font-size:px;

       margin-bottom:5px;

       line-height:1;

       letter-spacing:-1px;

       color:#FF;

       }

       .leaderboardp{

       font-size:px;

       font-weight:;

       line-height:px;

       }

       layerui和bootstrap的异同有哪些？

       boostrap国外的前端框架，比较成熟了，并且兼容多种设备，自适配比较好，组件比layui漂亮点

       layui是国人开发的，还处于开发阶段，并不是完全成熟的前端ui框架，准确地说，她更多是为服务端程序员量身定做，你无需涉足各种前端工具的复杂配置，只需面对浏览器本身，让一切你所需要的元素与交互，从这里信手拈来。

       ps：是layui，layer是layui的一个模块为弹窗模块

bootstrap和layer用哪个好？

       ä¸ŽåŒç±»å¼¹å‡ºå±‚组件相比，layer的优势明显。

       Bootstrap和layer布局

       Bootstrap固定布局

       ä½¿ç”¨Bootstrap工具包来创建固定布局和流动布局。教程是基于Bootstrap版本2.0。在版本2.0中，Bootstrap为手机、平板电脑、笔记本、小型台式机、大型宽屏台式机等添加了响应特性。可以通过向页面添加bootstrap-responsive.css文件（位于docs\assets\css下）来让布局具有响应性。

       layer弹窗

       layer，一个可以让你想到即可做到的web弹窗(层)解决方案(js组件)，作者贤心(前端开发工程师)。layer侧重于用户灵活的自定义，为不同人的使用习惯提供动力。其意义在于，可以让您的页面拥有更丰富与便捷的操作体验，而您只需在调用时简单地配置相关参数，即可轻松实现。

       Bootstrap，来自Twitter，是目前很受欢迎的前端框架。Bootstrap是基于HTML、CSS、JavaScript的，它简洁灵活，使得Web开发更加快捷。它由Twitter的设计师MarkOtto和JacobThornton合作开发，是一个CSS/HTML框架。

       Bootstrap提供了优雅的HTML和CSS规范，它即是由动态CSS语言Less写成。Bootstrap一经推出后颇受欢迎，一直是GitHub上的热门开源项目，包括NASA的MSNBC(微软全国广播公司)的BreakingNews都使用了该项目。国内一些移动开发者较为熟悉的框架，如WeX5前端开源框架等，也是基于Bootstrap源码进行性能优化而来。

正点原子lwIP学习笔记——网络数据包管理

       TCP/IP作为一种数据通信机制，其协议栈的实现本质上是对数据包的处理。为了实现高效率的处理，lwIP数据包管理提供了一种高效的机制。协议栈各层能够灵活处理数据包，同时减少数据在各层间传递时的时间和空间开销，这是提高协议栈工作效率的关键。在lwIP中，这种机制被称为pbuf。

       用户的数据经过申请pbuf，拷贝到pbuf结构的内存堆中。在应用层，数据的前面加上应用层首部，在传输层加上传输层首部，最后在网络层加上网络层首部。

       pbuf用于lwIP各层间数据传递，避免各层拷贝数据！

       lwIP与标准TCP/IP协议栈的区别在于，lwIP是一种模糊分层的TCP/IP协议，大大提高了数据传输效率！

       这是定义在pbuf.h中的关键结构体pbuf。通过指针next构建出了一个数据包的单向链表；payload指向的是现在这个结构体所存储的数据区域；tot_len是所有的数据长度，包括当前pbuf和后续所有pbuf；而len就是指当前pbuf的长度；type_internal有四种类型；ref代表当前pbuf被引用的次数。

       右边展示的pbuf_layer就是用来首部地址偏移，用来对应相应的结构体。

       PBUF_RAM采用内存堆，长度不定，一般用在传输数据；PBUF_POOL采用内存池，固定大小的内存块，所以分配速度快（一般字节，就是分配3个PBUF_POOL的内存池），一般用在中断服务中；PBUF_ROM和PBUF_REF都是内存池形式，而且只有pbuf没有数据区域，数据都是直接指向了内存区（PBUF_ROM指向ROM中，PBUF_REF指向RAM中）。

       左边第一幅对应PBUF_RAM；中间两幅对应PBUF_POOL；最后一幅对应PBUF_ROM和PBUF_REF。

       其中PBUF_RAM和PBUF_POOL相对更为常用。

       更多的函数，都可以在pbuf.c和.h中找到。pbuf_alloc()如果是PBUF_REF或者是PBUF_ROM，就会如上图所示，创建一个结构体指针p，然后会进入pbuf_alloc_reference；该函数中，会申请一个pbuf结构体大小的内存；然后调用pbuf_init_alloced_pbuf进行初始化，初始化可以如上图所示。

       如果是PBUF_POOL，会定义q和last两个pbuf结构体指针，q和last都初始化为NULL，rem_len（剩余长度）初始化为（用户指定需要构建的长度）；然后q会经过内存申请，qlen则是去rem_len和当前可申请的数据大小（PBUF_POOL_BUFSIZE_ALIGNED - LWIP_MEM_ALIGN_SIZE(offset)）取小值，然后同样经过pbuf_init_alloced_pbuf初始化q中的pbuf结构体；然后会把offset清零，就是说之后的pbuf都没有offset了，只有第一个链表的元素有offset；经过if判断并判断rem_len的大小，只要还有剩余就会回去循环继续执行上述操作，直到完成3个内存块的初始化。

       首先会计算payload_len和alloc_len，如果是传输数据，那么LWIP_MEM_ALIGN_SIZE(offset)就是，计算得到payload_len=，alloc_len=；然后进入判断payload和alloc的长度是否

       进入判断p是否为空，不为空证明还没有释放；进入while语句，每一次都--ref（引用次数）；然后类似链表删除，调用相应的pbuf类型的内存释放（内存堆或者内存池），直到p全部被释放。源码如下：

       这个就要看你使用的是什么类型，然后会根据类型来决定payload_len的大小，进行相应的payload指针指向数据区前的首部字段。

       这一章主要讲述了lwIP中重要的pbuf缓冲，具体有哪些数据构成，为之后的学习奠定基础，确定了pbuf除了所需传输的数据，还有哪些变量需要添加，如何申请对应的pbuf内存大小，以及对应的内存堆和内存池。