皮皮网

1.序列化推荐中的GRU与Transformer源码解析之一
2.Pytorch_循环神经网络RNN
3.openpilot-deep-dive源码解析（1）
4.本科生学深度学习一最简单的LSTM讲解，多图展示，源码实践，建议收藏
5.在Java源码中可以通过调用Menu类的add()方法添加菜单项，下列关于add方法的重载形式中，错误的apollo源码怎么下是()。

序列化推荐中的GRU与Transformer源码解析之一

       GRU4Rec源码(TF版本)：github.com/Songweiping/...

       Transformer源码：github.com/kang/SASR...

       序列化推荐领域中，GRU4Rec成功地将循环神经网络(NLP和时序预测常用)应用至推荐领域，此模型取得了良好效果。紧随其后的是"SASR"，基于注意力机制的自适应序列推荐模型，实验表明其性能超越了GRU4Rec。

       两篇论文的tp redis 源码作者均在源码公开阶段，为研究者提供参考。我们深入剖析源码，后续系列文章将比较GRU4Rec与SASR的差异、联系与优缺点。

       GRU4Rec模型结构简洁，采用门限循环神经网络，Embedding层处理item_id的one_hot编码，降低维度，便于优化。

       并行化训练数据集优化了模型训练速度，构建了training_batch，便于使用GPU加速矩阵运算。全球微云源码

       负采样技术提高了训练频率，利用同一时刻不同session中的item作为负样本。

       模型设计了贝叶斯排序和TOP1等pairwise方法计算排序损失，认为pairwise结果优于pointwise。

       实验数据集包括RSC和私有VIDEO集，结果表明GRU4Rec模型性能优秀，测试集评价指标包括召回率(recall)和倒序排名得分(mrr)。

       深入分析模型的Tensorflow版本代码，主要从main.py和model.py文件开始，重点解析模型定义、损失函数、GRU4Rec核心代码、安装apk源码数据集初始化、模型训练与预测以及评估函数。

       GRU4Rec的代码分析暂告一段落，后续将详细梳理SASR代码，目标是通过三篇文章全面探讨两个模型的细节。感谢关注。

Pytorch_循环神经网络RNN

        RNN是Recurrent Neural Networks的缩写，即循环神经网络，它常用于解决序列问题。RNN有记忆功能，除了当前输入，还把上下文环境作为预测的依据。它常用于语音识别、翻译等场景之中。

        RNN是序列模型的基础，尽管能够直接调用现成的RNN算法，但后续的复杂网络很多构建在RNN网络的基础之上，如Attention方法需要使用RNN的隐藏层数据。RNN的原理并不复杂，但由于其中包括循环，很难用语言或者画图来描述，最好的方法是自己手动编写一个RNN网络。本篇将介绍RNN网络的原理及具体实现。

        在学习循环神经网络之前，先看看什么是序列。序列sequence简称seq，是有先后顺序的一组数据。自然语言处理是最为典型的序列问题，比如将一句话翻译成另一句话时，其中某个词汇的含义不仅取决于它本身，还与它前后的多个单词相关。类似的，如果想预测电影的情节发展，不仅与当前的画面有关，还与当前的一系列前情有关。在使用序列模型预测的过程中，输入是序列，而输出是一个或多个预测值。

        在使用深度学习模型解决序列问题时，最容易混淆的是，序列与序列中的元素。在不同的场景中，定义序列的方式不同，当分析单词的感情色彩时，一个单词是一个序列seq；当分析句子感情色彩时，一个句子是一个seq，其中的每个单词是序列中的元素；当分析文章感情色彩时，一篇文章是一个seq。简单地说，seq是最终使用模型时的输入数据，由一系列元素组成。

        当分析句子的感情色彩时，以句为seq，而句中包含的各个单词的含义，以及单词间的关系是具体分析的对象，此时，单词是序列中的元素，每一个单词又可有多维特征。从单词中提取特征的方法将在后面的自然语言处理中介绍。

        RNN有很多种形式，单个输入单个输入；多个输入多个输出，单个输入多个输出等等。

        举个最简单的例子：用模型预测一个四字短语的感情色彩，它的输入为四个元素X={ x1,x2,x3,x4}，它的输出为单个值Y={ y1}。字的排列顺序至关重要，比如“从好变坏”和“从坏变好”，表达的意思完全相反。之所以输入输出的个数不需要一一对应，是因为中间的隐藏层，变向存储中间信息。

        如果把模型设想成黑盒，如下图所示：

        如果模型使用全连接网络，在每次迭代时，模型将计算各个元素x1,x2...中各个特征f1,f2...代入网络，求它们对结果y的贡献度。

        RNN网络则要复杂一些，在模型内部，它不是将序列中所有元素的特征一次性输入模型，而是每一次将序列中单个元素的特征输入模型，下图描述了RNN的数据处理过程，左图为分步展示，右图将所有时序步骤抽象成单一模块。

        第一步：将第一个元素x1的特征f1,f2...输入模型，模型根据输入计算出隐藏层h。

        第二步：将第二个元素x2的特征输入模型，模型根据输入和上一步产生的h再计算隐藏层h，其它元素以此类推。

        第三步：将最后一个元素xn的特征输入模型，模型根据输入和上一步产生的h计算隐藏层h和预测值y。

        隐藏层h可视为将序列中前面元素的特征和位置通过编码向前传递，从而对输出y发生作用，隐藏层的大小决定了模型携带信息量的多少。隐藏层也可以作为模型的输入从外部传入，以及作为模型的输出返回给外部调用。

        本例仍使用上篇中的航空乘客序列数据，分别用两种方法实现RNN：自己编写程序实现RNN模型，以及调用Pytorch提供的RNN模型。前一种方法主要用于剖析原理，后一种用于展示常用的调用方法。

        首先导入头文件，读取乘客数据，做归一化处理，并将数据切分为测试集和训练集，与之前不同的是加入了create_dataset函数，用于生成序列数据，序列的输入部分，每个元素中包括两个特征：前一个月的乘客量prev和月份值mon，这里的月份值并不是关键特征，主要用于在例程中展示如何使用多个特征。

        第一步：实现模型类，此例中的RNN模型除了全连接层，还生成了一个隐藏层，并在下一次前向传播时将隐藏层输出的数据与输入数据组合后再代入模型运算。

        第二步，训练模型，使用全部数据训练次，在每次训练时，内部for循环将序列中的每个元素代入模型，并将模型输出的隐藏层和下一个元素一起送入下一次迭代。

        第三步：预测和作图，预测的过程与训练一样，把全部数据拆分成元素代入模型，并将每一次预测结果存储在数组中，并作图显示。

        需要注意的是，在训练和预测过程中，每一次开始输入新序列之前，都重置了隐藏层，这是由于隐藏层的内容只与当前序列相关，序列之间并无连续性。

        程序输出结果如下图所示：

        经过次迭代，使用RNN的效果明显优于上一篇中使用全连接网络的拟合效果，还可以通过调整超参数以及选择不同特征，进一步优化。

        使用Pytorch提供的RNN模型，torch.nn.RNN类可直接使用，是循环网络最常用的解决方案。RNN，LSTM，GRU等循环网络都实现在同一源码文件torch/nn/modules/rnn.py中。

        第一步：创建模型，模型包含两部分，第一部分是Pytorch提供的RNN层，第二部分是一个全连接层，用于将RNN的输出转换成输出目标的维度。

        Pytorch的RNN前向传播允许将隐藏层数据h作为参数传入模型，并将模型产生的h和y作为函数返回值。形如： pred, h_state = model(x, h_state)

        什么情况下需要接收隐藏层的状态h_state，并转入下一次迭代呢？当处理单个seq时，h在内部前向传递；当序列与序列之间也存在前后依赖关系时，可以接收h_state并传入下一步迭代。另外，当模型比较复杂如LSTM模型包含众多参数，传递会增加模型的复杂度，使训练过程变慢。本例未将隐藏层转到模型外部，这是由于模型内部实现了对整个序列的处理，而非处理单个元素，而每次代入的序列之间又没有连续性。

        第二步：训练模型，与上例中把序列中的元素逐个代入模型不同，本例一次性把整个序列代入了模型，因此，只有一个for循环。

        Pythorch支持批量处理，前向传递时输入数据格式是[seq_len, batch_size, input_dim)，本例中输入数据的维度是[, 1, 2]，input_dim是每个元素的特征数，batch_size是训练的序列个数，seq_len是序列的长度，这里使用%作为训练数据，seq_len为。如果数据维度的顺序与要求不一致，一般使用transpose转换。

        第三步：预测和作图，将全部数据作为序列代入模型，并用预测值作图。

        程序输出结果如下图所示：

        可以看到，经过次迭代，在前个元素的训练集上拟合得很好，但在测试集效果较差，可能存在过拟合。

openpilot-deep-dive源码解析（1）

       文章内容涉及openpilot的路径规划，具体解析如下：

       首先，导入所需的数据集、模型、loss函数以及各类公有库，如Comma2kSequenceDataset、std::string源码MultipleTrajectoryPredictionLoss、SequencePlanningNetwork等。这是进行训练的基础，确保所有工具都已准备好。

       接着，对训练参数进行配置，包括dist_sampler_params。关键参数包含：

       num_replicas：进程数，等于训练时的世界大小。

       rank：当前卡的ID。

       persistent_workers：设置为True，确保数据集在被遍历一次后不被销毁，以保持持续使用。

       prefetch_factor：设置为2，预装载数据量，默认值是2*num_workers批量大小。

       使用DistributedSampler和DataLoader进行数据加载。

       模型的构建包括模型本身、优化器、学习率调度器，以及GRU隐状态的初始化。

       分布式训练涉及DDP相关代码，实现初始化、训练和销毁。

       最后，主训练流程开始，参考相关文档或代码进行执行。

本科生学深度学习一最简单的LSTM讲解，多图展示，源码实践，建议收藏

       作为本科新手，理解深度学习中的LSTM并非难事。LSTM是一种专为解决RNN长期依赖问题而设计的循环神经网络，它的独特之处在于其结构中的门控单元，包括遗忘门、输入门和输出门，它们共同控制信息的流动和记忆单元的更新。

       问题出在RNN的梯度消失和爆炸：当参数过大或过小时，会导致梯度问题。为解决这个问题，LSTM引入了记忆细胞，通过记忆单元和门的协作，限制信息的增减，保持梯度稳定。遗忘门会根据当前输入和前一时刻的输出决定遗忘部分记忆，输入门则控制新信息的添加，输出门则筛选并决定输出哪些记忆。

       直观来说，LSTM的网络结构就像一个记忆库，信息通过门的控制在细胞中流动，确保信息的持久性。PyTorch库提供了LSTM模块，通过实例演示，我们可以看到它在实际中的应用效果。虽然LSTM参数多、训练复杂，但在处理长序列问题时效果显著，有时会被更轻量级的GRU所替代。

       如果你对LSTM的原理或使用感兴趣，可以参考我的源码示例，或者在我的公众号留言交流。感谢关注和支持，期待下期的GRU讲解。

在Java源码中可以通过调用Menu类的add()方法添加菜单项，下列关于add方法的重载形式中，错误的是()。

       答案：B

       选项B的最后一个参数类型有误，拟修改为public abstract MuItm add (it grupId, it itmId, it rdr, it titlRs)。