1.[推理部署]🔥🔥🔥 全网最详细 ONNXRuntime C++/Java/Python 资料！码下
2.ncnn和pnnx和onnx
3.深度语义匹配模型DSSM及其变体CNN-DSSM,码下 LSTM-DSSM
4.Python时序预测系列基于CNN+LSTM+Attention实现单变量时间序列预测（案例+源码）
5.ncnn的使用2：onnx转ncnn模型跑resnet18
6.教程三分钟学习NCNN算法移植

[推理部署]🔥🔥🔥 全网最详细 ONNXRuntime C++/Java/Python 资料！

       全网最详尽ONNXRuntime C++/Java/Python资料概览

       近期，码下我计划整理一系列关于TNN、码下MNN、码下NCNN和ONNXRuntime的码下iappQQ邮箱源码笔记，用以记录实践中的码下经验和学习成果，方便日后快速解决问题（目前已有超过个C++推理示例，码下形成了可复用的码下库）。本文档详尽收录了ONNXRuntime的码下相关资源，包括官方文档、码下C++、码下Java和Python接口，码下以及我在使用中的码下实用技巧。

       1. 官方文档和API参考

       2. C++ API深度解析与案例

       3. Java接口使用指南

       4. Docker镜像安装与配置

       5. 源代码编译与理解

       6. 与ONNX Opset兼容性探讨

       7. 与其他转换工具兼容性

       8. Ort::Value获取值方法：At()、码下裸指针与引用

       9. 源码实战案例：目标检测、人脸识别等

       . 动态维度推理与高级应用

       . 学习ONNXRuntime源码

       . 推荐阅读与持续更新

       这份内容将持续更新，欢迎关注并收藏，以便获取最新的模型案例和功能介绍。Markdown版本可在我的仓库获取：[仓库链接]

ncnn和pnnx和onnx

       Pnnx作为ncnn的中间件，允许ncnn支持torchscript，简化了转换过程。它不直接是一个推理库，而是提供了一种将计算图导出为其他推理库所需文件格式的方法。

       NCNN提供多种功能，包括手动修改参数、动态操作和加速技巧。这些修改通常针对与ONNX和ATEN的兼容性。通过理解和运用这些技巧，可以更好地利用NCNN的性能。

       在转换过程中，涉及到一个概念叫“lower”，即使用支持的算子来模拟模型中不支持的算子。例如，如果模型包含一个带有padding的卷积，而推理库不支持padding，那么lower过程会将该卷积分解为垫阵和无padding的卷积。同样，sigmoid操作可能会被分解为多个基本操作以模拟其功能。

       在将模型转换为ONNX时，lower操作会重复进行两次。从python代码到torchscript再到ONNX，这会导致计算图变得庞大且细碎，仪表指标源码不利于推理优化和模型理解。此外，这种转换可能会引入额外的算子，如Gather、Unsqueeze，这些在NCNN中可能不被支持。

       Pnnx位于torchscript之下，提供了一种从torchscript导出ncnn模型的新途径，从而实现模型部署。Pnnx的算子定义与python代码的接口保持一致，支持类似于python的API。通过保留原始模型的算子定义和参数，Pnnx模型可以被轻松转换回原始python代码或导出为Pnnx。

       在NCNN源码中，magic值记录了推理框架的版本号，表示模型文件的特定信息。Pnnx参考了NCNN的模型写法，支持更灵活的参数键，如字符串，以与python API保持一致。此外，Pnnx支持保留算术表达式的整体性，优化GPU和可编程硬件的性能，并提供自定义算子的导出和优化功能。

       在将模型转换为Pnnx时，可以指定模块操作，如Focus，以合并多个小操作为一个大操作，提高效率。Pnnx还支持量化感知训练的算子导出，并在转换过程中记录量化参数，解决了量化模型导出的问题。此外，Pnnx允许在模型中指定输入形状，有助于优化表达式和常量折叠过程，同时支持静态和动态形状。

       在Pnnx的内部图优化过程中，使用模板匹配技术从torchscript ir中找到对应的封闭子图，并将其替换为目标操作，从而优化模型结构。Pnnx提供了一个完整的框架，包括加载torchscript、SWD源码开源转换为Pnnx ir、进行图优化和转换为python代码的过程。

       当前Pnnx项目兼容PyTorch 1.8、1.9和1.版本，支持种PyTorch上层操作中种转换为NCNN对应的操作。Pnnx已经实现了自动单元测试和代码覆盖率，对于常用CNN模型如ResNet和ShuffleNet，转换和推理结果与原始python版本一致。未来计划增加更多PyTorch算子支持、增强单元测试、测试端到端RNN和Transformer模型，并编写使用教程和开发文档。

深度语义匹配模型DSSM及其变体CNN-DSSM, LSTM-DSSM

       在研究推荐和排序算法的过程中，DSSM（深度结构语义模型）是不可或缺的一部分。本文将详细介绍DSSM及其变体CNN-DSSM和LSTM-DSSM。

       论文链接：microsoft.com/en-us/res...

       源码：github.com/baharefatemi...

       简介

       现代搜索引擎在检索文章时，通常将文章中的关键字与query中的内容进行比较。然而，这种做法存在一个问题，即文字具有多义性，同样的含义可以用多种表达方式进行表达。因此，我们需要对query和document进行语义上的相似度匹配。

       通常，我们会使用隐语义模型LSA、LDA来衡量Query和Document之间的相似性。然而，由于LSA、LDA是无监督学习的模型，这些模型的效果并不符合预期。基于隐语义模型，有两种扩展：第一种是使用BLTM结合DPM来拟合query和document之间的关系，另一种方法是采用深度模型对query和document进行自编码，但这两种方法都是无监督的方法。

       本文针对搜索场景，提出了一系列深度网络语义模型（Deep Structured Semantic Models），模型的核心思想是：首先将query和document映射到同一个低维语义空间，然后通过cosine来计算query和document之间的距离。与之前的无监督学习模型不同，DSSM使用document的点击量进行训练，因此DSSM的效果要优于其他无监督模型。

       接下来，空间签到源码我们来看看DSSM是如何对query和document进行处理的。

       DSSM的结构采用DNN结构，将输入的query和document转换到低维的语义空间，然后计算他们的cosine相似度。

       语义特征计算部分，首先使用DNN网络将query和document从高维的空间转换到低维的空间。对输入的query和document假设他们是x，经过转换的向量为y，[公式]表示隐藏层，[公式]分别表示隐藏层的参数和偏置。

       最后一层采用tanh函数作为激活函数。最后将query和document映射到低维向量之后，我们采用cosine计算他们的相似度。

       为了解决query和document在第一层维度非常大的问题，本文提出了word hashing的方法，来对文本进行降维。做法就是使用n-gram来表示一个词语，例如good，我们把它拆分成trigram：go goo ood od。

       为了训练DSSM，我们需要得到query和他们对应的点击的document。作者假设如果用户点击了某个document，那么这个query和document就是相关的。因此，作者认为DSSM的目标是最大化给定query所对应的document的条件似然函数。条件似然函数的计算方式为：[公式]。其中，[公式]是平滑参数，D是针对query的所有可能相关的document集合，[公式]表示和query有关的且用户点击的document。

       有了以上的介绍，我们所要最大化的条件似然函数就是[公式]。因此，loss函数就是：[公式]。文中作者采用梯度下降法来最大化loss函数。

       作者收集了现实生活中用户搜索的日志作为实验的数据集，这份数据包含条用户query，平均每条query包含条url。每一个(query, document)的相关性分为5档，分别是0~4分，得分是人工评价的。模型的app整套源码排序效果通过NDCG来衡量，这是推荐系统常见的评价指标，具体就是评价推荐给用户的内容是否是用户感兴趣的，而用户的阅读习惯一般是从上到下，所以我们希望将最相关的内容排在前面，然后以此类推。

       实验效果如下，其中：首先我们可以看出DSSM的效果优于其他模型，并且L-WH DNN的效果是最好的。

       DSSM是搜索里非常经典的一个算法，在工业界也广泛被使用。而且，根据应用场景的不同，对特征处理也会有一些区别。例如，在推荐召回模块的应用中，我们的输入可能就不再是query和doc的word embedding，而是用户和推荐的物品（例如**，商品）的特征。

       本文依然是由DSSM的作者提出，在语义特征计算部分采用CNN网络，网络结构如上图所示。在词向量的表达上依然采用了word hash（不知道为啥作者对word hash这么执着）。

       不过，trigram表示不能忽略了文本的上下文信息，因此作者在word trigram的基础上增加了letter trigram。在一定的窗口大小内，对该窗口内的word进行拼接就是letter trigram，例如I have an apple，可以被拼接为 # I have, I have an, ... 以此类推。

       然后以上表示经过卷积层，max-pooling，和全连接之后得到query和doc的低维向量。最后计算相似度的时候还是cosine距离。

       本文针对CNN-DSSM无法捕捉长文本的上下文信息的缺点，引入了LSTM。同时在LSTM的cell中加入了peehole，LSTM的cell结构如上图所示。

       与传统的LSTM不同，作者在遗忘门、输入门、输出门中都考虑了[公式]，总体来说考虑的信息更丰富。

Python时序预测系列基于CNN+LSTM+Attention实现单变量时间序列预测（案例+源码）

       本文将介绍如何结合CNN、LSTM和Attention机制实现单变量时间序列预测。这种方法能够有效处理序列数据中的时空特征，结合了CNN在局部特征捕捉方面的优势和LSTM在时间依赖性处理上的能力。此外，引入注意力机制能够选择性关注序列中的关键信息，增强模型对细微和语境相关细节的捕捉能力。

       具体实现步骤如下：

       首先，读取数据集。数据集包含条记录，按照8:2的比例划分为训练集和测试集。训练集包含条数据，用于模型训练；测试集包含条数据，用于评估模型预测效果。

       接着，对数据进行归一化处理，确保输入模型的数据在一定范围内，有利于模型训练和预测。

       构造数据集时，构建输入序列（时间窗口）和输出标签。这些序列将被输入到模型中，以预测未来的时间点。

       构建模拟合模型进行预测，通过训练得到的模型参数，将输入序列作为输入，预测下一个时间点的值。

       展示预测效果，包括测试集的真实值与预测值的对比，以及原始数据、训练集预测结果和测试集预测结果的可视化。

       总结，本文基于CNN、LSTM和Attention机制实现的单变量时间序列预测方法，能够有效处理序列数据中的复杂特征。实践过程中，通过合理的数据划分、归一化处理和模型结构设计，实现了对时间序列数据的准确预测。希望本文的分享能为读者提供宝贵的参考，促进在时间序列预测领域的深入研究和应用。

ncnn的使用2：onnx转ncnn模型跑resnet

       NCNN的使用教程：将ONNX模型转换为运行ResNet

       NCNN提供了强大的模型转换工具，便于将Caffe、ONNX等模型转换为ncnn格式。在编译后的ncnn build/tools目录下，我们找到了onnx2ncnn工具。本文将展示如何使用它将PyTorch导出的ResNet的ONNX模型转换为ncnn适用的模型。

       项目的结构如下：src存放源代码，python包含脚本，model_param存放模型文件，image存放推理，bin存放可执行文件。在bin目录下，我们拷贝了来自ncnn/build/tools/onnx的onnx2ncnn工具。

       在python脚本export_res.py中，通过给定示例输入，我们导出resnet的ONNX模型至model_param目录。然后，我们使用ncnn官方提供的工具onnx2ncnn进行转换，生成resnet.param和resnet.bin文件，分别存储模型结构和参数。

       resnet.param文件包含（magic number）和层与blob的数量，其中blob用于存储中间数据。Blob的数量通常比层多，因为每个层可能有多个输入和输出。例如，Convolution层有输入和输出blob，而Split算子则有多个输入和输出。

       在推理代码中，我们参考ncnn/examples/squeezenet.cpp编写，首先创建Net实例，加载模型参数（resnet.param和resnet.bin），并确保输入转换为RGB格式，因为OpenCV默认为BGR。此外，还需对进行归一化处理，以适应模型的输入要求。

       CMakeLists.txt文件中，我们设置了ncnn库的搜索路径，并将可执行文件输出到bin目录下，同时链接ncnn和OpenCV库。

       通过以上步骤，你已经学会了如何使用ncnn将ONNX格式的ResNet模型转换并进行推理。

教程三分钟学习NCNN算法移植

       本文介绍如何基于EASY EAI Nano移植NCNN部署库，以及如何成功运行yolov4的Demo。NCNN是由腾讯优图实验室开发的高性能神经网络前向计算框架，专为手机端优化，支持多输入、多分支结构的卷积神经网络计算，并且无第三方库依赖，支持跨平台操作。NCNN基于C++实现，支持ARM NEON汇编级优化，内存管理精细，支持多核并行计算，以及基于Vulkan API的GPU加速。支持8bit量化和半精度浮点存储，可导入多种框架的模型。

       NCNN广泛应用于图像分类、风格迁移、目标检测、人脸检测等领域，并已被多款APP使用。接下来，我们通过以下步骤完成NCNN算法的移植学习。

       1. 下载与编译NCNN源码

       从百度网盘获取NCNN源码包，使用解压命令展开NCNN库。

       执行编译指令，生成NCNN库文件。

       2. 运行yolov4的Demo

       下载包含yolov4基于NCNN运行的Demo，解压并执行编译指令。

       将编译后的可执行程序文件通过Ubuntu推送至EASY EAI Nano板卡的指定目录。

       在EASY EAI Nano板卡执行程序，观察执行结果。

       在Ubuntu端获取识别成功的，并查看实际效果。

       至此，NCNN算法移植学习完成。更多教程请持续关注我们。欲了解更多关于EASY EAI Nano的信息，请访问官方页面。

（论文加源码）基于连续卷积神经网络（CNN）（SVM）（MLP）提取脑电微分熵特征的DEAP脑电情绪识别

       在本文中，我们采用连续卷积神经网络（CNN）对DEAP数据集进行脑电情绪识别。主要内容是将脑电信号在频域分段后提取其微分熵特征，构建三维脑电特征输入到CNN中。实验结果表明，该方法在情感识别任务上取得了.%的准确率。

       首先，我们采用5种频率带对脑电信号进行特化处理，然后将其转换为**的格式。接着，我们提取了每个脑电分段的微分熵特征，并对其进行了归一化处理，将数据转换为*N*4*的格式。在这一过程中，我们利用了国际-系统，将一维的DE特征变换为二维平面，再将其堆叠成三维特征输入。

       在构建连续卷积神经网络（CNN）模型时，我们使用了一个包含四个卷积层的网络，每个卷积层后面都添加了一个具有退出操作的全连接层用于特征融合，并在最后使用了softmax层进行分类预测。模型设计时考虑了零填充以防止立方体边缘信息丢失。实验结果表明，这种方法在情感识别任务上表现良好，准确率为.%。

       为了对比，我们还编写了支持向量机（SVM）和多层感知器（MLP）的代码，结果分别为.%和.%的准确率。实验结果表明，连续卷积神经网络模型在DEAP数据集上表现最好。

       总的来说，通过结合不同频率带的信号特征，同时保持通道间的空间信息，我们的三维脑电特征提取方法在连续卷积神经网络模型上的实验结果显示出高效性。与其他相关方法相比，该方法在唤醒和价分类任务上的平均准确率分别达到了.%和.%，取得了最佳效果。

       完整代码和论文资源可以在此获取。

ConvNeXt详解

       ConvNeXt是由FAIR团队近期提出的卷积神经网络架构，它凭借传统的卷积结构在ImageNet Top-1分类任务中取得了优异性能，与近年来流行的基于Transformer的视觉解决方案形成鲜明对比。这一成果得到了业界的广泛关注，包括何恺明、RGB和Yann LeCun等知名学者的支持。ConvNeXt并非创新复杂，而是通过组合已有的网络组件，如深度可分离卷积、逆瓶颈层和大卷积核等，经过大量实验调整，实现了高性能。通过学习ConvNeXt，研究者可以深入了解CNN和Transformer之间的竞争，并从实践层面观察它们的性能。

       论文和源码链接：[arxiv.org/abs/....][github.com/facebookrese...] ConvNeXt的发展路径包括从ResNet-出发，逐步优化宏观设计、深度可分离卷积等五个角度，借鉴Swin Transformer的理念。训练策略的改进，如增加Epoch数、优化优化器、数据增强和正则化，显著提升了模型性能。在模型结构上，ConvNeXt对每个Stage的计算比例、Patchify Stem、分组卷积和逆瓶颈层进行了调整，引入大卷积核并进行了细致的细节优化，如GELU替换ReLU、减少激活函数和归一化层，以及BN和LN的使用，这些改进都促使模型精度提升至.5%。不同规模的ConvNeXt版本也展示了其在ImageNet-1K上的多样化性能。总的来说，ConvNeXt的成功证明了在视觉任务中，Transformer的突出表现并非源于理论优势，而是源于近年来优化技巧的积累，类似于ResNet-Timm的调参提升。尽管如此，Transformer在视觉领域的潜力仍值得探索，未来可能需要更适应图像任务的新型结构出现。