1.DNN什么是Dotnetnuke
2.onnxruntime源码学习-编译与调试 (公网&内网)
3.Python语言学习（三）：Tensorflow_gpu搭建及convlstm核心源码解读
4.9987 用Theano实现Nesterov momentum的正确姿势
5.win10 + CUDA 9.0 + cuDNN 7.0 + tensorflow源码编译安装
6.oneDNN 如何运行在 Nvidia GPU 上
DNN什么是Dotnetnuke
Dotnetnuke是一款基于微软ASP.NET平台的强大Web应用框架，标志着微软对开源态度的重大转变。它被誉为门户网站构建的未来，具备多种特性，使其在各种Web应用场景中大放异彩。 首先，源码学习的好处通用性是其显著特点，无论商业网站、企业内外网还是在线内容发布，几乎都能通过它轻松实现。用户界面设计非常注重用户体验，通过站点向导和帮助图标，使得项目管理变得简单易行，用户可以轻松掌控项目的各个方面。 多网站支持是另一大亮点，一套程序部署即可支持多个独立网站，每个网站都有独立的管理员和定制化的页面布局，满足不同业务需求。 强大的技术支持是Dotnetnuke的又一保障。核心开发团队与全球社区共同维护，用户组、论坛、资源网站和专注于DNN技术的公司提供全方位的支持，确保用户在使用过程中遇到的问题能得到及时解决。 安装过程简单快捷，从官网下载并按照安装指南，几分钟即可完成。此外，它支持本地化，已有种语言包，方便用户将其网站快速转换成不同语言，且语言包易于扩展，用户可轻松创建自定义语言包。 作为开源项目，dll 源码破解Dotnetnuke采用类BSD风格的授权，用户可以根据自身需求，无论是商业还是非商业用途，都可以自由使用、修改源代码，并将其重新发布，充分体现了其开放性。 最后，高扩展性是Dotnetnuke的核心优势，内置功能已经足够构建复杂的内容管理系统。在线式功能块扩展让第三方模块或自开发模块无缝融入，随时为网站增添新功能。 Dotnetnuke的品牌影响力显著，作为商标被开源社区广泛认可，其官网注册用户已超过万，足以证明其在业界的广泛接受度和影响力。扩展资料
Dotnetnuke是一个免费、开源、可扩展、几近完美的内容管理系统。可广泛应用于商务网站、企业内网（Intranet）和外网网站、在线内容发布网站；在化学上DNN表示二硝基萘，该物品主要用于制造廉价炸药。onnxruntime源码学习-编译与调试 (公网&内网)
在深入学习ONNX Runtime的过程中，我决定从1.版本开始，以对比与理解多卡并行技术。为此，我选择了通过`./tools/ci_build/build.py`脚本进行编译，而不是直接执行`build.sh`，因为后者并不直接提供所需的参数。在`build.py:::parse_arguments()`函数中，我找到了可选择的星空云源码参数，例如运行硬件（CPU/GPU）、调试模式（Debug/Release）以及是否并行编译。我特别使用了`--skip_submodule_sync`，以避免因与公网不通而手动下载“submodule”，即`./cmake/external`文件夹下的依赖组件。这样可以节省每次编译时检查依赖组件更新的时间，提高编译效率。同时，我使用`which nvcc`命令来确定`cuda_home`和`cudnn_home`的值。
我的编译环境配置为gcc8.5.0、cuda.7和cmake3..1，其中cmake版本需要不低于3.，gcc版本则至少为7.0，否则编译过程中会出现错误。在编译环境的配置中，可以通过设置PATH和LD_LIBRARY_PATH来指定可执行程序和动态库的路径。对于手动下载“submodule”的不便，可以通过先在公网编译cpu版本，然后在编译开始阶段由构建脚本自动下载所有依赖组件并拷贝至所需目录来简化流程。
编译顺利完成后，生成的so文件并未自动放入bin目录，这可能是由于在安装步骤后bin目录下才会出现相应的文件。接下来，我进入了调试阶段，使用vscode进行调试，最终成功运行了`build/RelWithDebInfo/onnxruntime_shared_lib_test`可执行文件。
在深入研究ONNX Runtime的编译流程时，我发现了一个更深入的资源，它涵盖了从`build.sh`到`build.py`再到`CmakeList.txt`的编译过程，以及上述流程中涉及的脚本解析。对这个流程感兴趣的读者可以进行更深入的研究。
在编译过程中，我遇到了一些问题，request 源码 python如下载cudnn并进行安装，以及解决找不到`stdlib.h`的问题。对于找不到`stdlib.h`，我通过查阅相关文章和理解编译过程中搜索路径的逻辑，最终找到了解决方案。如果忽略这个问题，我选择在另一台机器上重新编译以解决问题。
在使用vscode调试时，我遇到了崩溃问题，这可能是由于vscode、gdb或Debug模式编译出的可执行文件存在潜在问题。通过逐步排除，我最终确定问题可能出在Debug模式编译的可执行文件上。这一系列的探索和解决过程，不仅加深了我对ONNX Runtime的理解，也提高了我的调试和问题解决能力。
Python语言学习（三）：Tensorflow_gpu搭建及convlstm核心源码解读
在探索深度学习领域，使用Python语言进行编程无疑是一条高效且灵活的途径。尤其在科研工作或项目实施中，Python以其丰富的库资源和简单易用的特性，成为了许多专业人士的首选。本文旨在分享在Windows系统下使用Anaconda搭建TensorFlow_gpu环境及解读ConvLSTM核心源码的过程。在提供具体步骤的同时，也期待读者的反馈，以持续改进内容。
为了在Windows系统下搭建适合研究或项目的TensorFlow_gpu环境，首先需要确认TensorFlow_gpu版本及其对应的cuDNN和CUDA版本。访问相关网站，以获取适合自身硬件配置的版本信息。以TensorFlow_gpu2.为例，进行环境搭建。
在Anaconda环境下，通过命令行操作来创建并激活特定环境，工作交流源码如`tensorflow-gpu`环境，选择Python3.版本。接着，安装cuDNN8.1和CUDA.2。推荐使用特定命令确保安装过程顺利，亲测有效。随后，使用清华镜像源安装TensorFlow_gpu=2..0。激活虚拟环境后，使用Python环境验证安装成功，通常通过特定命令检查GPU版本是否正确。
为了在Jupyter Notebook中利用该环境，需要安装ipykernel，并将环境写入notebook的kernel中。激活虚拟环境并打开Jupyter Notebook，通过命令确保内核安装成功。
对于ConvLSTM核心源码的解读，重点在于理解模型的构建与参数设置。模型核心代码通常包括输入数据维度、模型结构、超参数配置等。以官方样例为例，构建模型时需关注样本整理、标签设置、卷积核数量等关键参数。例如，输入数据维度为（None，，，1），输出数据维度为（None，None，，，）。通过返回序列设置，可以控制模型输出的形态，是返回单个时间步的输出还是整个输出序列。
在模型改造中，将彩色图像预测作为目标，需要调整模型的最后层参数，如将`return_sequence`参数更改为`False`，同时将`Conv3D`层修改为`Conv2D`层以适应预测彩色图像的需求。此外，选择合适的损失函数（如MAE）、优化器（如Adam）以及设置Metrics（如MAE）以便在训练过程中监控模型性能。
通过上述步骤，不仅能够搭建出适合特定研究或项目需求的TensorFlow_gpu环境，还能够深入理解并灵活应用ConvLSTM模型。希望本文内容能够为读者提供有价值的指导，并期待在后续过程中持续改进和完善。
用Theano实现Nesterov momentum的正确姿势
这篇文章着重分享了如何在Theano环境中正确实现Nesterov momentum，尤其是在处理双向递归神经网络（bidirectional RNN）时遇到的问题与解决方案。首先，我们理解了深度神经网络（DNN）和RNN的基本结构，以及梯度下降法和Nesterov momentum的概念，这些是神经网络训练的基础。
在使用Theano训练神经网络时，通常需要构建一个符号运算图来表示网络结构，包括输入、参数共享内存和递归计算。Nesterov惯性法的实现关键在于如何正确处理网络参数的更新，避免不必要的变量复制和扫描运算符的增加。在处理双向RNN时，作者发现原始实现中过多的扫描运算符导致编译时间剧增，通过对比Lasagne的源代码，找到了问题所在并进行优化。
正确的实现Nesterov momentum的步骤是，存储奇数步的参数值并在偶数步处求梯度，从而避免了变量的重复存储。这在Theano代码中表现为：
// 正确的实现
params = ... # 偶数步的参数
params_grad = ... # 在偶数步求得的梯度
params = params - learning_rate * params_grad
通过这种方式，作者成功地将编译时间从几个小时缩短到了几分钟，从而提高了训练效率。这个经历提醒我们，深入理解神经网络的数学原理和工具的底层机制对于高效实现至关重要。
win + CUDA 9.0 + cuDNN 7.0 + tensorflow源码编译安装
在配置个人深度学习主机后，安装必备软件环境成为首要任务。使用Anaconda5.0.0 python3.6版本管理Win python环境，新建基于python3.5的tensorflow-gpu-py conda环境。直接使用conda安装tensorflow，会默认安装tensorflow-gpu 1.1.0并主动安装cudatoolkit8.0 + cudnn6.0。若需配置CUDA环境，需自行下载并安装cuda9.0 + cudnn7.0，配置环境变量。pip安装tensorflow，会默认安装最新版本tensorflow-gpu 1.3.0。配置不当导致import tensorflow时报错：'ModuleNotFoundError: No module named '_pywrap_tensorflow_internal'。尝试源码编译tensorflow解决此问题。
查阅tensorflow官网文档，了解cmake window build tensorflow方法。文档中提到，tensorflow源代码目录下有详细网页介绍Windows环境编译方法，包含重要信息。发现安装tensorflow-gpu版本、配置CUDA8.0 + cuDNN6.0/cuDNN5.1或CUDA9.0 + cuDNN7.0时，import tensorflow时报错。查阅错误信息，网上解答提及需要配置正确的CUDA和cuDNN版本。然而，尝试安装和配置后依然报错。安装tensorflow cpu版本无问题，确认CUDA环境配置错误。
决定源码编译tensorflow-gpu以解决问题。查阅文档，执行编译操作。在window环境下编译tensorflow源码，需要准备的软件包括Git、tensorflow源码、anaconda、swig、CMake、CUDA、cuDNN、Visual Studio 。在百度网盘下载相关软件。
配置过程中，修改CMakeLists.txt以适应CUDA 9.0 + cuDNN 7.0。在cmake目录下新建build文件夹，执行命令配置tensorflow。配置后进行编译，遇到问题如：cudnnSetRNNDescriptor参数不匹配、网络访问问题、编码问题、protobuf库下载问题、zlib.h文件不存在、下载链接失败、无法解决的错误等。
为解决这些问题，采取相应措施，如修改cuda_dnn.cc文件、网络代理设置、文件编码转换、忽略警告信息、多次尝试下载、修改cmake配置文件等。遇到无法解决的问题，如CUDA编译器问题、特定源代码文件问题，提交至github tensorflow进行讨论。
完成源码编译后，安装tensorflow-gpu并进行验证。在下一步中继续讨论验证过程和可能遇到的后续问题。整个编译过程耗时、复杂，需要耐心和细心，希望未来能有官方解决方案以简化编译过程。
oneDNN 如何运行在 Nvidia GPU 上
在探索如何利用oneDNN库在Nvidia GPU上进行深度神经网络运算时，需要首先了解其工作原理以及实现步骤。Nvidia GPU与Intel oneAPI的oneDNN库之间紧密协作，实现高效并行计算。以下步骤指导如何将oneDNN集成至Nvidia GPU系统中。
首先，确保安装最新版本的Nvidia驱动，比如T4驱动..与CUDA .2，或V驱动..与CUDA .4。驱动兼容性是确保GPU性能发挥的关键。
其次，构建CUDA设备编译器，参考官方文档完成编译工具链的搭建。这一过程确保了与Nvidia GPU的兼容性。
接下来，针对CUDA设备构建OneDNN库，通常需要配套的cudnn库支持。这一步骤旨在优化深度学习模型的性能。
验证oneDNN提供的矩阵乘积示例在Nvidia GPU上的执行情况，确保库的正确集成与运行。
进一步，通过DPC++/SYCL编写并验证矩阵乘积示例，展示其跨平台特性，不仅适用于Intel GPU，也能在Nvidia、AMD等不同GPU架构上运行。
深入分析oneDNN与cudnn的集成。oneDNN通过提供封装后的cudnn实现，简化了GPU计算流程。从源代码中可见，DPC++仅对cudnn进行了封装，未在性能层面提供显著提升。
DPC++与SYCL作为跨平台的异构计算框架，能够高效运行于多种GPU架构，如Nvidia GPU。它们通过引入扩展C++功能，支持多种架构，简化了代码移植与维护。
在DPC++编译器中，代码被分为主机与设备部分，分别由主机编译器与设备编译器处理。设备编译器后端生成的机器码，如Nvidia NVCC中的PTX或Intel GPU中的SPIR-V，是GPU执行的基础。
综合来看，通过遵循上述步骤与分析，用户能够成功在Nvidia GPU上部署oneDNN，实现高效且跨平台的深度神经网络运算。