皮皮网

1.在TitanIDE使用华为Modelarts有多方便
2.（三十八）通俗易懂理解——MXNet如何生成.lst文件和.rec文件
3.GTX 1080 + macOS10.13.2 + MXNet
4.制作MXNET数据集

在TitanIDE使用华为Modelarts有多方便

       华为的源码ModelArts作为一站式AI开发平台，致力于降低AI开发与使用门槛，安装用户可快速创建与部署模型，源码管理全周期AI工作流。安装它提供了数据预处理与半自动化标注、源码大规模分布式训练、安装微信博客系统源码自动化模型生成及端-边-云模型按需部署能力，源码满足不同层次的安装AI开发需求。

       从技术角度看，源码ModelArts底层支持各种异构计算资源，安装开发者可灵活选择，源码无需关注底层技术细节。安装同时，源码它支持TensorFlow、安装MXNet等主流AI开发框架，源码以及开发者自研算法框架，re模块源码提供极大便利。

       然而，ModelArts在安装与使用中确实存在挑战，安装过程可能相对复杂，对初学者来说可能遇到困难，安装时间也可能较长。这些可能影响用户体验与对平台评价。

       最近，TitanIDE已在其模版市场上线ModelArts，为云原生开发工具爱好者提供了便捷途径。TitanIDE安装教程可在其官网获取。

       安装TitanIDE后，用户在模板市场可直接找到ModelArts，创建项目，输入名称，礼品回收 源码选择MNIST手写数字识别，一分钟内即可完成安装，实现即装即用。

       TitanIDE官方提供了详细教程与可直接运行的项目源代码，用户可根据需求进行修改。

       在TitanIDE中使用ModelArts体验出色，响应速度快，配置流程流畅，简化了开发过程。ModelArts模板与TitanIDE集成无缝，自动完成配置，无需繁琐手动设置。

       使用中，ModelArts响应速度快，快速完成数据加载、haork引擎源码模型运行与训练，实时显示开发进展，节省等待时间，让开发者专注于算法与模型设计。

       TitanIDE与ModelArts结合提供丰富开发功能与海量数据资源，支持复杂AI任务，带来便捷高效开发体验。TitanIDE与ModelArts不断优化升级，未来体验将更出色。

（三十八）通俗易懂理解——MXNet如何生成.lst文件和.rec文件

       在MXNet中进行图像项目的处理时，图像读取方法有两路：一是通过.rec格式，虽然文件稳定可移植，但文件较大占用空间；二是利用.lst文件与图像结合，lst文件记录路径和标签，便于数据管理，lighthttpd源码剖析但对图像格式要求高，且对文件路径的完整性敏感。对于分类和目标检测，流程略有差异。

       首先，从文件结构开始，需在根目录下建立文件夹，如im2rec源码、空的mxrec存放打包文件，以及hot_dog、not_hot_dog等子文件夹。针对分类任务，执行im2rec.py工具，通过参数如`--list`生成lst文件，`--recursive`遍历子目录，`--train_ratio`设置训练与测试的比例，以及指定文件前缀和文件夹路径。打包完成后，就生成了lst和相应的rec、idx文件。

       目标检测略有不同，不能直接使用im2rec，如VOC数据集，其xml文件包含了的标注信息。制作lst文件时，需要从xml中提取锚框坐标、id、名称和尺寸等信息，以'\t'分隔。然后，遵循分类的打包流程，将这些信息与图像一起打包成rec文件。

       总结来说，MXNet通过lst和rec文件的配合，提供了灵活和稳定的数据管理方式，但需要注意文件格式的兼容性和路径完整性，具体操作根据任务类型（分类或目标检测）进行适当的调整。

GTX + macOS..2 + MXNet

       æœ€åˆæ‰“ç®—ä¹° Ti，发现 Ti+拓展坞的组合比Gigabyte AORUS GTX Gaming Box贵很多，犹豫再三，还是购买了，妥妥地够用。

        Gigabyte AORUS GTX 官方驱动不支持macOS。我的系统是macOS..4，查过很多资料后，发现解决方案比较麻烦，需要使用macOS ..3的kext，如下图：

        最终还是将系统从..4降到了..2。严格按照 步骤 安装：

       å®‰è£…成功后在Graphics/Displays和NVIDIA Driver Manager可查到外置显卡的信息：

        目前无法通过pip安装GPU版本的MXNet，只能通过 源码 )安装：

       å®‰è£…好CUDA9.1后，测试GPU：

        安装好cuDNN7.0.5，构建MXNet，最后采用基于MXNet的测试用例验证一下包：

        安装过程中需要注意的是：

        用install_name_tool将lib指向修改为正确的即可：

制作MXNET数据集

       在MXNet框架中，读取图像主要采用两种方法：一种是处理.rec格式文件，类似于Caffe框架中的LMDB，优点在于文件稳定，移植性强，但在空间占用和数据增删灵活性上存在不足。另一种方式是结合.lst文件与图像，首先在生成.rec文件过程中会同步创建.lst文件，即图像路径与标签对应列表，以此灵活控制训练集与测试集变化，但对图像格式要求严格，且在图像路径变更或删除时可能无法找到对应图像。MXNet提供im2rec.py文件来生成.lst和.rec文件，源码可从官方GitHub下载，具体参数解释详尽，使用时只需指定.lst文件位置、图像文件夹及数据前缀。

       使用im2rec.py文件生成.lst和.rec文件的步骤如下：

       1. 首先，使用命令行运行im2rec.py，参数包括输出.lst文件位置、文件夹路径和数据前缀，例如：python im2rec.py --list /home/mark7/Downloads/data /home/mark7/Downloads/test_images。这将生成对应.lst文件，格式为：路径与标签的对应列表。

       2. 其次，使用已生成的.lst文件和文件夹路径，运行另一条命令生成.rec文件，如：python im2rec.py /home/mark7/Downloads/data /home/mark7/Downloads/test_images，这将完成.rec文件的生成。

       在自定义数据集时，需自行制作.lst文件。一种常用工具是labelme，其生成的标签文件可通过Python的json处理模块读取，获取标注数据。MXNet要求lst文件格式固定，需参照官方文档理解具体意义。在处理标注数据后，可自动生成lst文件，如使用python处理后的json文件内容制作lst文件，再使用im2rec.py生成.rec文件。最终，通过调用MXNet函数，即可利用自定义的rec、lst和inx文件进行模型训练。