深度学习模型包管理工具

您正在查看预发布版本（V2.2.0）的文档。如果您想查阅其他版本的文档，可以点击页面右上角“切换版本”按钮进行切换。

■ 如果您不确定当前使用的产品是哪个版本，请随时联系梅卡曼德技术支持。

本文介绍深度学习模型包管理工具的使用方法和注意事项。

工具介绍

深度学习模型包管理工具是 Mech-Vision 软件提供的管理深度学习模型包的工具，可对Mech-DLK 2.2.0 及之后导出的深度学习模型包进行优化，并对运行模式、硬件类型、模型效率、模型包状态进行管理。此外，该工具还可以监控工控机的 GPU 使用率。

当工程中使用深度学习相关步骤（如深度学习模型包推理、任意物体抓取V2等）时，可将模型包先导入到深度学习模型包管理工具，然后在深度学习步骤中使用。将模型包提前导入该工具，可提前完成模型包的优化。

  • 如需使用任意物体抓取V2模型包进行深度学习推理，请确保你已具备该模型包的软件许可。若无深度学习授权，请联系梅卡曼德销售获取授权。

  • GPU驱动的最低版本要求为526.98，CPU的最低要求为英特尔第6代Core。当硬件条件不满足时将出现深度学习模型包导入失败的情况。

自 Mech-DLK 3.0.0 起，模型包分为单模型包、多模型包两种类型。Mech-DLK 2.4.1 至 Mech-DLK 3.0.0 之前的版本仅支持导出单模型包和级联模型包（即串联模型）。

  • 单模型包：模型包中有且只有一个深度学习算法模块的模型，例如“实例分割”模型。

  • 多模型包：模型包中有多个深度学习算法模块的模型，模块间可按串联、并联或串并联的方式组合。各模块之间的数据流可根据配置进行灵活传递，既支持串联（上一模型的输出作为下一模型的输入），也支持并联或串并联的数据流分支。

    如图所示，多模型包中包含一个图像分类模块和多个缺陷分割模块。其中图像分类模块和多个缺陷分割模块串联，多个缺陷分割模块间并联。

    multi model package example

功能入口

你可以通过以下方式打开该工具：

  • 新建或打开工程后，在菜单栏依次选择深度学习  深度学习模型包管理工具。

  • 在软件的工程编辑区，单击深度学习相关步骤上的配置向导按钮。

  • 在软件的工程编辑区，选中深度学习相关步骤，然后在步骤参数栏中单击模型包管理工具下的打开编辑器按钮。

entrance

界面描述

该工具界面中各选项字段描述如下：

字段 描述

缓存模型包名称

导入的模型包名称。

使用工程

使用模型包的Mech-Vision工程。

模型包类型

模型包的类型，包括单模型包（“目标检测”、“文本识别”等）和多模型包。

运行模式

推理时模型包的运行模式，包括共享模式和性能模式。

  • 共享模式：选择该选项后，多个步骤使用同一模型包时，将排队推理，可节省更多运行资源。

  • 性能模式：选择该选项后，多个步骤使用同一模型包时，将并行推理，可提高运行速度，但会消耗更多运行资源。

硬件类型

使用模型包进行推理时使用的硬件的类型，包括GPU（默认）、GPU（优化）、CPU。

  • CPU：使用CPU进行模型包推理，与GPU相比，推理时间会增加，并且识别精度会有所降低。

  • GPU（默认）：选择该选项后，无需根据硬件设备对模型包进行优化，模型包推理将不会被提速。

  • GPU（优化）：选择该选项后，将根据硬件设备对模型包进行优化，此过程仅需一次，预计耗时5~15分钟，优化后的模型包推理时间将缩短。

工具会通过检测工控机硬件型号来决定硬件类型选项，各选项具体显示规则如下。

  • CPU：当检测到工控机带有Intel品牌的CPU时，显示该选项。

  • GPU（默认）、GPU（优化）：当检测到工控机带有NVIDIA独立显卡，且显卡驱动版本不低于526.98时，显示该选项。

模型效率

可对模型包推理效率进行配置。

模型包状态

模型包的状态，包括 优化中…​、优化失败、未加载、就绪 四种状态。

  • 优化中…​：模型包正在优化中。

  • 优化失败：模型包优化失败。

  • 未加载：模型包尚未被任何深度学习类步骤使用。

  • 就绪：模型包已被深度学习类步骤使用。

操作

可对模型包进行释放或删除操作。

  • 释放：单击释放按钮后，模型包状态由就绪变为未加载，但模型包仍保留在相关深度学习步骤的参数中；重新运行步骤即可恢复为就绪。

  • 删除：单击删除按钮后，模型包将从当前方案中移除。删除后，依赖该模型包的步骤可能运行失败。

当模型包正在优化时，无法被释放或删除，也无法关闭软件。需待优化结束后，重新进行相关操作。

常见操作

本节介绍深度学习模型包管理工具的常见操作。

导入深度学习模型包

  1. 打开深度学习模型包管理工具，在其界面右上角单击导入模型包按钮。

  2. 在弹出的文件选择窗口中选中想要导入的模型包，然后单击打开按钮，该模型包即可出现在工具的列表中。

切换运行模式

如需切换模型包推理的运行模式，可在深度学习模型包管理工具的运行模式字段下单击icon 1按钮，然后选择共享模式或性能模式。

  • 当模型包正在优化或被运行中的工程使用时，无法切换运行模式。

  • 当模型包的运行模式为共享模式时，无法在深度学习步骤的参数栏切换GPU ID。

切换硬件类型

深度学习模型包推理的硬件类型可切换至 GPU（默认）、GPU（优化）或 CPU。

在深度学习模型包管理工具的硬件类型字段下单击icon 1按钮，然后选择GPU（默认）、GPU（优化）或CPU。

  • 当模型包正在优化或被运行中的工程使用时，无法切换硬件类型。

  • 当模型包中包含快速定位时，不支持选择GPU（优化）。

  • 当使用文本检测和文本识别的通用模型包时，不支持选择GPU（默认）。

配置模型效率

配置模型效率的流程如下：

  1. 确定要配置的深度学习模型包。

  2. 单击模型效率下方对应的配置按钮，在弹出的窗口中设置批量大小和精度。模型运行效率受批量大小和精度参数影响。

    • 批量大小：模型推理时，一次性送入神经网络的图像数量，范围为 1~128。增大该值可以加快模型推理速度，但会占用较多显存。当该值设置不合理时，将导致推理速度变慢.

  • 建议批量大小的取值与实际送入神经网络的图像数量保持一致。

  • 实例分割模型不支持设置批量大小，批量大小必须为1。

  • 精度（仅硬件类型为GPU（优化）时可设置）：

    • FP32：模型精度高，推理速度较慢。

    • FP16：模型精度低，推理速度较快。

错误排查

深度学习模型包导入失败

问题现象

选择要导入的深度学习模型包后，提示“深度学习模型导入失败”。

可能原因

  1. 已经导入了名称相同的模型包。

  2. 已经导入了内容相同的模型包。

  3. 软硬件不满足要求。

解决方案

  1. 修改模型包名称，或注销已导入的模型包。

  2. 检查模型包内容，如与已导入模型包完全一致则无需重复导入。

  3. 确保 GPU 驱动的最低版本要求为 526.98，CPU 的最低要求为英特尔第 6 代 Core。

深度学习模型包优化失败

问题现象

优化深度学习模型包时，提示“模型包优化失败”。

可能原因

显存不足。

解决方案

  • 在工具中注销未使用的模型包，然后重新导入要优化的模型包。

  • 将其他模型包的“运行模式”切换为“共享模式”，然后重新导入要优化的模型包。

兼容性说明

  • Mech-Vision 2.2.0 及以上版本可使用Mech-DLK 2.5.4 及以上版本导出的深度学习模型包，支持 Mech-DLK 中所有算法模块，且可以导入和使用多模型包进行推理。但在实际使用中，可能会遇到以下兼容性问题：

    • 快速定位模型不支持使用GPU（优化）的硬件类型。

    • 导入 Mech-DLK 2.5.4 版本的模型包时，后处理界面的类别名称显示可能出现异常。例如，图像分类模型在推理配置工具的可视化配置中仅显示单个类别，无法正常显示全部类别。

  • Mech-Vision 1.7.1 可使用 Mech-DLK 2.4.1 及以上版本导出的深度学习模型包，但会存在以下兼容性问题。建议 Mech-Vision 1.7.2 及以上版本与 Mech-DLK 2.4.1 及更高版本导出的深度学习模型包配合使用。

    • Mech-Vision 无法使用级联模型包；

    • 无法调整模型效率；

    • 图像分类效果可能变差；

    • 模型包无法在 CPU 设备上使用。

  • 如果在 Mech-Vision 1.7.2 中使用 Mech-Vision 1.7.1 优化过的模型包，模型包在“深度学习模型包推理”步骤中首次运行时速度较慢。

  • 当模型包推理时所使用的硬件类型为GPU（优化）时，需注意如下事项。

    模型包在Mech-Vision 1.7.X 中未优化，在Mech-Vision 1.8.0 及以后版本对其优化后，则该模型包在Mech-Vision 1.7.X 中无法直接正常使用，需在深度学习模型包管理工具中单击打开缓存文件夹，将模型包对应的缓存文件夹删除，然后重新对模型包进行优化。

    可通过 model_config.json 文件查看模型包对应的缓存文件夹。

该页面是否有帮助？

可以通过以下方式反馈意见：

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝，将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。

  • Preference
  • 同意
  • 不同意