在 Mech-MSR 中管理深度学习模型包

您正在查看最新版本（V2.2.0）的文档。如果您想查阅其他版本的文档，可以点击页面右上角“切换版本”按钮进行切换。

■ 如果您不确定当前使用的产品是哪个版本，请随时联系梅卡曼德技术支持。

在Mech-MSR中，你可以通过深度学习模型包管理工具导入模型包。

工具介绍

深度学习模型包管理工具是Mech-MSR软件提供的管理深度学习模型包的工具，可对Mech-DLK 2.6.1及之后版本导出的深度学习模型包进行优化，并对模型包的运行模式、硬件类型、模型效率、模型包状态进行管理。此外，该工具还可以监控工控机的GPU使用率。

当工程中使用了深度学习模型包推理步骤时，可将模型包先导入到深度学习模型包管理工具，然后在该步骤中使用。将模型包提前导入该工具，可提前完成模型包的优化。

  • 如需使用导入的模型包进行深度学习推理，请确保你已具备Mech-DLK软件许可。若无深度学习授权，请联系梅卡曼德销售获取授权（可选择Pro-Run、Pro-Train或单个模型包授权）。若已有深度学习授权，请确认授权有效、与要使用的模型包匹配，且可被当前工控机识别。如不满足，请联系梅卡曼德销售获取有效授权。

  • GPU驱动的最低版本要求为526.98，CPU的最低要求为英特尔第6代Core。当硬件条件不满足时将出现深度学习模型包导入失败的情况。

自 Mech-DLK 3.0.0 起，模型包分为单模型包、多模型包两种类型。Mech-DLK 2.4.1 至 Mech-DLK 3.0.0 之前的版本仅支持导出单模型包和级联模型包（即串联模型）。

  • 单模型包：模型包中有且只有一个深度学习算法模块的模型，例如实例分割模型。

  • 多模型包：模型包中有多个深度学习算法模块的模型，模块间可按串联、并联或串并联的方式组合。

    如图所示，多模型包中包含一个图像分类模块和多个缺陷分割模块。其中图像分类模块和多个缺陷分割模块串联，多个缺陷分割模块间并联。

    ][align="center"

功能入口

你可以通过以下方式打开该工具：

  • 新建或打开工程后，在菜单栏依次选择深度学习  深度学习模型包管理工具。

  • 在软件的工程编辑区，单击深度学习模型包推理步骤上的配置向导按钮。

  • 在软件的工程编辑区，选中深度学习模型包推理步骤，然后在步骤参数栏中单击模型包管理工具下的打开编辑器按钮。

deep learning model management

界面描述

该工具界面中各选项字段描述如下：

字段 描述

缓存模型包名称

导入的模型包名称。

使用工程

使用模型包的Mech-MSR工程。

模型包类型

模型包的类型，包括单模型包（目标检测、文本识别等）和多模型包。

运行模式

推理时模型包的运行模式，包括共享模式和性能模式。

  • 共享模式：选择该选项后，多个步骤使用同一模型包时，将排队推理，可节省更多运行资源。

  • 性能模式：选择该选项后，多个步骤使用同一模型包时，将并行推理，可提高运行速度，但会消耗更多运行资源。

硬件类型

使用模型包进行推理时使用的硬件的类型，包括GPU（默认）、GPU（优化）、CPU。

  • CPU：使用CPU进行模型包推理，与GPU相比，推理时间会增加，并且识别精度会有所降低。

  • GPU（默认）：选择该选项后，无需根据硬件设备对模型包进行优化，模型包推理将不会被提速。

  • GPU（优化）：选择该选项后，将根据硬件设备对模型包进行优化，此过程仅需一次，预计耗时5~15分钟，优化后的模型包推理时间将缩短。

工具会通过检测工控机硬件型号来决定硬件类型选项，各选项具体显示规则如下。

  • CPU：当检测到工控机带有Intel品牌的CPU时，显示该选项。

  • GPU（默认）、GPU（优化）：当检测到工控机带有NVIDIA独立显卡，且显卡驱动版本不低于526.98时，显示该选项。

模型效率

可对模型包推理效率进行配置。

模型包状态

模型包的状态，包括优化中、优化失败、未加载、就绪四种状态。

  • 优化中：模型包正在优化中。

  • 优化失败：模型包优化失败。

  • 未加载：模型包尚未被任何深度学习模型包推理步骤使用。

  • 就绪：模型包已被深度学习模型包推理步骤使用。

操作

可对模型包进行释放或删除操作。

  • 释放：单击释放按钮后，模型包状态由就绪变为未加载，但模型包仍保留在深度学习模型包推理步骤参数中；重新运行步骤即可恢复为就绪。

  • 删除：单击删除按钮后，模型包将从当前方案中移除。删除后，依赖该模型包的步骤可能运行失败。

当模型包正在优化时，无法被释放或删除，也无法关闭软件。需待优化结束后，重新进行相关操作。

常见操作

本节介绍深度学习模型包管理工具的常见操作。

导入深度学习模型包

  1. 打开深度学习模型包管理工具，在其界面右上角单击导入模型包按钮。

  2. 在弹出的文件选择窗口中选中想要导入的模型包，然后单击打开按钮，该模型包即可出现在工具的列表中。

切换运行模式

如需切换模型包推理的运行模式，可在深度学习模型包管理工具的运行模式字段下单击 deep learning model management icon 1 按钮，然后选择共享模式或性能模式。

deep learning model management select operating mode

  • 当模型包正在优化或被运行中的工程使用时，无法切换运行模式。

  • 当模型包的运行模式为共享模式时，无法在深度学习模型包推理步骤的参数栏切换GPU ID。

切换硬件类型

深度学习模型包推理的硬件类型可切换至 GPU（默认）、GPU（优化）或 CPU。

在深度学习模型包管理工具的硬件类型字段下单击 deep learning model management icon 1 按钮，然后选择GPU（默认）、GPU（优化）或CPU。

deep learning model management select hardware type

  • 当模型包正在优化或被运行中的工程使用时，无法切换硬件类型。

  • 当模型包中包含快速定位时，不支持选择GPU（优化）。

  • 当使用文本检测和文本识别的通用模型包时，不支持选择GPU（默认）。

配置模型效率

配置模型效率的流程如下：

  1. 确定要配置的深度学习模型包。

  2. 单击模型效率下方对应的配置按钮，在弹出的窗口中设置批量大小和精度。模型运行效率受批量大小和精度参数影响。

    批量大小：模型推理时，一次性送入神经网络的图像数量，范围为 1~128。增大该值可以加快模型推理速度，但会占用较多显存。当该值设置不合理时，将导致推理速度变慢.

  • 建议批量大小的取值与实际送入神经网络的图像数量保持一致。

  • 实例分割模型不支持设置批量大小，批量大小必须为1。

  • 精度（仅硬件类型为GPU（优化）时可设置）：

    • FP32：模型精度高，推理速度较慢。

    • FP16：模型精度低，推理速度较快。

错误排查

深度学习模型包导入失败

问题现象

选择要导入的深度学习模型包后，提示“深度学习模型导入失败”。

可能原因

  • 若模型包为官网下载的，可能在下载过程中存在损坏。

  • 模型文件损坏或被人为修改。

  • 使用的Mech-MSR与Mech-DLK版本不对应，存在兼容性问题。

  • 工控机硬件不符合要求，例如内存不足、硬盘容量不足等。

解决方案

  • 若模型包为官网下载的，可使用CRC32校验码校验模型包完整性。若CRC32校验码不一致，需重新下载模型包。

  • 检查模型文件是否损坏或人为修改，若存在损坏或修改情况，需从Mech-DLK重新导出模型。

  • 确保Mech-MSR与Mech-DLK版本对应，版本对应信息可参考深度学习兼容性说明。

  • 检查工控机硬件，确保内存充足、硬盘容量充足。

  • 若尝试以上方法后仍存在问题，请联系技术支持。

深度学习模型包优化失败

问题现象

优化深度学习模型包时，提示“模型包优化失败”。

可能原因

显存不足。

解决方案

  • 在工具中删除未使用的模型包，然后重新导入要优化的模型包。

  • 将其他模型包的运行模式切换为共享模式，然后重新导入要优化的模型包。

该页面是否有帮助？

可以通过以下方式反馈意见：

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝，将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。

  • Preference
  • 同意
  • 不同意