深度学习模型包推理

注意

自 Mech-Vision 1.7.2 起,“深度学习模型包 CPU 推理”和“深度学习模型包推理(Mech-DLK2.2.0+)”步骤将合并为“深度学习模型包推理”步骤,“深度学习模型包推理”步骤同时支持 .dlkpackC 模型与 .dlkpack 模型。

使用 Mech-Vision 1.7.2 打开旧版本工程后,“深度学习模型包 CPU 推理”和“深度学习模型包推理(Mech-DLK2.2.0+)”步骤将被自动替换为“深度学习模型包推理”步骤。

功能描述

该步骤可使用 Mech-DLK 导出的单级或级联模型包进行推理,并输出推理结果。仅支持 Mech-DLK 2.2.0 及以上版本导出的模型包。

注解

自 Mech-DLK 2.4.1 开始,模型包分为单级模型包、级联模型包两种。

  • 单级模型包:模型包中有且只有一个深度学习算法模块的模型模型,例如“实例分割”模型。

  • 级联模型包:模型包中有多个深度学习算法模块的模型,以串联形式存在,上一模型的输出是下一模型的输入。例如,当模型包中存在“目标检测”、“实例分割”两个模型时,模型推理顺序为 目标检测 ‣ 实例分割 ,“目标检测”模型的输出将作为“实例分割”模型的输入。

当该步骤使用级联模型包推理时,可使用 深度学习结果解析 步骤对级联模型包的推理结果进行解析。

使用场景

该步骤常用于图像分类、目标检测、缺陷分割等场景。关于该步骤的兼容性说明,可参考 深度学习类步骤兼容性说明

输入与输出

目标检测

当导入单级模型包时,以“目标检测”为例,该步骤输入与输出如下图所示。

../../../../_images/deep_learning_model_package_inference_input_and_output_single.png

目标检测+缺陷分割+图像分类

当导入级联模型包时,以“目标检测+缺陷分割+图像分类”为例,该步骤输入与输出如下图所示。

../../../../_images/deep_learning_model_package_inference_input_and_output_multi.png

参数说明

提示

当使用该步骤推理级联模型包时,可在后接的“深度学习结果解析”步骤中调节参数。

通用参数

模型包设置

模型包管理工具
参数解释:该参数用于打开深度学习模型包管理工具,导入深度学习模型包。模型包文件是 Mech-DLK 导出的 “.dlkpack” 或 “.dlkpackC” 文件。
调节说明:深度学习模型包管理工具的使用方法可参考 深度学习模型包管理工具
模型包名称
参数解释:导入深度学习模型包后,该参数用于为该步骤选择已导入的模型包。
调节说明:使用深度学习模型包管理工具导入深度学习模型后,在该处的下拉列表中选择对应的模型包名称。
模型包类型
参数解释:选择 模型包名称 后,将自动填充 模型包类型 ,如“目标检测”(单级模型包)、“目标检测+缺陷分割+图像分类”(级联模型包)。
设备 ID
参数解释:该参数用于指定用于模型包推理的 GPU 设备 ID。
调节说明:选择模型包名称后,需在该参数下拉栏中选择用于模型包推理的 GPU 设备 ID。

ROI 设置

ROI 文件
参数解释:该参数用于设置或修改 ROI。
调节说明:
  1. 在初始状态下时,已存在默认的 ROI 设置。如需修改 ROI 设置,可单击 ROI 文件

  2. 然后在弹出的设置目标区域窗口中 设置 ROI

    ../../../../_images/set_roi.png
  3. ROI 设置完成后,需设置 ROI 文件名称,如下图所示。如未设置 ROI 名称,会有弹窗提示。

    ../../../../_images/roi_file_name.png
  4. 当设置好 ROI 后,如需使用默认 ROI,将 ROI 文件 按钮下方的 ROI 文件名称删除即可。

可视化设置

提示

当使用该步骤进行缺陷分割时,该参数不可用。

使用自定义大小
参数解释:该参数用于决定是否对可视化输出结果中的文本字体大小实现自定义。勾选该参数后,需设置 字体大小(0~10)
默认值:不勾选。
调节建议:根据实际需求设置该参数。
字体大小(0~10)
参数解释:该参数用于设置可视化输出结果中的文本字体大小。
默认值:2.0
调节建议:根据实际需求设置该参数。
调节示例:以实例分割为例,当该值分别设置为 3.0 和 5.0 时,可视化输出结果中的文本字体大小分别如下图所示。其中左图字体大小为 3、右图字体大小为 5。
../../../../_images/font_size_comparison.png
显示所有结果
参数解释:该参数用于将级联模型包的所有推理结果进行可视化显示。仅当使用“深度学习模型包推理”步骤推理级联模型包时,才可设置该参数。
调节建议:根据实际需求设置该参数。

深度学习模型包的特定参数

图像分类

分类置信度阈值(0.0~1.0)
参数解释:该参数用于设置图像分类过程中的置信度阈值。高于置信度阈值的结果显示为绿色,低于置信度阈值的结果显示为红色。
默认值:0.7000
调节建议:根据实际需求设置该参数。
显示类激活图
参数解释:图像分类时,该参数用于查看图像中哪部分像素对图像分类结果的贡献更大。蓝色代表贡献较小,红色代表贡献较大。
调节说明:需开启“显示全部参数”。

实例分割

可视化设置

在图上画出检测物体
参数解释:该参数用于决定是否将实例分割的掩膜和包围盒显示在输入的图像上。
默认值:不勾选。
调节建议:根据实际需求设置该参数。
物体的可视化方式
参数解释:该参数用于指定可视化输出结果中物体的可视化方式。
默认值:Instances
值列表:Threshold、Instances、Classes、CentralPoint

物体的可视化方式

说明

图示

Threshold

颜色取决于置信度。如果计算出的置信度大于阈值,则对应的示例将为绿色。否则将显示为红色。

icon_1

Instances

每个实例都有唯一的颜色。

icon_2

Classes

具有相同标签的实例具有相同的颜色。

icon_3

CentralPoint

显示物体本身颜色。

icon_4

实例分割置信度阈值(0.0~1.0)

参数解释:该参数用于设置实例分割过程中的置信度阈值。高于置信度阈值的结果显示为绿色,低于置信度阈值的结果显示为红色。

默认值:0.7000

调节建议:根据实际需求设置该参数。

目标检测

可视化设置

在图上画出检测结果
参数解释:该参数用于决定是否在图像上显示掩膜和包围盒。
默认值:不勾选。
调节建议:根据实际需求设置该参数。
可视化结果的方式
默认值:CentralPoint
值列表:BoundingBox、CentralPoint
  • BoundingBox:以物体包围框的形式显示结果。具体效果如下图中 1 所示。

  • CentralPoint:以物体中心点的形式显示结果。具体效果如下图中 2 所示。

../../../../_images/box_and_central.png
调节建议:根据实际需求设置该参数。

目标检测置信度阈值(0.0~1.0)

默认值:0.7000

调节说明:高于该阈值的结果将被保留。

缺陷分割

可视化设置

在图片上绘制缺陷掩膜
参数解释:该参数用于决定是否在图片上绘制缺陷掩膜。勾选后,将在输入的图片上绘制缺陷掩膜。
默认值:不勾选。
调节示例:如下图所示,左图为勾选前,右图为勾选后。
../../../../_images/draw_mask.png

注意

  • 自 Mech-Vision 1.7.2 起,“深度学习模型包推理”步骤不再显示缺陷判定规则、缺陷数量阈值、缺陷面积范围参数,如需调整以上参数,请在 Mech-DLK 中进行配置。

  • 在 Mech-Vision 1.7.2 中,当使用“深度学习模型包推理”步骤推理 Mech-DLK 2.2.0 或之前版本软件导出的已配置缺陷判定规则的模型包时,缺陷判定规则不生效,需使用 Mech-DLK 2.4.1 或以后版本软件重新配置该模型包的缺陷判定规则并导出,然后在“深度学习模型包推理”步骤中对该模型包进行推理。