实例分割

功能描述

通过深度学习算法，识别出图像中的目标物体，并对其进行像素级别的定位。

该步骤与 Mech-Vision 、Mech-DLK 版本的兼容性说明如下表所示。

注意

该步骤仅在 开发者模式 下可用。

使用场景

可使用此步骤推理Mech-DL Kit和Mech-DLK导出的模型文件。推理的效果是与训练模型的数据紧密相关的，如果用户发现任何不如预期的情况，有以下几个步骤进行检查：

1. 截取感兴趣区域及缩放后，目标物体在图中的大小是否与训练数据中的类似（如果您使用超级模型且此方法不能解决问题，请联系工程师）。

2. 检查输入的彩色图中的物体、环境光、背景等是否与训练数据相似。

3. 将置信度阈值调高，以过滤掉不可靠的预测结果，可以使用第一个输出端口检查可视化图片和置信度。

输入与输出

参数说明

服务端与模型设置

• 服务端IP地址

  默认值：127.0.0.1

  调节说明：该参数为设置深度学习服务器的IP，一般使用默认值即可。如果启用多个实例分割步骤，则需要开启多个对应的深度学习服务器，并且端口的设置需要与深度学习服务器的端口一一对应。

• 服务端Port（1~65535）

  默认值：50052

  调节说明：该参数为设置深度学习服务器端口，需使用小于 60000 的端口号。如果启用多个实例分割步骤，则需要开启多个对应的深度学习服务器，并且端口的设置需要与深度学习服务器的端口一一对应。

• 模型文件

  调节说明：存储深度学习模型文件的绝对路径或相对路径，实例分割的深度学习模型文件主要为.pth格式文件，可以通过Mech-DL Kit训练模型得到。

• 配置文件

  调节说明：存储深度学习配置文件的绝对路径或相对路径，实例分割步骤的深度学习配置文件主要为.py格式文件，可以通过Mech-DL Kit训练模型得到。

预加载设置

• 打开工程时自动预加载模型

  默认值：False

  值列表：True，False

  调节说明：勾选为True时，工程开启后将会自动加载已有的深度学习模型，可以较大地提高开启工程后第一次运行深度学习的速度，建议项目调试完成后开启该属性。

最多识别个数

默认值：100

调节说明：该参数用于设置图像中可以显示的实例的最大数，可设置范围为0~2000，根据实际需求调节即可。

置信度阈值

默认值：0.7

调节说明：通过深度学习计算处理后，置信度大于阈值的实例将会被保留，作为输出结果。可设置范围为0~1.0，根据实际需求调节即可。

调节示例：置信度阈值的调节可以首先通过启用参数 在图上画出检测物体 和使用可视化输出得到各个实例的置信度，再接着对应地调节置信度阈值，如 图2所示。

图2 可视化实例的置信度

若以当前阈值运行得到的实例数量较少或者结果不够好，如 图3所示，图中红色数据为置信度低于阈值的实例，将不作为输出结果。此时可以尝试将阈值调低，如 图4所示，将阈值调低后作为输出结果的实例数量明显增加。

图3 高阈值下实例分割结果

图4 低阈值下实例分割结果

若调节置信度阈值后，结果变化不大，可尝试更换深度学习模型，或检查进行实例分割的物体是否在所框选的ROI内。

字体设置

• 使用自定义大小

  默认值：False

  值列表：True，False

  调节说明：勾选为True时，可自定义调节可视化输出时所显示的字体的大小。该参数需要在参数 在图上画出检测物体 启用后才能生效。

可视化设置

• 在图上画出检测物体

  默认值：False

  值列表：True，False

  调节说明：勾选为True时，可以在可视化输出时看到实例分割结果，但是需要更长的运行时间。该参数建议调试时开启，实际运行时关闭。

• 物体的可视化方式

  默认值：Instances

  值列表：Threshold, Instances, Classes，CentralPoint

  调节说明：可以通过选取不同参数对实例进行不同的填充。

  Threshold：所填充颜色取决于实例的置信度，置信度大于置信度阈值的实例将会被填充为绿色，否则将会被填充为红色。

  Instances：对每个实例进行不同颜色的填充。

  Classes：对相同标签的实例进行相同颜色的填充。

  CentralPoint

过滤设置

• 过滤重叠物体掩膜

  默认值：False

  值列表：True，False

  调节说明：勾选为True时，将会滤除重叠物体掩膜。