实例分割组合

通过实例分割检测图像中目标物体所在位置，为点云处理及其他操作提供分割掩膜和目标物体类别。

图1 实例分割组合

流程说明

如 图1所示， 实例分割部署 步骤组合的流程如下：

1. 缩放2D ROI内的图像 步骤对图像ROI区域进行提取及缩放；

2. 实例分割 步骤对2D图像进行识别，得到识别结果（类别+掩膜）；

3. 还原缩放后ROI内的图像 步骤对 实例分割 步骤的结果缩放还原到原始输入图像尺寸上，即得到原始图像上的实例分割结果。

实现效果示例

输入

图2 RGB原始图像

识别结果

图3 识别结果图像

注意事项

1. 实例分割的结果很大程度受ROI区域及缩放比例的影响， 想要获得较理想的实例分割结果，必须调整好ROI及缩放比例， 具体调节方法查看 深度学习部署ROI设置 。

2. 实例分割 步骤的最多识别个数：其修改值过大（即实际检测量很大） 可能出现GPU资源不足的情况，可根据具体项目需求更换拥有更高算力的GPU。

图4 Mech-Vision GPU资源不足报错图像

深度学习部署ROI设置

ROI区域及缩放比例的设置分为两种情况。当采集到的图片与采集现场环境一样时，可以使用彩色图ROI文件或参数设置。 与采集环境现场不一样时，需自行计算缩放比例。

与采集现场环境一致

下述两种方式建议使用第一种，在使用彩色图ROI文件设置及缩放ROI区域时，彩色图ROI文件获取方式请参考 彩色图ROI文件 。

使用彩色图ROI文件

图5 图像ROI缩放文件设置

1. 在 彩色图ROI设置 中选择 ROIByFile ；

2. 获取到的彩色ROI文件；

3. 勾选 自动缩放 。

使用参数

图6 图像ROI缩放参数设置

1. 在 彩色图ROI设置 中选择 ROIByParam ；

2. 调整startX，startY的值，用来确定左上角的开始点；

3. 在改变ROI区域的尺寸时，尽量保证ROI的长宽比与训练时一致。例如训练时 width 为 1000， height 为 1200， 则新的 width 为 1000 * 某个比值 ，新的 height 为 1200 * 某个比值 ；

4. 勾选 自动缩放 。

与采集现场环境不一致

图7 比值计算

1. 使用模型文件夹中的Sample image和现场采集的图像，选择待检测物体的同一个特征，如图8计算示例中，选择的特征为AB边。

2. 对此特征进行像素测量，得到Sample image中的像素长度为 200 、采集图像中的像素长度为 500 。

   

   图8 图像ROI缩放设置

3. 取消勾选 自动缩放 。

4. 计算两者的比值，即 200/500 ，将值填入自定义缩放系数。