部署模型案例-在3D视觉引导应用中使用实例分割模型
在3D视觉引导应用中,可以使用实例分割模型实现目标物体的识别和定位,本节以Mech-Vision中部署模型为例,介绍在视觉引导业务中使用实例分割模型的方法。
当前,Mech-Vision支持两种方式导入深度学习模型包:
-
通过深度学习模型包推理步骤导入;
-
通过3D工件识别步骤中的深度学习辅助识别功能加载模型包。
一般推荐使用第二种方式,能够将深度学习辅助分割和3D匹配结合使用,便于调试工程。本节将以该方式为例讲解在Mech-Vision中使用实例分割模型的具体方法。
整体流程包括四个步骤:导入深度学习模型包、检查2D ROI、设置置信度阈值、调整膨胀参数。
导入深度学习模型包
-
打开相关Mech-Vision工程,点击3D工件识别步骤的配置向导按钮,打开生产界面。

-
进入工件选择与识别页面,开启使用深度学习辅助识别。点击模型包管理工具,在深度学习模型包管理窗口点击导入模型包按钮,选择已经训练好的深度学习模型包。

-
在工件选择与识别页面选择导入的模型包。

检查2D ROI
为提升识别的精度,需要设置2D ROI。需要注意的是,此处的ROI默认和训练时在Mech-DLK中设置的ROI范围一致。若有工件超出ROI范围,可以适当调整。但如果调整后的ROI范围差异过大,会影响模型使用效果,需要在训练时重新设置合理的ROI。

设置置信度阈值
切换至深度学习结果显示页面,点击推理配置按钮,在推理配置窗口设置实例分割的置信度阈值,以过滤置信度较低、分割效果待改善的结果。经调整发现,将置信度阈值设置为0.6左右时,掩膜效果较理想。

可以运行步骤查看效果。
调整膨胀参数
膨胀参数用来确保深度学习模型能够输出完整的图像边缘掩膜信息,从而获取完整的工件点云数据。使用前可以切换至识别结果页面查看当前的点云效果。本场景中,当前边缘点云完整、效果理想,因此不需要调节膨胀参数。
以上便完成了实例分割模型包在Mech-Vision工程中的导入和配置,可以运行Mech-Vision工程识别工件。
补充说明:优化方法
若识别效果不理想,可以运行从相机获取图像步骤,查看图像情况。 如果图像不够清晰或者边缘比较模糊,可以使用图像亮度和色彩均衡器步骤来调整图像的对比度。此步骤可以均衡颜色和明暗,有助于更好地进行边缘检测和目标物体识别。

实行此步骤后可以看到,图像效果有明显改善。

若图像改善后质量符合要求但识别效果仍然欠佳,则需要迭代模型,将识别不准确的图像作为训练数据,进行深度学习模型迭代,获取新的模型后再次使用。