部署模型案例-在3D视觉引导应用中使用实例分割模型

您正在查看最新版本(V2.6.2)的文档。如果您想查阅其他版本的文档,可以点击页面右上角“切换版本”按钮进行切换。

■ 如果您不确定当前使用的产品是哪个版本,请随时联系梅卡曼德技术支持

视频教程:在3D视觉引导应用中使用实例分割模型

在3D视觉引导应用中,可以使用实例分割模型实现目标物体的识别和定位,本节以Mech-Vision中部署模型为例,介绍在视觉引导业务中使用实例分割模型的方法。

当前,Mech-Vision支持两种方式导入深度学习模型包:

  • 通过深度学习模型包推理步骤导入;

  • 通过3D工件识别步骤中的深度学习辅助识别功能加载模型包。

一般推荐使用第二种方式,能够将深度学习辅助分割和3D匹配结合使用,便于调试工程。本节将以该方式为例讲解在Mech-Vision中使用实例分割模型的具体方法。

整体流程包括四个步骤:导入深度学习模型包、检查2D ROI、设置置信度阈值、调整膨胀参数。

导入深度学习模型包

  • 打开相关Mech-Vision工程,点击3D工件识别步骤的配置向导按钮,打开生产界面。

use model import model1
  • 进入工件选择与识别页面,开启使用深度学习辅助识别。点击模型包管理工具,在深度学习模型包管理窗口点击导入模型包按钮,选择已经训练好的深度学习模型包。

use model import model2
  • 工件选择与识别页面选择导入的模型包。

use model import model3

检查2D ROI

为提升识别的精度,需要设置2D ROI。需要注意的是,此处的ROI默认和训练时在Mech-DLK中设置的ROI范围一致。若有工件超出ROI范围,可以适当调整。但如果调整后的ROI范围差异过大,会影响模型使用效果,需要在训练时重新设置合理的ROI。

use model roi

设置置信度阈值

切换至深度学习结果显示页面,点击推理配置按钮,在推理配置窗口设置实例分割的置信度阈值,以过滤置信度较低、分割效果待改善的结果。经调整发现,将置信度阈值设置为0.6左右时,掩膜效果较理想。

use model set confidence

可以运行步骤查看效果。

调整膨胀参数

膨胀参数用来确保深度学习模型能够输出完整的图像边缘掩膜信息,从而获取完整的工件点云数据。使用前可以切换至识别结果页面查看当前的点云效果。本场景中,当前边缘点云完整、效果理想,因此不需要调节膨胀参数。

以上便完成了实例分割模型包在Mech-Vision工程中的导入和配置,可以运行Mech-Vision工程识别工件。

补充说明:优化方法

若识别效果不理想,可以运行从相机获取图像步骤,查看图像情况。 如果图像不够清晰或者边缘比较模糊,可以使用图像亮度和色彩均衡器步骤来调整图像的对比度。此步骤可以均衡颜色和明暗,有助于更好地进行边缘检测和目标物体识别。

use model adjust dilation1

实行此步骤后可以看到,图像效果有明显改善。

use model adjust dilation2

若图像改善后质量符合要求但识别效果仍然欠佳,则需要迭代模型,将识别不准确的图像作为训练数据,进行深度学习模型迭代,获取新的模型后再次使用。

该页面是否有帮助?

可以通过以下方式反馈意见:

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。