工件料筐分割

您正在查看预发布版本(V2.2.0)的文档。如果您想查阅其他版本的文档,可以点击页面右上角“切换版本”按钮进行切换。

■ 如果您不确定当前使用的产品是哪个版本,请随时联系梅卡曼德技术支持

功能描述

该步骤基于工件料筐分割模型包,对输入的深度图像与彩色图像进行工件和料筐的分割,输出工件掩膜和料筐掩膜,并提供可视化结果。

使用场景

该步骤适用于需要将工件与料筐有效分离的场景。一般前接相机采集步骤,后接点云提取步骤。

请前往下载中心获取工件料筐分割深度学习模型包。

输入与输出

输入

输入端口 数据类型 说明

相机深度图

Image/Depth

物体的原始深度图。

相机彩色图

Image/Color

物体的原始彩色图。

输出

输出端口 数据类型 说明

可视化输出

Image/Color

可视化结果。

工件有无

Bool

输入图像的工件检测结果,true表示存在工件,false表示不存在工件。

工件掩膜图像

Image/Color/Mask

分割得到的工件掩膜图像。

料筐掩膜图像

Image/Color/Mask

分割得到的料筐掩膜图像。

系统要求

使用该步骤时,需满足如下系统要求。

  • CPU:需支持 AVX2 指令集,且需满足以下任一条件:

    • 不带独立显卡时:Intel i5-12400 及以上。

    • 带独立显卡时:Intel i7-6700 及以上,且显卡不低于 GeForce GTX 1660。

    已在Intel CPU上进行充分测试,尚未在AMD CPU上进行测试,推荐使用Intel CPU。

  • GPU:应使用 GeForce GTX 1660 及以上显卡(如带独立显卡)。

参数说明

模型包设置

参数 解释

模型包管理工具

参数解释:该参数用于打开深度学习模型包管理工具,导入深度学习模型包。模型包文件是 Mech-DLK 导出的 “.dlkpack”文件。

调节说明:深度学习模型包管理工具的使用方法可参考 深度学习模型包管理工具

模型包名称

参数解释:导入深度学习模型包后,该参数用于为该步骤选择已导入的模型包。

调节说明:使用深度学习模型包管理工具导入深度学习模型后,在该处的下拉列表中选择对应的模型包名称。

切换模型包后释放原模型包

参数解释:控制切换模型包时是否立即释放原模型包所占用的资源。

默认值:勾选。

调节说明:勾选后,当步骤切换到其他模型包时,系统将立即释放原模型包资源,即使该模型包仍被其他步骤使用。未勾选时,仅当原模型包不再被任何步骤使用时,系统才会自动释放其资源。

模型包类型

参数解释:选择模型包名称后,将自动填充模型包类型

输入图像批量大小

参数解释:每次推理时处理的图像数量。

GPU ID

参数解释:该参数用于指定用于模型包推理的 GPU 设备 ID。

调节说明:选择模型包名称后,需在该参数下拉栏中选择用于模型包推理的 GPU 设备 ID。

预处理

参数 解释

ROI 文件

参数解释:该参数用于设置或修改输入图像的 ROI。

调节说明:在初始状态下时,已存在默认的 ROI 设置。如需修改 ROI 设置,可单击ROI 文件。然后在弹出的设置目标区域窗口中 设置 ROI ,并填写 ROI 名称。

推理前,请检查此处设置的 ROI 与Mech-DLK中设置的 ROI 是否一致。若不一致,可能影响识别效果

推理过程中,一般使用模型训练时设置的 ROI,即默认 ROI。如果物体在相机视野内的位置发生改变,需调整 ROI。

当设置好 ROI 后,如需使用默认 ROI,将打开编辑器按钮下方的 ROI 名称删除即可。

后处理

参数 解释

形态学变换

参数解释:开启后,将对工件和料筐分割结果应用形态学处理。

默认值:关闭。

形态学变换类型

参数解释:该参数用于选择掩膜的形态学后处理方式。

值列表:膨胀、腐蚀

  • 膨胀:用于增大深度学习掩膜的面积。当深度学习掩膜比实际工件或料筐区域小时,利用掩膜提取到的点云会存在缺失(特别是边缘点云)。此时建议开启膨胀,增大掩膜面积,避免提取的点云存在缺失。

  • 腐蚀:用于缩小深度学习掩膜的面积。当深度学习掩膜覆盖范围大于实际工件或料筐区域,或包含背景噪声时,建议开启腐蚀,收缩掩膜范围,避免点云混入非目标区域。

核大小

参数解释:该参数用于设置形态学变换的核大小,核越大,效果越强。

默认值:3px

调节建议:根据实际需求调整核大小。

可视化设置

参数 解释

在图片上绘制分割掩膜

参数解释:在图像上叠加显示分割掩膜。

调节说明:勾选后即可开启可视化,分割掩膜将直接显示在图像上。效果如下图所示:

visualization output

该页面是否有帮助?

可以通过以下方式反馈意见:

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。