任意物体抓取V2

您正在查看预发布版本(V2.2.0)的文档。如果您想查阅其他版本的文档,可以点击页面右上角“切换版本”按钮进行切换。

■ 如果您不确定当前使用的产品是哪个版本,请随时联系梅卡曼德技术支持

功能描述

该步骤基于任意物体抓取V2模型包,对输入的深度图像与彩色图像进行表面分割,识别每个独立的可抓取表面与被压叠表面,并输出按抓取优先级排序的掩膜列表。该结果可用于后续生成抓取点。

如需使用“任意物体抓取V2”步骤功能,请联系梅卡曼德销售,获取支持该功能的软件许可。更新软件许可后,即可使用该步骤。

使用场景

该步骤适用于泛化抓取和高速分拣的应用场景。一般前接图像处理和坐标系校正步骤,后接点云提取和位姿调整步骤。

请前往下载中心获取任意物体抓取V2深度学习模型包。

输入与输出

输入

输入端口 数据类型 说明

相机深度图

Image/Depth

物体的原始深度图。

相机彩色图

Image/Color

物体的原始彩色图。

输出

输出端口 数据类型 说明

可视化输出

Image/Color

可视化结果。

排序后的掩膜图像

Image/Color/Mask []

分割后的表面掩膜图像列表,按“可抓取表面-被压叠表面”的优先级排序,并在同一类别内按面积从大到小依次输出。

可抓取标记

Bool []

分割后表面掩膜的可抓取标记列表,与排序掩膜一一对应。true表示该表面可抓取,false表示该表面为被压叠表面。

系统要求

使用该步骤时,需满足如下系统要求。

  • CPU:需支持 AVX2 指令集,且需满足以下任一条件:

    • 不带独立显卡时:Intel i5-12400 及以上。

    • 带独立显卡时:Intel i7-6700 及以上,且显卡不低于 GeForce GTX 1660。

    已在Intel CPU上进行充分测试,尚未在AMD CPU上进行测试,推荐使用Intel CPU。

  • GPU:应使用 GeForce GTX 1660 及以上显卡(如带独立显卡)。

参数说明

模型包设置

参数 解释

模型包管理工具

参数解释:该参数用于打开深度学习模型包管理工具,导入深度学习模型包。模型包文件是 Mech-DLK 导出的 “.dlkpack”文件。

调节说明:深度学习模型包管理工具的使用方法可参考 深度学习模型包管理工具

模型包名称

参数解释:导入深度学习模型包后,该参数用于为该步骤选择已导入的模型包。

调节说明:使用深度学习模型包管理工具导入深度学习模型后,在该处的下拉列表中选择对应的模型包名称。

切换模型包后释放原模型包

参数解释:控制切换模型包时是否立即释放原模型包所占用的资源。

默认值:勾选。

调节说明:勾选后,当步骤切换到其他模型包时,系统将立即释放原模型包资源,即使该模型包仍被其他步骤使用。未勾选时,仅当原模型包不再被任何步骤使用时,系统才会自动释放其资源。

模型包类型

参数解释:选择模型包名称后,将自动填充模型包类型

输入图像批量大小

参数解释:每次推理时处理的图像数量。

GPU ID

参数解释:该参数用于指定用于模型包推理的 GPU 设备 ID。

调节说明:选择模型包名称后,需在该参数下拉栏中选择用于模型包推理的 GPU 设备 ID。

预处理

参数 解释

ROI 文件

参数解释:该参数用于设置或修改输入图像的 ROI。

调节说明:在初始状态下时,已存在默认的 ROI 设置。如需修改 ROI 设置,可单击ROI 文件。然后在弹出的设置目标区域窗口中 设置 ROI ,并填写 ROI 名称。

推理前,请检查此处设置的 ROI 与Mech-DLK中设置的 ROI 是否一致。若不一致,可能影响识别效果

推理过程中,一般使用模型训练时设置的 ROI,即默认 ROI。如果物体在相机视野内的位置发生改变,需调整 ROI。

当设置好 ROI 后,如需使用默认 ROI,将打开编辑器按钮下方的 ROI 名称删除即可。

后处理

参数 解释

推理配置

参数解释:用于对任意物体抓取模型包推理时的相关参数进行配置,单击打开编辑器可打开推理配置窗口。

调节说明:相关参数说明见推理配置工具

可视化设置

参数 解释

在图片上绘制分割掩膜

参数解释:在图像上叠加显示分割掩膜。

调节说明:勾选后即可开启可视化,分割掩膜将直接显示在图像上。效果如下图所示:

visualization output

该页面是否有帮助?

可以通过以下方式反馈意见:

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。