预测抓取点(任意物体)

功能描述

结合 2D 图像和 3D 深度图,识别出图像中可被抓取的物体并输出相应的抓取位姿。

../../../../../_images/grasp_pose_estimation.png

使用场景

此步骤通常用于散乱堆叠的不同物品的分拣。

输入与输出

../../../../../_images/input_and_output47.png

参数调节说明

服务端

服务端 IP
默认值:127.0.0.1
调节说明:根据实际情况设置深度学习服务端 IP 地址。
服务端 Port(1 ~ 65535)
默认值:60052
调节说明:在任意物体吸取、任意物体吸取(无料筐)工程中,应使用 60000~65535 的端口号。

工作距离

最小工作距离
默认值:0
调节说明:相机至场景中物体的最短距离(单位:mm)。若使用料筐,请将此参数设为相机底部至料筐顶部边沿的距离。需根据实际情况设定此值。
最大工作距离
默认值:3000
调节说明:相机至场景中物体的最长距离(单位:mm)。若使用料筐,请将此参数设为相机底部至料筐底部边沿的距离。需根据实际情况设定此值。

料筐设置

使用料筐
默认值:不勾选。
调节说明:当需要料筐时,勾选此项,勾选后,此步骤将增加料筐位姿输入端口。如下图所示,图 1 为勾选前,图 2 为勾选后。
../../../../../_images/use_bin.png
默认值:100mm
调节说明:当勾选 使用料筐 后,需根据料筐尺寸设定此值。
默认值:100mm
调节说明:当勾选 使用料筐 后,需根据料筐尺寸设定此值。

轮廓检测(智能码放,异形件)

轮廓检测
默认值:不勾选。
调节说明:用于检测物体的外轮廓。勾选后,将在下方出现 异形件过滤 参数。

异形件过滤 (常用于吸取快递的场景)

滤除过窄物体
默认值:不勾选。
调节说明:勾选后,最小外接长方体最短边小于短边长度下限的物体将被当做过窄物体,并被忽略。
短边长度下限
默认值:0
调节说明:勾选 滤除过窄物体 后显示此项,最小外接长方体最短边长度小于此值的物体将被忽略。需根据现场实际情况设定此值。
调节示例:当此值设为 30 时,实际长度小于 30mm 的物体将被滤除。如下图所示,上图为滤除前,下图为滤除后。
../../../../../_images/filter_short.png
滤除过长物体
默认值:不勾选。
调节说明:勾选后,最小外接长方体最长边大于长边长度上限的物体将被当做过长物体,并被忽略。
长边长度上限
默认值:0
调节说明:勾选 滤除过长物体 后显示此项,最小外接长方体最长边长度大于此值的物体将被忽略。需根据现场实际情况设定此值。
调节示例:当此值设为 180 时,实际长度大于 180mm 的物体将被滤除。如下图所示,上图为滤除前,下图为滤除后。
../../../../../_images/filter_long.png

压叠检测

压叠检测
默认值:不勾选。
调节说明:当物体存在压叠情况时,勾选此项。勾选后,将对物体进行压叠检测,并降低识别出被压叠物体的抓取优先级。
最多检测压叠个数
默认值:6
调节说明:勾选 压叠检测 后显示此项,视为被压叠的最大物体数量。需根据现场实际情况设定此值。如果将此参数设置为较大的值,则更多物体将会视为被压叠,抓取任务更难完成,但更不容易破坏目标物体。
调节示例:当此值设为 6 时,将最多检测到 6 个压叠的物体。如下图所示,左图为压叠检测前,右图为此值设为 6 后的检测结果,带有红色区域的物体为检测到的压叠物体。
../../../../../_images/detection_overlap.png

吸盘设置

调节此参数将决定预测抓取点步骤的吸盘标签输出结果。

../../../../../_images/chuck_label.png
按掩膜体量分配
默认值:不启用。
值列表:不启用、分两组、分三组。
调节说明:根据掩膜最小内切圆半径的不同,物体将被分到不同组中,各组物体会有单独的吸盘配置。
体量阈值 1
默认值:0
调节说明:掩膜最小内切圆半径的第一个阈值。半径小于此阈值的物体将被放入第 1 组,半径大于此阈值的物体将被放入第 2 组。
调节示例:如下图所示,当检测到物体掩膜内接圆半径小于 20mm 时,判定吸盘标签为小。
../../../../../_images/size_paragraph_2.png
体量阈值 2
默认值:0
调节说明:掩膜最小内切圆半径的第二个阈值。半径小于此阈值的物体将被放入第 2 组,半径大于此阈值的物体将被放入第 3 组。
调节示例:如下图所示,当检测到物体掩膜内接圆半径大于 40mm 时,判定吸盘标签为大;当检测到物体掩膜内接圆半径位于 20mm 和 40mm 之间时,判定吸盘标签为中等。
../../../../../_images/size_paragraph_3.png
按掩膜跨度分配
默认值:不启用。
值列表:不启用、分两组。
调节说明:根据掩膜最小外接矩形对角线长度的不同,物体将被分配到不同的组中,各组物体将有不同的吸盘配置。
掩膜跨度阈值
默认值:80
调节说明:如果一个物体的掩膜最小外接矩形对角线长度小于此阈值,则标记为“Short”,否则标记为“Long”。
调节示例:如下图所示,当检测到物体长度大于 80mm 时,判定吸盘标签为长,反之为短。
../../../../../_images/length_paragraph_2.png

可视化

开启
默认值:勾选。
调节说明:勾选后即可开启可视化,查看选择的可视化属性效果。
可视化属性
默认值:最终得分。
值列表:最终得分、吸盘直径、物体长度、位姿高度。
调节说明:选择想要可视化的项。
调节示例:
  • 当在可视化属性处选择最终得分时,可视化输出效果如下图所示,其中红色字体处的物体为优先抓取对象。

../../../../../_images/open_visualization_1.png
  • 当在可视化属性处选择吸盘直径时,可视化输出效果如下图所示,其中红色字体处的物体为优先抓取对象。

../../../../../_images/open_visualization_2.png
  • 当在可视化属性处选择物体长度时,可视化输出效果如下图所示,其中红色字体处的物体为优先抓取对象。

../../../../../_images/open_visualization_3.png
  • 当在可视化属性处选择位姿高度时,可视化输出效果如下图所示,其中红色字体处的物体为优先抓取对象。

../../../../../_images/open_visualization_4.png

排序逻辑

位姿高度权重
默认值:3
值列表:1、2、3
吸盘大小权重
默认值:1
值列表:0、1、2、3
物体长度权重
默认值:1
值列表:0、1、2、3

调节说明:为位姿高度、吸盘大小、物体长度设置抓取时的权重后,某项的得分为该项乘其对应的权重值,各项得分相加即为最终得分,机器人将按照最终得分对得分高的物体进行抓取。