预测抓取点(任意物体)

功能描述

结合 2D 图像和 3D 深度图,识别出图像中可被抓取的物体并输出相应的抓取位姿。

grasp pose estimation grasp pose estimation

使用场景

此步骤通常用于散乱堆叠的不同物品的分拣。

输入与输出

grasp pose estimation input and output

显卡要求

使用该步骤时,应使用 NVIDIA GTX 1650 Ti 及以上的显卡。

参数调节说明

服务端

服务端 IP

默认值:127.0.0.1

调节说明:根据实际情况设置深度学习服务端 IP 地址。

服务端 Port(1 ~ 65535)

默认值:60052

调节说明:在任意物体吸取、任意物体吸取(无料筐)工程中,应使用 60000~65535 的端口号。

推理设置

推理模式

参数解释:用于选择深度学习推理的模式。

值列表:GPU、CPU

  • GPU:使用 GPU 推理前先对模型进行优化,然后对优化后的模型进行推理,推理速度较快。首次对模型进行优化时,需耗时 10~30 分钟。

  • CPU:使用 CPU 进行深度学习模型推理,与 GPU 相比,推理时间会增加,且识别精度会有所降低。

默认值:GPU。

调节说明:推理速度:GPU>CPU。切换推理模式后,需重启深度学习服务器。

工作距离

最小工作距离

默认值:0

调节说明:相机至场景中物体的最短距离(单位:mm)。若使用料筐,请将此参数设为相机底部至料筐顶部边沿的距离。需根据实际情况设定此值。

最大工作距离

默认值:3000

调节说明:相机至场景中物体的最长距离(单位:mm)。若使用料筐,请将此参数设为相机底部至料筐底部边沿的距离。需根据实际情况设定此值。

料筐设置

使用料筐

默认值:不勾选。

调节说明:当需要料筐时,勾选此项,勾选后,此步骤将增加料筐位姿输入端口。如下图所示,图 1 为勾选前,图 2 为勾选后。

grasp pose estimation use bin

默认值:100mm

调节说明:当勾选使用料筐后,需根据料筐尺寸设定此值。

默认值:100mm

调节说明:当勾选使用料筐后,需根据料筐尺寸设定此值。

轮廓检测(智能码放,异形件)

轮廓检测

默认值:不勾选。

调节说明:用于检测物体的外轮廓。勾选后,将在下方出现异形件过滤参数。

异形件过滤(常用于吸取快递的场景)

滤除过窄物体

默认值:不勾选。

调节说明:勾选后,最小外接长方体最短边小于短边长度下限的物体将被当做过窄物体,并被忽略。

短边长度下限

默认值:0

调节说明:勾选滤除过窄物体后显示此项,最小外接长方体最短边长度小于此值的物体将被忽略。需根据现场实际情况设定此值。

调节示例:当此值设为 30 时,实际长度小于 30mm 的物体将被滤除。如下图所示,上图为滤除前,下图为滤除后。

grasp pose estimation filter short
滤除过长物体

默认值:不勾选。

调节说明:勾选后,最小外接长方体最长边大于长边长度上限的物体将被当做过长物体,并被忽略。

长边长度上限

默认值:0

调节说明:勾选滤除过长物体后显示此项,最小外接长方体最长边长度大于此值的物体将被忽略。需根据现场实际情况设定此值。

调节示例:当此值设为 180 时,实际长度大于 180mm 的物体将被滤除。如下图所示,上图为滤除前,下图为滤除后。

grasp pose estimation filter long

压叠检测

压叠检测

默认值:不勾选。

调节说明:当物体存在压叠情况时,勾选此项。勾选后,将对物体进行压叠检测,并降低识别出被压叠物体的抓取优先级。

最多检测压叠个数

默认值:6

调节说明:勾选压叠检测后显示此项,视为被压叠的最大物体数量。需根据现场实际情况设定此值。如果将此参数设置为较大的值,则更多物体将会视为被压叠,抓取任务更难完成,但更不容易破坏目标物体。

调节示例:当此值设为 6 时,将最多检测到 6 个压叠的物体。如下图所示,左图为压叠检测前,右图为此值设为 6 后的检测结果,带有红色区域的物体为检测到的压叠物体。

grasp pose estimation detection overlap

吸盘设置

调节此参数将决定预测抓取点步骤的吸盘标签输出结果。

grasp pose estimation chuck label
按掩膜体量分配

默认值:不启用。

值列表:不启用、分两组、分三组。

调节说明:根据掩膜最小内切圆半径的不同,物体将被分到不同组中,各组物体会有单独的吸盘配置。

体量阈值 1

默认值:0

调节说明:掩膜最小内切圆半径的第一个阈值。半径小于此阈值的物体将被放入第 1 组,半径大于此阈值的物体将被放入第 2 组。

调节示例:如下图所示,当检测到物体掩膜内接圆半径小于 20mm 时,判定吸盘标签为小。

grasp pose estimation size paragraph 2
体量阈值 2

默认值:0

调节说明:掩膜最小内切圆半径的第二个阈值。半径小于此阈值的物体将被放入第 2 组,半径大于此阈值的物体将被放入第 3 组。

调节示例:如下图所示,当检测到物体掩膜内接圆半径大于 40mm 时,判定吸盘标签为大;当检测到物体掩膜内接圆半径位于 20mm 和 40mm 之间时,判定吸盘标签为中等。

grasp pose estimation size paragraph 3
按掩膜跨度分配

默认值:不启用。

值列表:不启用、分两组。

调节说明:根据掩膜最小外接矩形对角线长度的不同,物体将被分配到不同的组中,各组物体将有不同的吸盘配置。

掩膜跨度阈值

默认值:80

调节说明:如果一个物体的掩膜最小外接矩形对角线长度小于此阈值,则标记为“Short”,否则标记为“Long”。

调节示例:如下图所示,当检测到物体长度大于 80mm 时,判定吸盘标签为长,反之为短。

grasp pose estimation length paragraph 2

可视化

开启

默认值:勾选。

调节说明:勾选后即可开启可视化,查看选择的可视化属性效果。

可视化属性

默认值:最终得分。

值列表:最终得分、吸盘直径、物体长度、位姿高度。

调节说明:选择想要可视化的项。

调节示例:

  • 当在可视化属性处选择最终得分时,可视化输出效果如下图所示,其中红色字体处的物体为优先抓取对象。

grasp pose estimation open visualization 1
  • 当在可视化属性处选择吸盘直径时,可视化输出效果如下图所示,其中红色字体处的物体为优先抓取对象。

grasp pose estimation open visualization 2
  • 当在可视化属性处选择物体长度时,可视化输出效果如下图所示,其中红色字体处的物体为优先抓取对象。

grasp pose estimation open visualization 3
  • 当在可视化属性处选择位姿高度时,可视化输出效果如下图所示,其中红色字体处的物体为优先抓取对象。

grasp pose estimation open visualization 4

排序逻辑

位姿高度权重

默认值:3

值列表:1、2、3

吸盘大小权重

默认值:1

值列表:0、1、2、3

物体长度权重

默认值:1

值列表:0、1、2、3

调节说明:为位姿高度、吸盘大小、物体长度设置抓取时的权重后,某项的得分为该项乘其对应的权重值,各项得分相加即为最终得分,机器人将按照最终得分对得分高的物体进行抓取。

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。