预测抓取点(任意物体)

功能描述

结合 2D 图像和 3D 深度图,识别出图像中可被抓取的物体并输出相应的抓取位姿。

grasp pose estimation grasp pose estimation

使用场景

该步骤通常用于散乱堆叠的不同物品的分拣,一般应用于商超场景。

您可下载案例库货品拣选类别下“料箱中抓取货品”案例,来尝试使用“预测抓取点(任意物体)”步骤,无需自行训练模型,即可识别物体抓取点。

输入与输出

grasp pose estimation input and output

使用前提

显卡要求

使用该步骤时,应使用 NVIDIA GTX 1650 Ti 及以上的显卡。

使用须知

  • 使用该步骤时,需等待深度学习服务器启动成功,即日志栏出现“启动深度学习服务器成功”的信息后,再运行该步骤。

  • 首次运行该步骤时,步骤会根据显卡对模型进行优化,此过程耗时 10~30 分钟(具体耗时视电脑配置而定),请耐心等待。当模型优化完成后,步骤运行时间将大大缩短。

参数调节说明

服务端

服务端 IP

默认值:127.0.0.1

调节说明:根据实际情况设置深度学习服务端 IP 地址。

服务端 Port(1 ~ 65535)

默认值:60052

调节说明:在任意物体吸取、任意物体吸取(无料筐)工程中,应使用 60000~65535 的端口号。

推理设置

推理模式

参数解释:用于选择深度学习推理的模式。

值列表:GPU、CPU

  • GPU:使用 GPU 推理前先对模型进行优化,然后对优化后的模型进行推理,推理速度较快。首次对模型进行优化时,需耗时 10~30 分钟。

  • CPU:使用 CPU 进行深度学习模型推理,与 GPU 相比,推理时间会增加,且识别精度会有所降低。

默认值:GPU。

调节说明:推理速度:GPU>CPU。切换推理模式后,需重启深度学习服务器。

工作距离

最小工作距离

默认值:0

调节说明:相机至场景中物体的最短距离(单位:mm)。若使用料筐,请将此参数设为相机底部至料筐顶部边沿的距离。需根据实际情况设定此值。

最大工作距离

默认值:3000

调节说明:相机至场景中物体的最长距离(单位:mm)。若使用料筐,请将此参数设为相机底部至料筐底部边沿的距离。需根据实际情况设定此值。

料筐设置

使用料筐

默认值:不勾选。

调节说明:当需要料筐时,勾选此项,勾选后,此步骤将增加料筐位姿输入端口。如下图所示,图 1 为勾选前,图 2 为勾选后。

grasp pose estimation use bin

默认值:100mm

调节说明:当勾选使用料筐后,需根据料筐尺寸设定此值。

默认值:100mm

调节说明:当勾选使用料筐后,需根据料筐尺寸设定此值。

轮廓检测(智能码放,异形件)

轮廓检测

默认值:不勾选。

调节说明:用于检测物体的外轮廓。勾选后,将在下方出现异形件过滤参数。

异形件过滤(常用于吸取快递的场景)

滤除过窄物体

默认值:不勾选。

调节说明:勾选后,最小外接长方体最短边小于短边长度下限的物体将被当做过窄物体,并被忽略。

短边长度下限

默认值:0

调节说明:勾选滤除过窄物体后显示此项,最小外接长方体最短边长度小于此值的物体将被忽略。需根据现场实际情况设定此值。

调节示例:当此值设为 30 时,实际长度小于 30mm 的物体将被滤除。如下图所示,上图为滤除前,下图为滤除后。

grasp pose estimation filter short
滤除过长物体

默认值:不勾选。

调节说明:勾选后,最小外接长方体最长边大于长边长度上限的物体将被当做过长物体,并被忽略。

长边长度上限

默认值:0

调节说明:勾选滤除过长物体后显示此项,最小外接长方体最长边长度大于此值的物体将被忽略。需根据现场实际情况设定此值。

调节示例:当此值设为 180 时,实际长度大于 180mm 的物体将被滤除。如下图所示,上图为滤除前,下图为滤除后。

grasp pose estimation filter long

压叠检测

压叠检测

默认值:不勾选。

调节说明:当物体存在压叠情况时,勾选此项。勾选后,将对物体进行压叠检测,并降低识别出被压叠物体的抓取优先级。

最多检测压叠个数

默认值:6

调节说明:勾选压叠检测后显示此项,视为被压叠的最大物体数量。需根据现场实际情况设定此值。如果将此参数设置为较大的值,则更多物体将会视为被压叠,抓取任务更难完成,但更不容易破坏目标物体。

调节示例:当此值设为 6 时,将最多检测到 6 个压叠的物体。如下图所示,左图为压叠检测前,右图为此值设为 6 后的检测结果,带有红色区域的物体为检测到的压叠物体。

grasp pose estimation detection overlap

吸盘设置

调节此参数将决定预测抓取点步骤的吸盘标签输出结果。

grasp pose estimation chuck label
按掩膜体量分配

默认值:不启用。

值列表:不启用、分两组、分三组。

调节说明:根据掩膜最小内切圆半径的不同,物体将被分到不同组中,各组物体会有单独的吸盘配置。

体量阈值 1

默认值:0

调节说明:掩膜最小内切圆半径的第一个阈值。半径小于此阈值的物体将被放入第 1 组,半径大于此阈值的物体将被放入第 2 组。

调节示例:如下图所示,当检测到物体掩膜内接圆半径小于 20mm 时,判定吸盘标签为小。

grasp pose estimation size paragraph 2
体量阈值 2

默认值:0

调节说明:掩膜最小内切圆半径的第二个阈值。半径小于此阈值的物体将被放入第 2 组,半径大于此阈值的物体将被放入第 3 组。

调节示例:如下图所示,当检测到物体掩膜内接圆半径大于 40mm 时,判定吸盘标签为大;当检测到物体掩膜内接圆半径位于 20mm 和 40mm 之间时,判定吸盘标签为中等。

grasp pose estimation size paragraph 3
按掩膜跨度分配

默认值:不启用。

值列表:不启用、分两组。

调节说明:根据掩膜最小外接矩形对角线长度的不同,物体将被分配到不同的组中,各组物体将有不同的吸盘配置。

掩膜跨度阈值

默认值:80

调节说明:如果一个物体的掩膜最小外接矩形对角线长度小于此阈值,则标记为“Short”,否则标记为“Long”。

调节示例:如下图所示,当检测到物体长度大于 80mm 时,判定吸盘标签为长,反之为短。

grasp pose estimation length paragraph 2

可视化

开启

默认值:勾选。

调节说明:勾选后即可开启可视化,查看选择的可视化属性效果。

可视化属性

默认值:最终得分。

值列表:最终得分、吸盘直径、物体长度、位姿高度。

调节说明:选择想要可视化的项。

调节示例:

  • 当在可视化属性处选择最终得分时,可视化输出效果如下图所示,其中红色字体处的物体为优先抓取对象。

grasp pose estimation open visualization 1
  • 当在可视化属性处选择吸盘直径时,可视化输出效果如下图所示,其中红色字体处的物体为优先抓取对象。

grasp pose estimation open visualization 2
  • 当在可视化属性处选择物体长度时,可视化输出效果如下图所示,其中红色字体处的物体为优先抓取对象。

grasp pose estimation open visualization 3
  • 当在可视化属性处选择位姿高度时,可视化输出效果如下图所示,其中红色字体处的物体为优先抓取对象。

grasp pose estimation open visualization 4

排序逻辑

位姿高度权重

默认值:3

值列表:1、2、3

吸盘大小权重

默认值:1

值列表:0、1、2、3

物体长度权重

默认值:1

值列表:0、1、2、3

调节说明:为位姿高度、吸盘大小、物体长度设置抓取时的权重后,某项的得分为该项乘其对应的权重值,各项得分相加即为最终得分,机器人将按照最终得分对得分高的物体进行抓取。

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。