方案使用专题

专题一:识别尺寸较小的盒体

本节将介绍如何调整Mech-Vision步骤参数,以识别尺寸较小的盒体。

适用场景

该专题适用于识别长、宽、高尺寸小于 60×60×120(单位为毫米)的单品类盒体。

topic 1 applicable scene

部署Mech-Vision工程

步骤详解

如需识别尺寸较小的盒体,需调整单品类纸箱拆垛方案中的步骤参数,以确保小尺寸盒体能被准确识别。

以肥皂盒为例,下文介绍如何调节Mech-Vision步骤参数。

读取物体尺寸
  • 步骤所在位置: 计算箱子位姿(步骤组合)  点云预处理及获取最高层纸箱(步骤组合)  读取物体尺寸

  • 需调节的参数:X 轴上的长度、Y 轴上的长度、Z 轴上的长度

    • 参数解释:该参数表示箱子的标准尺寸,判断被识别物体的尺寸是否符合要求。

    • 调节说明:根据真实纸箱的标准长、宽、高来设置上述参数。

点云聚类
  • 步骤所在位置:点云预处理及获取最高层纸箱(步骤组合)  获取最高层点云(步骤组合)  点云聚类

  • 需调节的参数:类的最小点数

    • 参数解释:该参数表示点云中的点数下限。如果点云的点数少于该值,则该点云被视为噪声点或离群点,从而被舍弃。

    • 调节说明:需根据实际的单个肥皂盒点云数量进行调整,调整后需确保类的最小点数大于干扰点云的点数,并且小于单个肥皂盒点云点数。

    • 调节示例:如果单个肥皂盒点云点数约为 600,最大的噪声点数量约为 200,则推荐将类的最小点数设置为 400。

点云聚类 并输出符合条件的点云
  • 步骤所在位置:计算箱子位姿(步骤组合)  点云聚类并输出符合条件的点云

  • 需调节的参数:最小点数

    • 参数解释:点云聚类步骤中的类的最小点数

    • 调节说明:点云聚类步骤中的类的最小点数

    • 调节示例:点云聚类步骤中的类的最小点数

获取最高层点云
  • 步骤所在位置:点云预处理及获取最高层纸箱(步骤组合)  获取最高层点云(步骤组合)  获取最高层点云

  • 需调节的参数:层高

    • 参数解释:该参数用于限制点云高度范围,只获取该范围内的点云。

    • 调节说明:需根据实际需求设置该参数。

使用深度学习分割单个箱子掩膜(步骤组合)
  • 步骤所在位置:该步骤组合位于工程最外层。

  • 需调节的参数:深度学习感兴趣区域

    • 参数解释:该参数用于设置深度学习感兴趣区域。

    • 调节说明:设置的感兴趣区域需覆盖最上层盒体,且上、下、左、右留有约三分之一垛型尺寸的余量。

    • 调节示例:以肥皂盒为例,深度学习感兴趣区域设置如下图所示。

      topic 1 dl roi effect
调整位姿V2
  • 步骤所在位置:该步骤位于工程最外层。

  • 需调节的参数 1:选择位姿处理策略

    • 参数解释:该参数用于选择位姿处理策略。

    • 调节说明:目前步骤中已内置默认策略和纸箱排序策略以供选择和修改。如需添加其他位姿处理策略,可单击+按钮进行添加。

      topic 1 add strategy
  • 需调节的参数 2:位姿调整

    • 参数解释:该参数用于对位姿的方向和位移进行调整,分为预设模式和自定义模式。

    • 调节说明:该参数的调节方法可参考位姿调整

  • 需调节的参数 3:位姿排序

    • 参数解释:该参数用于对输入的纸箱位姿进行排序。

    • 调节说明:在单品类纸箱拆垛项目中,使用较为广泛的是“S”形平面排序“Z”形平面排序,调节方法可参考“S”形平面排序“Z”形平面排序

  • 需调节的参数 4:位姿过滤

    • 参数解释:该参数用于对倾斜严重和超出识别区域的纸箱位姿进行过滤。

    • 调节说明:该参数的调节方法可参考位姿过滤

  • 需调节的参数 5:设置新增端口数量

    • 参数解释:该参数用于将需要排序的数据所对应的输出端口连接至新增的输入端口。

    • 调节说明:该参数的调节方法可参考设置新增端口数量

效果展示

完成上述步骤参数调节后,可获得准确的肥皂盒位姿,如下图所示。

topic 1 effect

专题二:解决机器人偏置抓取导致的纸箱放置不居中问题

适用场景

纸箱抓取时,会进行偏置抓取以避免碰撞。但有时现场传送带较窄,因此需将纸箱放置在传送带的中心位置,否则纸箱会因为放置重心不稳而掉落。

topic 2 applicable scene

部署Mech-Viz工程

下文将分别针对纸箱单拆纸箱多抓的场景介绍如何部署Mech-Viz工程。

纸箱单拆

对于纸箱单拆场景,要实现将偏置抓取的纸箱放置在传送带的固定位置,只需将放置点步骤的目标类型参数设置为工件位姿即可。

topic 2 viz 1

纸箱多抓

对于纸箱多抓场景,要实现将偏置抓取的纸箱放置在传送带的固定位置,需进行如下设置。

  1. 需将放置点步骤的目标类型设置为工件位姿

    topic 2 viz 2
  2. 为确保纸箱在传送带上位于居中位置,需调整抓取工件步骤的组合方向参数。当需要纸箱长边或短边在传送带上居中摆放时,可将组合方向设置为沿 Y 轴(使纸箱长边居中)或沿 X 轴(使纸箱短边居中)。

    topic 2 viz 3

专题三:如何使用匹配方法获得纸箱位姿

适用场景

该专题适用于使用现有的纸箱深度学习模型无法获得准确的纸箱掩膜,且纸箱为单一品类纸箱、尺寸一致性较好的场景。

topic 3 applicable scene

部署Mech-Vision工程

流程概览

确定思路后,即可开始部署Mech-Vision工程,总体流程如下图所示。

topic 3 vis overview

下文将对该流程中的重点步骤进行详细解释。

步骤详解

提取边缘点云
  • 功能说明:该步骤组合可通过 2D 特征获取边缘点云。

  • 需调节的参数:低阈值(1255)、高阈值(1255)

    • 参数解释:如果像素梯度值小于低阈值,则被认为是非边缘。如下图所示,左图为原始图像,中图为低阈值为 150、高阈值为 200 时的边缘提取效果,右图为低阈值为 50、高阈值为 200 时的边缘提取效果。

      topic 3 vis low threshold

      如果像素梯度值大于高阈值,则被认为是强边缘。如下图所示,左图为原始图像,中图为高阈值为 60、低阈值为 50 时的边缘提取效果,右图为高阈值为 200、低阈值为 50 时的边缘提取效果。

      topic 3 vis high threshold
    • 调节说明:通过查看输出的图像中纸箱边缘是否清晰来调整高阈值,根据是否想保留更多的纸箱表面信息来调整低阈值。

    • 调节示例:参数设置完成后,边缘提取效果如下图所示。

      topic 3 vis extract edges
3D 匹配
  • 功能说明:该步骤组合可通过将点云模板和场景点云进行精确匹配,以获得准确的物体位姿。

  • 需调节的参数:模型选择

    • 参数解释:该参数用于切换点云模板。

    • 调节说明:添加保存结果到文件步骤并将其连接至提取边缘点云步骤组合后,设置文件保存路径后运行该步骤,即可保存提取好的边缘点云。然后在匹配模板与抓取点编辑器内导入保存好的边缘点云,对边缘点云进行编辑、添加抓取点,并对点云模板和抓取点进行保存。最后即可在模型选择参数处选择保存好的点云模板。

    • 调节示例:制作完成后的点云模板如下图所示。

      topic 3 point clond model

专题四:识别单品类倾斜纸箱

适用场景

该专题适用于相机倾斜安装时的纸箱识别场景。

topic 4 applicable scene

部署Mech-Vision工程

流程概览

Mech-Vision工程总体流程如下图所示。

topic 4 vis overview

该工程在原有典型工程基础上进行了调整,无需调整参数,下文将对新增的重点步骤进行详细解释。

步骤详解

透视变换(步骤组合)
  • 步骤所在位置:该步骤位于计算箱子位姿(步骤组合)  点云预处理及获取最高层纸箱(步骤组合)  透视变换

  • 功能描述:由于现有的深度学习模型对倾斜纸箱 2D 图的识别能力有限,所以为了保证生产稳定性,需对输入的纸箱 2D 图进行透视变换。

    topic 4 perspective transform

    同时,为了保证利用深度学习获得的纸箱掩膜能够正确分割出单个纸箱点云,对输入的纸箱点云也需做变换处理。

    topic 4 point cloud transform
位姿变换
  • 步骤所在位置:该步骤位于工程最外层。

  • 功能描述:该步骤可将机器人坐标系下的纸箱位姿变换至相机坐标系下。

    topic 4 pose in camera

效果展示

Mech-Vision工程部署完成后,可获得准确的纸箱位姿,如下图所示。

topic 4 end pose

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。