纸箱识别

在使用本教程前,你已经在手眼标定章节中使用案例工程单品类纸箱创建了Mech-Vision工程。

在本教程中,你将先了解工程思路,然后通过调节步骤参数完成工程的部署,来识别纸箱的位姿并输出视觉结果。

工程思路介绍

工程中各步骤组合的作用如下表所示。

序号 步骤/步骤组合 图示 功能说明

1

从相机获取图像

vision project workflow introduction 1

连接相机并采集纸箱图像

2

点云预处理与获取最高层掩膜

vision project workflow introduction 2

对纸箱点云进行预处理,然后获取最高层纸箱掩膜

3

使用深度学习分割单个纸箱掩膜

vision project workflow introduction 3

根据输入的最高层纸箱掩膜,使用深度学习推理出区域内的单个纸箱掩膜,以便后续利用单个纸箱掩膜获取对应单个纸箱的点云

4

计算箱子位姿

vision project workflow introduction 4

识别纸箱位姿,并通过输入的纸箱尺寸信息对识别结果进行校验或调整

5

调整位姿V2

vision project workflow introduction 5

对纸箱位姿进行坐标系变换,并对多个纸箱位姿进行分行分列排序

6

输出

vision project workflow introduction 6

输出纸箱的位姿,用于机器人抓取

参数调节说明

在本节,你将通过调节各个步骤或步骤组合的参数来完成工程的部署。

从相机获取图像

由于单品类纸箱案例工程中配备了虚拟数据,所以需先将从相机获取图像步骤的虚拟模式关闭,再连接真实相机。

  1. 选中从相机获取图像步骤,在界面右下角步骤参数处关闭虚拟模式,然后单击选择相机按钮。

    vision project click select camera
  2. 在弹出的窗口中单击需要连接相机的编号右侧的 image 图标,即可连接至该相机。相机连接成功后, image 图标将变为 image 图标。

    image

    连接相机后,需选择参数组。单击选择参数组按钮,选择标定好的、带有ETH/EIH和日期的参数组。

    image
  3. 连接相机并设置参数组后,相机标定参数组、IP地址和端口等参数将自动获取,其余参数保持默认即可。

    image

此时已成功连接相机。

点云预处理并获取最高层掩膜

为了避免因抓取非最高层纸箱而导致机器人与其他纸箱碰撞,需要本步骤组合获取最高层纸箱,并引导机器人优先抓取最高层纸箱。

设置3D感兴趣区域(ROI)

  1. 点云预处理并获取最高层掩膜步骤组合中,在步骤参数中单击打开编辑器按钮,打开设置3D ROI窗口。

    vision project open 3d roi editor
  2. 设置3D ROI窗口中点云显示区域拖动默认生成的3D ROI到合适的位置,需保证绿色方框同时满足纸箱堆垛的最高和最低区域,且绿框内不包含其它干扰点云,如下图所示。

    image

设置纸箱尺寸

点云预处理并获取最高层掩膜步骤组合中,在步骤参数中依次填入纸箱长度纸箱宽度纸箱高度

image
该步骤组合会根据纸箱的高度来提取最高处纸箱的点云,如果设置的纸箱高度大于实际纸箱高度,将导致最高层纸箱点云提取错误。

使用深度学习分割单个纸箱掩膜

获取到最高层纸箱后,需通过深度学习分割出单个纸箱。

  1. 使用深度学习分割单个纸箱掩膜步骤组合,在步骤参数中单击打开编辑器按钮,打开设置目标区域窗口。

    vision project open dl editor
  2. 设置目标区域窗口中设置2D ROI, 2D ROI需覆盖最上层的箱子,可适当留有三分之一的余量。

    vision project dl roi
  3. 当前案例工程中内置了纸箱通用的实例分割模型包。运行该步骤组合即可获取到单个纸箱的掩膜,如下图所示。

    image

如果分割效果不够好,可适当调节2D ROI的大小。

计算箱子位姿

获取到单个纸箱的点云后,即可计算纸箱位姿。此外,通过输入的纸箱尺寸,可以校验视觉识别结果的准确性。

计算箱子位姿步骤组合用于计算箱子的位姿和尺寸。无需对该步骤组合进行参数设置。

调整位姿V2

调整位姿V2步骤用于将纸箱位姿从相机坐标系转换至机器人坐标系,位姿朝向调整、位姿排序,以及过滤不合格的位姿。无需对该步骤组合进行参数设置。

输出

得到正确的纸箱位姿后,输出步骤可将当前工程的结果发送给后台服务。

至此,你已经完成了Mech-Vision纸箱识别工程的部署。

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。