纸箱识别
工程思路介绍
工程中各步骤组合的作用如下表所示。
序号 | 步骤/步骤组合 | 图示 | 功能说明 |
---|---|---|---|
1 |
从相机获取图像 |
连接相机并采集纸箱图像 |
|
2 |
点云预处理与获取最高层掩膜 |
对纸箱点云进行预处理,然后获取最高层纸箱掩膜 |
|
3 |
使用深度学习分割单个纸箱掩膜 |
根据输入的最高层纸箱掩膜,使用深度学习推理出区域内的单个纸箱掩膜,以便后续利用单个纸箱掩膜获取对应单个纸箱的点云 |
|
4 |
计算箱子位姿 |
识别纸箱位姿,并通过输入的纸箱尺寸信息对识别结果进行校验或调整 |
|
5 |
调整位姿V2 |
对纸箱位姿进行坐标系变换,并对多个纸箱位姿进行分行分列排序 |
|
6 |
输出 |
输出纸箱的位姿,用于机器人抓取 |
参数调节说明
在本节,你将通过调节各个步骤或步骤组合的参数来完成工程的部署。
从相机获取图像
由于单品类纸箱案例工程中配备了虚拟数据,所以需先将从相机获取图像步骤的虚拟模式关闭,再连接真实相机。
-
选中从相机获取图像步骤,在界面右下角步骤参数处关闭虚拟模式,然后单击选择相机按钮。
-
在弹出的窗口中单击需要连接相机的编号右侧的 图标,即可连接至该相机。相机连接成功后, 图标将变为 图标。
连接相机后,需选择参数组。单击选择参数组按钮,选择标定好的、带有ETH/EIH和日期的参数组。
-
连接相机并设置参数组后,相机标定参数组、IP地址和端口等参数将自动获取,其余参数保持默认即可。
此时已成功连接相机。
点云预处理并获取最高层掩膜
为了避免因抓取非最高层纸箱而导致机器人与其他纸箱碰撞,需要本步骤组合获取最高层纸箱,并引导机器人优先抓取最高层纸箱。