方案使用进阶
本节将对麻袋识别和麻袋抓取过程中的调试技巧和常见问题处理进行介绍。
麻袋识别
步骤详解
点云预处理
-
功能说明：
该步骤组合用于去除干扰点云，为后续准确计算麻袋位姿做准备。
处理流程如下图所示。
-
需调整的参数：
参数 参数解释 调节说明 调节效果 3D ROI
该参数用于设置 3D 感兴趣区域，感兴趣区域内的点云用于麻袋识别，感兴趣区域外的点云被舍弃。
设置 3D ROI 时，需只包含麻袋点云，不能包含其他场景点云。如果每次来料位置存在波动，应适当扩大 3D ROI。
-
内部重点步骤介绍：
步骤 功能说明 参数调节说明 处理结果 将深度图转换为点云
该步骤可将相机获取的深度图转化为点云，转换后的点云中包含更加丰富和准确的几何信息，用于后续数据处理。
无需进行参数调整。
点云降采样
该步骤可以一定的间隔对点云进行采样，降低点云密度，提高后续步骤的运行速度，提升视觉节拍。
采样间隔越大，点云越稀疏，计算速度越快，但准确性可能会降低。
深度学习分割单个麻袋掩膜
-
功能说明：
根据麻袋形状、颜色、边缘等特征，该步骤组合可通过深度学习分割出单个麻袋的掩膜。后续步骤根据单个麻袋掩膜，提取单个麻袋点云，用于麻袋的识别和定位。
处理流程如下图所示。
-
需调整的参数：
参数 参数解释 调节说明 调节效果 ROI 文件
该参数用于设置深度学习感兴趣区域，减少背景信息干扰，提高识别效果。
设置深度学习 ROI 时，需覆盖整个垛型，同时为了深度学习达到更好的效果，以及兼容来料位置波动，框选 ROI 时需适当留有约三分之一垛型尺寸余量。
实例分割置信度阈值
该参数用于过滤深度学习得分较低的结果。
深度学习推理过程中，每个推理结果对应一个置信度，高于置信度阈值的结果才会被输出。
识别麻袋中心位姿
-
功能说明：
该步骤组合可对上一步提取到的麻袋点云进行尺寸校验，准确计算出麻袋位姿。
处理流程如下图所示。
-
需调整的参数：
参数 参数解释 调节说明 调节效果 麻袋长度/麻袋宽度
该参数用于设置麻袋的标准尺寸，后续将根据该尺寸滤除和实际麻袋尺寸差异较大的点云。
根据实际情况设置该参数。
-
麻袋高度
根据麻袋高度获取最上层范围内的麻袋点云，用于保证优先抓取较高层的麻袋。
根据实际情况设置该参数。
-
内部重点步骤介绍：
步骤 功能说明 参数调节说明 处理结果 提取掩膜中对应的点云
该步骤可通过预处理、深度学习识别结果，获得分隔开的单个麻袋点云。
无需进行参数调整。
点云聚类，并输出符合条件的点云
该步骤可去除点云中的杂点，保证位姿准确性。
最小点数：当聚类后的点云点数小于设置的最小点数时，该点云会被滤除。
根据点云尺寸进行分类
该步骤可将输入点云的尺寸与实际麻袋尺寸对比，如果输入点云的尺寸与实际麻袋尺寸相近，为合格点云，否则为不合格点云，将被滤除。
上/下比例阈值：如果输入点云的尺寸在参考尺寸的上下比例阈值范围内，则为合格点云。
计算平面点云的位姿和尺寸
该步骤可根据麻袋点云，计算麻袋抓取点。
无需进行参数调整。
将位姿沿Z轴移动到点云表面
该步骤可将计算得到的麻袋位姿沿 Z 轴移动至麻袋点云表面。
无需进行参数调整。
调整位姿
-
功能说明：
该步骤组合可对麻袋位姿进行排序、调整和过滤。
处理流程如下图所示。
-
需调整的参数：
-
需调整的参数：
参数 参数解释 调节说明 调节效果 设置目标方向
该参数用于统一麻袋位姿方向，避免机器人抓取麻袋时存在过多的旋转。
通过拖拽器来设置目标方向，机器人坐标系 X 轴与麻袋位姿 X 轴夹角通常为 0° 或 90 °，此时可令 X 轴方向与机器人坐标系 X 轴方向成 45° 左右夹角。
设置最大角度差
该参数用于对输出的位姿进行校验，确保输出位姿的 Z 轴与参考方向的夹角不超过设定的角度阈值。
通常情况下保持推荐值 20° 即可。在项目中，如果麻袋存在明显倾斜明显，可适当调大该阈值；如果麻袋表面平整，可适当调小该阈值。
麻袋抓取
麻袋抓取流程涉及两种通信方式，分别为主控通信方式和标准接口通信方式，本节将以主控通信方式为例对麻袋抓取流程进行介绍。
步骤详解
步骤初始化
-
功能说明：
在程序启动时，对视觉程序和机器人信号进行初始化操作。
具体的步骤包括：停止吸盘的吹气和吸气信号，同时将抓取和放置任务的状态重置为空。上述操作的目的是每次启动时将系统运行状态调整为初始状态，防止异常中断后重启，从而出现风险。
-
重点步骤介绍：
步骤 功能说明 重置抓取任务
在程序初始化时，需将抓件任务重置为空，以确保下一流程能正常运行。
重置放置任务
在程序初始化时，需清空麻袋物体模型，以确保下一流程能正常运行。
检查视觉结果
-
功能说明：
根据Mech-Vision输出的视觉结果，执行不同的工作流程。
-
有结果时，执行抓取麻袋的工作流程。
-
当无结果、未拍照或无点云时，机器人移动到 home 点，然后工作流程终止。
-
-
重点步骤介绍：
步骤 功能说明 检查视觉结果
-
有结果时：继续执行麻袋抓取流程。
-
无结果时：机器人回到 home 点，发出识别异常报警。
-
超时：等待 10 s 后，循环检查视觉结果。
-
未拍照：未能触发相机拍照，机器人回到 home 点，然后发出相机触发异常报警。
-
无点云：Mech-Vision工程未输出点云，机器人回到 home 点，然后发出无点云异常报警。
-
麻袋抓取
-
功能说明：
控制机器人抓取麻袋，然后移动到料筐上方。当规划失败时，机器人移动到 home 点并终止工作流程。
-
重点步骤介绍：
步骤 功能说明 参数说明 抓取麻袋
根据Mech-Vision工程输出的视觉结果，控制机器人移动到麻袋抓取点。
移除目标工件点云
该参数用于移除当前抓取的目标工件点云。进行点云碰撞检测时，如果不移除目标工件点云，夹具会与目标工件点云发生碰撞，导致检测到点云碰撞点数超限，从而无法抓取，所以需勾选该参数。
XY平面点云移除范围拓展、Z向点云移除范围拓展
为了完整地移除目标工件的点云，需将移除的范围稍微扩大，但不能过大，防止将邻近工件点云删除过多，导致碰撞检测出现漏检的情况。
“XY平面点云移除范围拓展”一般设置为 30 mm 左右，“Z向点云移除范围拓展”一般设置为 50 mm 左右，需根据实际情况调节。
等待麻袋吸取牢固
为避免麻袋吸取不牢固，通常需要设置等待时间。
可将等待时间设置为 200 ms。
