方案使用进阶

从相机获取图像步骤输出的图像包括深度图和彩色图，在深度图中，每个像素都包含了场景内物体与相机的距离信息。为了方便对图像数据进行处理，首先需要将获取到的深度图转换为点云，点云将提供更加丰富和准确的几何信息，有利于视觉处理。

转换结果如下图所示，左图为获取到的纸箱深度图，右图为转换得到的点云。

由于相机采集到的原始点云点数较多，所以需将原始点云的密度降低，减少后续运算时间，提高视觉处理效率。

点云的降采样结果如下图所示，左图为原始点云（点云点数为 981601），右图为降采样后的点云（点云点数为 195087）。

该步骤用于去除干扰点云，并判断 3D 感兴趣区域内纸箱点云点数是否为空。

当参数设置有误时，将导致以下问题。

视觉处理过程中，点云会存在杂点，需使用点过滤和点云聚类步骤去除杂点，同时利用点云聚类步骤根据点云距离将点云进行分组，带颜色的点云为被保留的点云，相同颜色的点云划分为为同一组，其他杂点被滤除。

处理结果如下图所示，左图为去除杂点之前的点云，右图为去除杂点且聚类后的点云。

当参数设置有误时，将导致以下问题。

当参数设置有误时，将导致以下问题。

该步骤用于提取深度学习掩膜所对应的点云。输入深度学习输出的掩膜和点云预处理后的点云，即可得到分割开的点云。

在提取完整的纸箱点云时，为了确保纸箱点云的完整性并避免丢失重要信息，掩膜的面积通常会略大于纸箱的实际面积。然而，由于额外的掩膜面积，可能会引入杂点。因此，需对点云进行聚类，并去除杂点，得到符合计算条件的纸箱点云。

在该步骤中，当聚类后的点云点数小于最小点数时，对应的点云会被去除。如果目标物体较小，如药盒等，需根据实际情况调小该参数。

处理结果如下图所示，左图为带杂点的点云，右图为去除杂点后的点云。

该步骤用于根据纸箱点云生成外接长方体，计算长方体的中心位置，并得到纸箱抓取点，同时还需计算纸箱点云的尺寸（长、宽、高）。

计算平面点云的位姿和尺寸步骤输出纸箱尺寸后，需与已知纸箱真实尺寸进行对比，当长、宽的对比差距大于设定的箱子尺寸误差范围时，需进行报警，报警类型可根据实际需求选择。

正方形和长方形具有不同的对称性，正方形的对称角度为 90°，而长方形的对称角度为 180°。因此，在调整位姿时，需根据对称性进行调整，以减少机器人末端在纸箱抓取过程中不必要的旋转，提高机器人抓取效率，优化纸箱抓取过程。

在该步骤中，可通过纸箱尺寸的长和宽判断是否为正方形，根据不同的对称性调整其位姿朝向，目的是使其指向机器人最便于抓取的方向，最大程度减少末端工具转动，从而提高抓取效率。