平面堆叠工件上料工程详解¶

样例场景背景描述¶

平面工件堆叠工程应用的工件满足：工件特征较少，主要集中在工件边缘数量多，容易产生堆叠，不区分正反面的特点。

根据背景描述可知，工件数量较多，容易产生堆叠，并且工件特征主要集中在工件边缘。因此，在实例分割后只提取工件边缘的点云进行3D匹配，减少工件内部无用特征的干扰。平面工件堆叠工程的流程如图1所示，其中红框内的流程是主要的视觉定位流程。

图1 平面工件堆叠工程流程¶

图2为工程截图。下面对各部分进行详细讲解。

图2 平面工件堆叠工程视觉定位流程¶

在平面工件堆叠工程中，通过深度图和彩色图生成点云图，对点云进行法向量计算、滤波以及设置感兴趣区域。为后续运用点云进行工件3D边缘提取做准备。其结果如图3所示，具体详解见步骤组合点云预处理。

图3 点云预处理结果¶

在平面工件堆叠工程中，利用深度学习算法对目标工件进行实例分割，找到工件的平面投影，生成掩膜，为后续生成工件边缘点云做准备。其结果如图4所示，具体详解见步骤组合实例分割（彩色图）。

图4 实例分割（彩色图）结果¶

通过掩模图像和点云，得到掩膜下的点云后，获取工件的边缘点云，滤除不必要的特征点云，为后续3D匹配做准备。其结果如图5所示，具体详解见步骤组合 3D边缘提取。

图5 3D边缘提取结果¶

在生成工件点云后，对点云进行滤波，滤除对3D匹配有影响的点云，提高匹配精度。其结果如图6所示，具体详解见步骤组合滤除点数超限的点云。

图6 滤除点数超限的点云结果¶

在对点云进行滤波之后，对工件进行3D匹配并且得到抓取点。其3D匹配结果如图7所示，具体详解见步骤组合 3D匹配。

图7 3D匹配结果¶

在找到抓取点后，对抓取点进行转换坐标系、排序、映射多抓取点一系列操作。具体详解见步骤组合抓取点排序。