工程详解

应用场景

平面工件堆叠典型应用工程的工件满足：工件特征较少，主要集中在工件边缘数量多，容易产生堆叠，不区分正反面的特点。

工程搭建

根据背景描述可知，工件数量较多，容易产生堆叠，并且工件特征主要集中在工件边缘。因此，在实例分割后只提取工件边缘的点云进行 3D 匹配，减少工件内部无用特征的干扰。平面工件堆叠典型应用工程的流程如下图所示。

视觉处理流程及步骤详解

下图为工程截图，下文将对各部分进行详细讲解。

点云预处理

在平面工件堆叠典型应用工程中，通过深度图和彩色图生成点云，对点云进行法向量计算、滤波以及设置感兴趣区域。为后续运用点云进行工件 3D 边缘提取做准备。其结果如下图所示，具体详解见步骤组合 点云预处理 。

实例分割

在平面工件堆叠典型应用工程中，利用 深度学习模型包 CPU 推理 步骤对目标工件进行实例分割，找到工件的平面投影，生成掩膜，为后续生成工件边缘点云做准备。其结果如下图所示。

提取点云边缘

通过掩模图像和点云，得到掩膜下的点云后，获取工件的边缘点云，滤除不必要的特征点云，为后续 3D 匹配做准备。其结果如下图所示。

滤除点数超限的点云

在生成工件点云后，对点云进行滤波，滤除对 3D 匹配有影响的点云，提高匹配精度。其结果如下图所示，具体详解见步骤组合 滤除点数超限的点云 。

3D 匹配

在对点云进行滤波之后，对工件进行 3D 匹配并且得到抓取点。其 3D 匹配结果如下图所示，具体详解见步骤组合 3D 匹配 。

抓取点排序

在找到抓取点后，需对抓取点进行转换坐标系、排序、映射多抓取点等一系列操作。具体内容可参考 抓取点排序 。