工程详解

应用场景

小尺寸非平面工件典型应用工程应用的工件满足：工件数量较多，体积较小的特点。虽然工件特征多，但会存在压叠的情况，影响特征的识别。并且工件存在正反面，有区别于平面工件。

工程搭建

由于工件数量较多，会存在压叠的情况，因此需要使用深度学习进行实例分割和 3D 匹配。小尺寸非平面工件典型应用工程的流程如下图所示。

视觉处理流程及步骤详解

下图为工程截图，下文将对各部分进行详细讲解。

点云预处理

在小尺寸非平面工件典型应用工程中，通过深度图和彩色图生成点云，对点云进行法向量计算、滤波以及设置感兴趣区域。为后续运用点云进行工件 3D 匹配做准备。其结果如下图所示，具体详解见步骤组合 点云预处理 。

实例分割

在小尺寸非平面工件典型应用工程中，利用 深度学习模型包 CPU 推理 步骤对目标工件进行实例分割，找到工件的平面投影，生成掩膜，为后续生成工件点云做准备。其结果如下图所示。

提取掩膜中对应的点云

当有了工件掩膜和点云，就可以得到掩膜下的点云。初步得到工件的点云模型。其结果如下图所示，具体详解见步骤 提取掩膜中对应的点云 。

滤除点数超限的点云

在生成工件点云后，对点云进行滤波。滤除对 3D 匹配有影响的点云，提高匹配精度。其结果如下图所示，具体详解见步骤组合 滤除点数超限的点云 。

3D 匹配

在对点云进行滤波之后，对工件进行3D匹配。并且得到抓取点。其 3D 匹配结果如下图所示，具体详解见步骤组合 3D 匹配 。

抓取点排序

在找到抓取点后，需要对抓取点进行转换坐标系、排序、映射多抓取点等一系列操作。具体内容可参考 抓取点排序 。