小型曲面工件上料工程详解¶

应用场景¶

小型曲面工件工程应用的工件满足：工件数量较多，体积较小的特点。虽然工件特征多，但会存在压叠的情况，影响特征的识别。并且工件存在正反面，有区别于平面工件。

工程搭建¶

搭建思路
由于工件数量较多，会存在压叠的情况，因此需要使用深度学习进行实例分割和3D匹配。小型曲面工件工程的流程如图1所示。其中，红框内的流程是主要的工程步骤。

图1 小型曲面工件工程流程¶

具体实现
如图2为工程截图。下面对各部分进行详细讲解。

图2 小型曲面工件工程视觉定位流程¶

步骤详解¶

点云预处理

在小型曲面工件工程中，通过深度图和彩色图生成点云图，对点云进行法向量计算、滤波以及设置感兴趣区域。为后续运用点云进行工件3D匹配做准备。其结果如图3所示，具体详解见步骤组合点云预处理。

图3 点云预处理结果¶

实例分割（彩色图）

在小型曲面工件工程中，利用深度学习算法对目标工件进行实例分割，找到工件的平面投影，生成掩膜，为后续生成工件点云做准备。其结果如图4所示，具体详解见步骤组合实例分割（彩色图）。

图4 实例分割（彩色图）结果¶

提取掩膜中对应的点云

当有了工件掩膜和点云，就可以得到掩膜下的点云。初步得到工件的点云模型。其结果如图5所示，具体详解见步骤提取掩膜中对应的点云。

图5 提取掩膜中对应的点云结果¶

滤除点数超限的点云

在生成工件点云后，对点云进行滤波。滤除对3D匹配有影响的点云，提高匹配精度。其结果如图6所示，具体详解见步骤组合滤除点数超限的点云。

图6 滤除点数超限的点云结果¶

3D匹配

在对点云进行滤波之后，对工件进行3D匹配。并且得到抓取点。其3D匹配结果如图7所示，具体详解见步骤组合 3D匹配。

图7 3D匹配结果¶

抓取点排序

在找到抓取点后，对抓取点进行转换坐标系、排序、映射多抓取点一系列操作。此工程这部分的具体搭建如图8所示，参考的步骤组合是抓取点排序。

图8 抓取点排序组合¶