匹配

匹配根据模板的点云情况可分为边缘模板匹配、全模板匹配,根据模板的种类多少可分为单模板匹配、多模板匹配。 本章节主要介绍全模板中的的单模板匹配、多模板匹配。

模板选取

模板选取主要由现场相机点云效果、项目精度、节拍等多重因素决定。

  • 边缘模板匹配适用于:
    1. 不需要高精度的位姿输出的场景(如使用柔性夹具)。

    2. 现场相机点云质量一般的场景。

    3. 对于节拍有一定限制的场景。

  • 全模板匹配适用于:
    1. 需要较高精度的位姿输出的场景(如使用刚性夹具)。

    2. 现场相机点云质量好的场景。

    3. 对于节拍要求没那么高的场景。

匹配方式选取

根据需要匹配的模板种类进行选取,多种物体匹配选择多模板匹配。

模板制作

  1. 采集原始点云图像:通过相机获取点云图像,并保存下来。

    ../../../_images/get_point_cloud.png

    图1 采集原始点云图像

    用户也可在Mech-Vision的 工具 ‣ 采集点云模板 中进行采集操作。

  2. 制作点云全模板文件:在Mech-Vision的 工具 ‣ 点云编辑器 中打开采集的原始点云图像,编辑点云去除杂点。

    ../../../_images/pointcloud_edit.png

    图2 点云编辑器

  3. 边缘提取:通过全模板文件进行粗略的边缘提取。

    ../../../_images/edge_point_cloud.png

    图3 点云边缘提取

  4. 制作边缘模板文件:在 点云编辑器 中去除点云边缘文件的杂点,并保存为边缘模板文件。

抓取点设置

参考 添加抓取点 进行设置。

匹配的基础步骤组合

../../../_images/start.png

图4 匹配的步骤组合

图4所示,匹配的基础步骤组合包含 点云处理粗匹配精匹配 三部分,具体流程如下:

  1. 点云处理 部分完成对输入到匹配中的点云做最后的优化。

  2. 粗匹配 通过模板点云和场景点云之间的匹配,计算场景点云与模板点云之间的候选位姿转换关系。

  3. 精匹配 根据迭代算法进行模板局部匹配,可提高匹配精度。

3D匹配

../../../_images/app_3d_match.png

图5 3D匹配的Step组合

结果示例

  • 输入的待匹配点云图。

../../../_images/app_point_cloud_to_match.png

图6 待匹配点云图

  • 点云全模板。

../../../_images/Point_cloud_full_template.png

图7 点云全模板

  • 3D匹配结果。

../../../_images/app_3d_match_result.png

图8 3D匹配结果

3D多模板匹配

../../../_images/app_3d_match_result_multi_temp.png

图9 3D多模板匹配的Step组合

结果示例

  • 输入的待匹配点云图。

../../../_images/app_point_cloud_to_match_image.png

图10 待匹配点云图

  • 点云全模板。

../../../_images/Point_cloud_full_template.png

图11 点云全模板1

../../../_images/app_point_cloud_full_mask_2.png

图12 点云全模板2

  • 3D匹配结果。

../../../_images/app_3d_match_result_1.png

图13 3D匹配结果