生成点云模板

点云模板既可以描述整个目标物体,也可以只描述目标物体一部分(如最高层物体表面点云,边缘点云等)。好的点云模板至少满足以下 3 点要求:

  1. 点云质量高,噪点少或无噪点。

  2. 点云分布均匀,数量合理。

  3. 点云能够凸显目标物体的特性特征。

在匹配模板与抓取点编辑器中有两种方式可以生成点云模板:

通过相机采集图像生成点云模板

该功能通过从相机采集目标物体或背景的深度图以生成点云模板。

提示

已打开的工程中需包含 从相机获取图像 步骤,且已配置好该步骤参数中的相机设置,此功能才可使用。

使用真实相机和虚拟相机时,所需的操作不太相同,下面分别进行具体介绍。

真实相机

使用真实相机采集图像来生成点云模板时,根据目标物体与背景是否容易分开采集,操作流程会有所不同。下面分别介绍具体操作。

目标物体与背景易分开采集

适用于目标物体比较轻型的情形,例如抓取小型平面工件。

  1. 若未添加示教抓取点,则将一个目标物体放到相机视野内(料筐里)。若已添加了示教抓取点,确认目标物体没有发生移动,否则重新添加示教抓取点。

  2. 单击该工具初始界面中的 采集点云 按钮,在弹出的窗口中单击 采集点云

    ../../../../../_images/generate_point_cloud_model_1.png
  3. 根据实际需求选择是否勾选 使用边缘点云 ,然后单击 采集物体 ,采集目标物体的深度图。

    ../../../../../_images/generate_point_cloud_model_2.png
  4. 采集完成后,目标物体的深度图如下图所示。如需去除背景,需单击 去除背景

    ../../../../../_images/generate_point_cloud_model_3.png
  5. 此时需先将物体移出相机视野,然后单击 采集背景 按钮来采集背景。

    ../../../../../_images/generate_point_cloud_model_4.png
  6. 采集背景完成后,如下图所示。然后单击 下一步

    ../../../../../_images/generate_point_cloud_model_5.png
  7. 在该窗口中单击 去除背景 ,即可得到去除背景后的物体。

    ../../../../../_images/generate_point_cloud_model_6.png

    单击 完成 ,即可将该物体导入匹配模板与抓取点编辑器工具。

    ../../../../../_images/generate_point_cloud_model_7.png

提示

点数阈值 用于对去除背景后所得的深度图去噪。此值越高,会去除越多噪声。

  • 如果目标物体点云比较不完整,可以适当调低该参数。

  • 如果剩余太多背景点云,可以适当调高该参数。

提示

双击 模板文件 列表中的点云模板名称可以重命名。

因图像中光线变化等原因,生成的点云模板很可能包含了无关的点,可以在 编辑点云模板 时进行裁剪。

提示

从“添加示教抓取点”章节单击链接跳转来的用户,可以直接使用浏览器上的后退按钮返回,继续查看“添加示教抓取点”的剩余操作步骤。

目标物体与背景不易分开采集

适用于目标物体比较笨重的情形,例如轮毂装配。

  1. 若未添加示教抓取点,则将一个目标物体放到相机视野内。若已添加了示教抓取点,确认目标物体没有发生移动,否则重新添加示教抓取点。

  2. 单击该工具初始界面中的 采集点云 按钮,在弹出的采集点云窗口中单击 采集点云

    ../../../../../_images/generate_point_cloud_model_1.png
  3. 单击 采集物体 ,然后再单击 完成 即可生成物体的点云模板。

虚拟相机

使用虚拟相机时,因为不能现场采集,所以需要事先准备好图像。

小技巧

背景深度图不需要完全不包含目标物体,只需要和目标物体深度图之间相差了一个目标物体即可。

由于事先保存的图像一般为实际抓取过程中采集的,所以第 n 张图像中的目标物体一般比第 n+1 张多一个。因此推荐先读取目标物体的深度图,再将下一张图作为背景深度图。

  1. 在 Mech-Vision 的工程编辑区中,选中 从相机获取图像 步骤,在右侧参数栏中进行以下设置:

    • 图像数据路径 中,选择深度图所在文件夹的上级文件夹。更多设置说明请参考 从相机获取图像

    • 读取模式 设置为 重复所有

  2. 单击菜单栏中的 工具箱 ‣ 匹配模板与抓取点编辑器,打开匹配模板与抓取点编辑器。

  3. 单击该工具初始界面中的 采集点云 按钮,在弹出的采集点云窗口中单击 采集点云 ,即可打开图像采集窗口。

    ../../../../../_images/generate_point_cloud_model_1.png
  4. 后续操作与上述 真实相机 的操作流程相似。每次单击 重新采集物体 按钮后,便会按顺序读取数据文件夹中的一张图,重复此操作,直到窗口中显示的深度图符合需求。

通过导入 CAD 文件生成点云模板

如果已经有目标物体的 CAD 模型文件,可以将该文件导入匹配模板与抓取点编辑器中,再根据此文件生成点云模板。

提示

目前仅支持导入 stl 格式的 CAD 文件。

  1. 单击该工具初始界面中的 导入 CAD 文件 按钮,找到所需的 CAD 文件后,选中该文件并单击 打开

    ../../../../../_images/import_cad_0.png
  2. 在弹出的窗口中选择模型单位。

    ../../../../../_images/import_cad_1.png
  3. 导入的 CAD 文件将显示在左边栏的 CAD 文件 列表中。

    ../../../../../_images/import_cad_2.png

    提示

    每次只能导入一个 CAD 文件,如需导入多个,请重复步骤 1 至 2。

  4. CAD 文件 列表中选中需要生成模板的文件,再单击工具栏中的 icon_10icon_11,可生成点云模板。

    • icon_10:生成整个模型表面的点云。

      单击后需先在弹出的窗口中调节点云降采样间隔,再单击 确定,即可生成点云模板。

      ../../../../../_images/import_cad_file_03.png
    • icon_11:仅生成当前视角下可见部分的点云。

      下图中,左侧为生成点云时的视角,右侧为生成的点云,可看出左侧视角中不可见的部分没有生成对应的点云。

      ../../../../../_images/import_cad_file_04.png

      提示

      在已生成了点云模板时,可能出现 icon_10icon_11 不可用的情况。

      此时,请先单击界面中任意一处来取消选中 CAD 文件 列表中的文件,然后重新选中,上述按钮即会恢复为可用状态。


提示

除了通过上述方法生成点云模板,用户也可以该工具初始界面中的 导入点云 按钮,直接导入已有的 ply 格式点云文件。

生成点云模板后,可根据需要进行下述操作:

  • 保存列表中所有文件:单击菜单栏中的 文件 ‣ 保存 或使用快捷键 Ctrl + S

    提示

    文件保存路径为:工程文件夹/resource/model_editor。

    提示

    关闭该工具窗口时,无论是否已保存文件,均会弹窗提示是否进行保存。

  • 删除点云模板:在 模板文件 列表中右键单击要删除的模板,在弹出的菜单中选择 删除

  • 将文件设为不可见:单击文件名称右侧的 icon_0 ,即可在可视化区域中隐藏该文件。再次单击将重新显示。

  • 显示包围盒:在列表中选中文件后,再在 CAD 文件 列表下方勾选 显示包围盒

  • 更改点云显示颜色:在 模板文件 列表中选中点云模板,再在列表下方双击 点云颜色 后的白色长方形,即可在弹出的窗口中更改点云显示颜色。

提示

不能更改导入的彩色点云的显示颜色。


接下来可以对点云模板进行 编辑操作 ,使其更符合实际使用需求。