生成点云模板

点云模板既可以描述整个目标物体,也可以只描述目标物体一部分(如最高层物体表面点云,边缘点云等)。好的点云模板至少满足以下 3 点要求:

  1. 点云质量高,噪点少或无噪点。

  2. 点云分布均匀,数量合理。

  3. 点云能够凸显目标物体的特性特征。

在匹配模板与抓取点编辑器中有两种方式可以生成点云模板:

通过相机采集图像生成点云模板

该功能通过从相机采集目标物体或背景的深度图以生成点云模板。

提示

已打开的工程中需包含 从相机获取图像 步骤,且已配置好该步骤参数中的相机设置,此功能才可使用。

使用真实相机和虚拟相机时,所需的操作不太相同,下面分别进行具体介绍。

真实相机

使用真实相机采集图像来生成点云模板时,根据目标物体与背景是否容易分开采集,操作流程会有所不同。下面分别介绍具体操作。

  • 目标物体与背景易分开采集,适用于目标物体比较轻型的情形,例如抓取小型平面工件。

    1. 若未添加示教抓取点,则将一个目标物体放到相机视野内(料筐里)。若已添加了示教抓取点,确认目标物体没有发生移动,否则重新添加示教抓取点。

      ../../../../../_images/capture_image_03.png
    2. 单击工具栏中的 icon1,打开图像采集窗口,勾选滤除背景。

      ../../../../../_images/capture_image_02.png
    3. 单击 采集目标物体,采集目标物体的深度图,然后单击 下一步

      ../../../../../_images/capture_image_04.png
    4. 清空相机视野内的目标物体,仅保留背景。如果从料筐中抓取,则需清空料筐中的物体,但要保留料筐。

      ../../../../../_images/capture_image_05.png
    5. 单击 采集背景,采集背景深度图,然后单击 下一步

      ../../../../../_images/capture_image_06.png
    6. 单击 滤除背景,便可显示目标物体的点云模板。

      ../../../../../_images/capture_image_07.png
    7. 调节 点数阈值

      此阈值用于对去除背景后所得的深度图去噪。此值越高,会去除越多噪声。

      • 如果目标物体点云比较不完整,可以适当调低该参数。

      • 如果剩余太多背景点云,可以适当调高该参数。

    8. 单击 生成模板,在可视化区域和左边栏 模板文件 列表中看到生成的点云模板。

      ../../../../../_images/capture_image_08.png

      提示

      双击 模板文件 列表中的点云模板名称可以重命名。

      因图像中光线变化等原因,生成的点云模板很可能包含了无关的点,可以在 编辑点云模板 时进行裁剪。

      提示

      从“添加示教抓取点”章节单击链接跳转来的用户,可以直接使用浏览器上的后退按钮返回,继续查看“添加示教抓取点”的剩余操作步骤。

  • 目标物体与背景不易分开采集,适用于目标物体比较笨重的情形,例如轮毂装配。

    1. 若未添加示教抓取点,则将一个目标物体放到相机视野内。若已添加了示教抓取点,确认目标物体没有发生移动,否则重新添加示教抓取点。

    2. 单击工具栏中的 icon1,打开图像采集窗口。

      ../../../../../_images/capture_image_01.png
    3. 单击 采集目标物体 ,然后再单击 生成模板 便可生成点云模板。

虚拟相机

使用虚拟相机时,因为不能现场采集,所以需要事先准备好图像。

小技巧

背景深度图不需要完全不包含目标物体,只需要和目标物体深度图之间相差了一个目标物体即可。例如下图中,左图可用作背景深度图,右图用作目标物体深度图。

../../../../../_images/capture_image_09.png
  1. 在 Mech-Vision 的工程编辑区中,选中 从相机获取图像 步骤,在右侧参数栏中进行以下设置:

    • 图像数据路径 中,选择深度图所在文件夹的上级文件夹。更多设置说明请参考 从相机获取图像

    • 读取模式 设置为 重复所有

  2. 单击菜单栏中的 工具箱 ‣ 匹配模板与抓取点编辑器,打开匹配模板与抓取点编辑器,再单击工具栏中的 icon1 ,打开图像采集窗口。

    注解

    因为事先保存的图像一般为实际抓取过程中采集的,所以第 n 张图像中的目标物体一般比第 n+1 张多一个。因此推荐先读取目标物体的深度图,再将下一张图作为背景深度图。

  3. 后续操作与上述 真实相机 的操作流程相似。每次单击采集按钮便会按顺序读取文件夹中的一张图,重复此操作,直到窗口中显示的深度图符合需求。

通过导入 CAD 文件生成点云模板

如果已经有目标物体的 CAD 模型文件,可以将该文件导入匹配模板与抓取点编辑器中,再根据此文件生成点云模板。

提示

目前仅支持导入 stl 格式的 CAD 文件。

  1. 单击工具栏中的 icon3,找到所需的 CAD 文件后,选中该文件并单击“打开”。

  2. 在弹出的窗口中选择模型单位。

    ../../../../../_images/import_cad_file_01.png
  3. 导入的 CAD 文件将显示在左边栏的 CAD 文件 列表中。

    ../../../../../_images/import_cad_file_02.png

    提示

    每次只能导入一个 CAD 文件,如需导入多个,请重复步骤 1 至 2。

  4. CAD 文件 列表中选中需要生成模板的文件,再单击工具栏中的 icon4icon5,可生成点云模板。

    • icon4:生成整个模型表面的点云。

      单击后需先在弹出的窗口中调节点云降采样间隔,再单击 确定,即可生成点云模板。

      ../../../../../_images/import_cad_file_03.png
    • icon5:仅生成当前视角下可见部分的点云。

      下图中,左侧为生成点云时的视角,右侧为生成的点云,可看出左侧视角中不可见的部分没有生成对应的点云。

      ../../../../../_images/import_cad_file_04.png

      提示

      在已生成了点云模板时,可能出现 icon4icon5 不可用的情况。

      此时,请先单击界面中任意一处来取消选中 CAD 文件 列表中的文件,然后重新选中,上述按钮即会恢复为可用状态。


提示

除了通过上述方法生成点云模板,用户也可以通过工具栏中的 icon2 直接导入已有的 ply 格式点云文件。

生成点云模板后,可根据需要进行下述操作:

  • 保存列表中所有文件:单击菜单栏中的 文件 ‣ 保存 或使用快捷键 Ctrl + S

    提示

    文件保存路径为:工程文件夹/resource/model_editor。

  • 删除点云模板:在 模板文件 列表中右键单击要删除的模板,在弹出的菜单中选择 删除

  • 将文件设为不可见:单击文件名称右侧的 EyeIcon ,即可在可视化区域中隐藏该文件。再次单击将重新显示。

  • 显示包围盒:在列表中选中文件后,再在 CAD 文件 列表下方勾选 显示包围盒

  • 更改点云显示颜色:在 模板文件 列表中选中点云模板,再在列表下方双击 点云颜色 后的白色长方形,即可在弹出的窗口中更改点云显示颜色。

提示

不能更改导入的彩色点云的显示颜色。


接下来可以对点云模板进行 编辑操作 ,使其更符合实际使用需求。