生成点云模板

在匹配模板与抓取点编辑器中有两种方式可以生成点云模板:通过相机采集图像生成,或通过导入的CAD文件生成。


icon1 通过相机采集图像生成

该功能先采集背景深度图和含有目标物体的深度图,再通过比较两者来生成目标物体的点云。

提示

已打开的工程中需包含“从相机获取图像”步骤,且已配置好该步骤参数中的相机设置,此功能才可以使用。

使用真实相机和虚拟相机时,所需的操作不太相同,下面分别进行具体介绍。

真实相机

使用真实相机采集图像来生成点云模板时,根据是否已添加了示教抓取点,操作流程会有所不同。下面分别介绍具体操作。

  1. 未添加示教抓取点

    1. 清空相机视野内的目标物体,仅保留背景。如果从料筐中抓取,则需清空料筐中的物体,但要保留料筐。

      ../../../../_images/capture_image_01.png
    2. 点击工具栏中的 icon1,打开图像采集窗口。

    3. 点击 采集不含目标物体的背景,采集背景深度图,然后点击 下一步

      ../../../../_images/capture_image_02.png
    4. 将一个目标物体放到相机视野内(料筐里)。

      ../../../../_images/capture_image_03.png
    5. 点击 采集目标物体,采集目标物体的深度图,然后点击 下一步

      ../../../../_images/capture_image_04.png
    6. 点击 生成模板,即可生成目标物体的点云模板。

      ../../../../_images/capture_image_05.png

      提示

      在该页面中也可以通过鼠标调整视角来确认点云。

    7. 调节 点数阈值

      • 如果目标物体点云比较不完整,可以适当调高该参数,然后点击 生成模板 查看效果。

      • 如果剩余太多背景点云,可以适当调低该参数,然后点击 生成模板 查看效果。

    8. 点击 完成,退出采集图像窗口,可以在可视化区域和左边栏 模板文件 列表中看到生成的点云模板。

      ../../../../_images/capture_image_06.png

      提示

      双击 模板文件 列表中的点云模板名称可以重命名。

  2. 已添加了示教抓取点

    1. 确认目标物体没有发生移动,点击工具栏中的 icon1,再在出现的窗口中点击 下一步

    2. 点击 采集目标物体,采集目标物体的深度图,然后点击 前一步

      ../../../../_images/capture_image_012.png
    3. 清空相机视野内的目标物体,仅保留背景。如果从料筐中抓取,则需清空料筐中的物体,但要保留料筐。

      ../../../../_images/capture_image_01.png
    4. 点击 采集不含目标物体的背景,采集背景深度图。采集完成后点击 下一步,然后再次点击 下一步,来到生成模板页面。

      ../../../../_images/capture_image_02.png
    5. 点击 生成模板,即可生成目标物体的点云模板。

      ../../../../_images/capture_image_05.png

      提示

      在该页面中也可以通过鼠标调整视角来确认点云。

    6. 调节 点数阈值

      • 如果目标物体点云比较不完整,可以适当调高该参数,然后点击 生成模板 查看效果。

      • 如果剩余太多背景点云,可以适当调低该参数,然后点击 生成模板 查看效果。

    7. 点击 完成,退出采集图像窗口,可以在可视化区域和左边栏 模板文件 列表中看到生成的点云模板。

      ../../../../_images/capture_image_06.png

      提示

      双击 模板文件 列表中的点云模板名称可以重命名。

    提示

    从“添加示教抓取点”章节点击链接跳转来的用户,可以直接使用浏览器上的后退按钮返回,继续查看“添加示教抓取点”的剩余操作步骤。

虚拟相机

使用虚拟相机时,因为不能现场采集,所以需要事先准备好图像。

小技巧

背景深度图不需要完全不包含目标物体,只需要和目标物体深度图之间相差了一个目标物体即可。例如下图中,左图可用作背景深度图,右图用作目标物体深度图。

../../../../_images/capture_image_07.png
  1. 在Mech-Vision的工程编辑区中,选中“从相机获取图像”步骤,在右侧参数栏中进行以下设置:

    • 图像数据路径 中,选择深度图所在文件夹的上级文件夹。更多设置说明请参考 从相机获取图像

    • 读取模式 设置为 重复所有

  2. 点击菜单栏中的 工具箱 ‣ 匹配模板与抓取点编辑器,打开匹配模板与抓取点编辑器,再点击工具栏中的 icon1,打开图像采集窗口。

    注解

    因为事先保存的图像一般为实际抓取过程中采集的,所以第n张图像中的目标物体一般比第n+1张多一个。因此推荐先读取目标物体的深度图,再将下一张图作为背景深度图。

  3. 点击 下一步,再点击 采集目标物体,读取目标物体的深度图。

    再次点击 采集目标物体,即会读取文件夹中的下一张图。重复此操作,直到窗口中显示的深度图符合需求后,点击 前一步

    ../../../../_images/capture_image_08.png
  4. 点击 采集不含目标物体的背景,读取背景深度图。读取完成后点击 下一步,然后再次点击 下一步,来到生成模板页面。

    ../../../../_images/capture_image_09.png
  5. 点击 生成模板,即可生成目标物体的点云模板。

    ../../../../_images/capture_image_010.png

    提示

    在该页面中也可以通过鼠标调整视角来确认点云。

  6. 调节 点数阈值

    • 如果目标物体点云比较不完整,可以适当调高该参数,然后点击 生成模板 查看效果。

    • 如果剩余太多背景点云,可以适当调低该参数,然后点击 生成模板 查看效果。

  7. 点击 完成,退出采集图像窗口,可以在可视化区域和左边栏 模板文件 列表中看到生成的点云模板。

    ../../../../_images/capture_image_011.png

    提示

    双击 模板文件 列表中的点云模板名称可以重命名。

    因图像中光线变化等原因,生成的点云模板很可能包含了无关的点,可以在 编辑点云模板 时进行裁剪。


icon3 通过导入CAD文件生成

如果已经有目标物体的CAD模型文件,可以将该文件导入匹配模板与抓取点编辑器中,再根据此文件生成点云模板。

提示

目前仅支持导入stl格式的CAD文件。

  1. 点击工具栏中的 icon3,找到所需的CAD文件后,选中该文件并点击“打开”。

  2. 在弹出的窗口中选择模型单位。

    ../../../../_images/import_cad_file_01.png
  3. 导入的CAD文件将显示在左边栏的 CAD文件 列表中。

    ../../../../_images/import_cad_file_02.png

    提示

    每次只能导入一个CAD文件,如需导入多个,请重复步骤1至2。

  4. CAD文件 列表中选中需要生成模板的文件,再点击工具栏中的 icon4icon5,可生成点云模板。

    • icon4:生成整个模型表面的点云。

      点击后需先在弹出的窗口中调节点云降采样间隔,再点击 确定,即可生成点云模板。

      ../../../../_images/import_cad_file_03.png
    • icon5:仅生成当前视角下可见部分的点云。

      下图中,左侧为生成点云时的视角,右侧为生成的点云,可看出左侧视角中不可见的部分没有生成对应的点云。

      ../../../../_images/import_cad_file_04.png

      提示

      在已生成了点云模板时,可能出现 icon4icon5 不可用的情况。

      此时,请先点击界面中任意一处来取消选中 CAD文件 列表中的文件,然后重新选中,上述按钮即会恢复为可用状态。


提示

除了通过上述方法生成点云模板,用户也可以通过工具栏中的 icon2 直接导入已有的ply格式点云文件。

生成点云模板后,可根据需要进行下述操作:

  • 保存列表中所有文件:点击菜单栏中的 文件 ‣ 保存 或使用快捷键Ctrl+S。

    提示

    文件保存路径为:工程文件夹/resource/model_editor。

  • 删除点云模板:在 模板文件 列表中右键单击要删除的模板,在弹出的菜单中选择 删除

  • 将文件设为不可见:点击文件名称右侧的 EyeIcon,即可在可视化区域中隐藏该文件。再次点击将重新显示。

  • 显示包围盒:在列表中选中文件后,再在 CAD文件 列表下方勾选 显示包围盒

  • 更改点云显示颜色:在 模板文件 列表中选中点云模板,再在列表下方双击 点云颜色 后的白色长方形,即可在弹出的窗口中更改点云显示颜色。

    提示

    不能更改导入的彩色点云的显示颜色。


接下来可以对点云模板进行编辑,使其更符合实际使用需求。请点击右下方的 Next 查看编辑操作的具体介绍。