生成点云模板

点云模板既可以描述整个目标物体,也可以只描述目标物体一部分(如最高层物体表面点云,边缘点云等)。好的点云模板至少满足以下 3 点要求:

  1. 点云质量高,噪点少或无噪点。

  2. 点云分布均匀,数量合理。

  3. 点云能够凸显目标物体的特性特征。

在匹配模板与抓取点编辑器中有两种方式可以生成点云模板:

通过相机采集图像生成点云模板

该功能通过从相机采集目标物体或背景的深度图以生成点云模板。

已打开的工程中需包含 从相机获取图像 步骤,且已配置好该步骤参数中的相机设置,此功能才可使用。

使用真实相机和虚拟相机时,所需的操作不太相同,下面分别进行具体介绍。

真实相机

使用真实相机采集图像来生成点云模板时,根据目标物体与背景是否容易分开采集,操作流程会有所不同。下面分别介绍具体操作。

目标物体与背景易分开采集

适用于目标物体比较轻型的情形,例如抓取小型平面工件。

  1. 若未添加示教抓取点,则将一个目标物体放到相机视野内(料筐里)。若已添加了示教抓取点,确认目标物体没有发生移动,否则重新添加示教抓取点。

  2. 单击该工具初始界面中的采集点云按钮,在弹出的窗口中单击采集点云

    generate point cloud model editor generate point cloud model 1
  3. 根据实际需求选择是否勾选使用边缘点云,然后单击采集物体,采集目标物体的深度图。

    generate point cloud model editor generate point cloud model 2
  4. 采集完成后,目标物体的深度图如下图所示。如需去除背景,需单击去除背景

    generate point cloud model editor generate point cloud model 3
  5. 此时需先将物体移出相机视野,然后单击采集背景按钮来采集背景。

    generate point cloud model editor generate point cloud model 4
  6. 采集背景完成后,如下图所示。然后单击下一步

    generate point cloud model editor generate point cloud model 5
  7. 在该窗口中单击去除背景,即可得到去除背景后的物体。

    generate point cloud model editor generate point cloud model 6

    单击完成,即可将该物体导入匹配模板与抓取点编辑器工具。

    generate point cloud model editor generate point cloud model 7

点数阈值用于对去除背景后所得的深度图去噪。此值越高,会去除越多噪声。

  • 如果目标物体点云比较不完整,可以适当调低该参数。

  • 如果剩余太多背景点云,可以适当调高该参数。

双击模板文件列表中的点云模板名称可以重命名。

因图像中光线变化等原因,生成的点云模板很可能包含了无关的点,可以在 编辑点云模板 时进行裁剪。

从“添加示教抓取点”章节单击链接跳转来的用户,可以直接使用浏览器上的后退按钮返回,继续查看“添加示教抓取点”的剩余操作步骤。

目标物体与背景不易分开采集

适用于目标物体比较笨重的情形,例如轮毂装配。

  1. 若未添加示教抓取点,则将一个目标物体放到相机视野内。若已添加了示教抓取点,确认目标物体没有发生移动,否则重新添加示教抓取点。

  2. 单击该工具初始界面中的采集点云按钮,在弹出的采集点云窗口中单击采集点云

    generate point cloud model editor generate point cloud model 1
  3. 单击采集物体,然后再单击完成即可生成物体的点云模板。

虚拟相机

使用虚拟相机时,因为不能现场采集,所以需要事先准备好图像。

背景深度图不需要完全不包含目标物体,只需要和目标物体深度图之间相差了一个目标物体即可。

由于事先保存的图像一般为实际抓取过程中采集的,所以第 n 张图像中的目标物体一般比第 n+1 张多一个。因此推荐先读取目标物体的深度图,再将下一张图作为背景深度图。

  1. 在 Mech-Vision 的工程编辑区中,选中 从相机获取图像 步骤,在右侧参数栏中进行以下设置:

    • 图像数据路径中,选择深度图所在文件夹的上级文件夹。更多设置说明请参考 从相机获取图像

    • 读取模式设置为重复所有

  2. 单击菜单栏中的工具箱  匹配模板与抓取点编辑器,打开匹配模板与抓取点编辑器。

  3. 单击该工具初始界面中的 采集点云 按钮,在弹出的采集点云窗口中单击采集点云,即可打开图像采集窗口。

    generate point cloud model editor generate point cloud model 1
  4. 后续操作与上述 真实相机 的操作流程相似。每次单击重新采集物体按钮后,便会按顺序读取数据文件夹中的一张图,重复此操作,直到窗口中显示的深度图符合需求。

通过导入 CAD 文件生成点云模板

如果已经有目标物体的 CAD 模型文件,可以将该文件导入匹配模板与抓取点编辑器中,再根据此文件生成点云模板。

目前仅支持导入 stl 格式的 CAD 文件。

  1. 单击该工具初始界面中的导入 CAD 文件按钮,找到所需的 CAD 文件后,选中该文件并单击打开

    generate point cloud model editor import cad 0
  2. 在弹出的窗口中选择模型单位。

    generate point cloud model editor import cad 1
  3. 导入的 CAD 文件将显示在左边栏的 CAD 文件 列表中。

    generate point cloud model editor import cad 2

    每次只能导入一个 CAD 文件,如需导入多个,请重复步骤 1 至 2。

  4. CAD 文件列表中选中需要生成模板的文件,再单击工具栏中的 generate point cloud model editor icon 10generate point cloud model editor icon 11 ,可生成点云模板。

    • generate point cloud model editor icon 10:生成整个模型表面的点云。

      单击后需先在弹出的窗口中调节点云降采样间隔,再单击确定,即可生成点云模板。

      generate point cloud model editor import cad file 03
    • generate point cloud model editor icon 11 :仅生成当前视角下可见部分的点云。

      下图中,左侧为生成点云时的视角,右侧为生成的点云,可看出左侧视角中不可见的部分没有生成对应的点云。

generate point cloud model editor import cad file 04

在已生成了点云模板时,可能出现 generate point cloud model editor icon 10generate point cloud model editor icon 11 不可用的情况。此时,请先单击界面中任意一处来取消选中CAD 文件列表中的文件,然后重新选中,上述按钮即会恢复为可用状态。


除了通过上述方法生成点云模板,用户也可以该工具初始界面中的导入点云按钮,直接导入已有的 ply 格式点云文件。

生成点云模板后,可根据需要进行下述操作:

  • 保存列表中所有文件:单击菜单栏中的文件  保存或使用快捷键Ctrl+S

文件保存路径为:工程文件夹/resource/model_editor

关闭该工具窗口时,无论是否已保存文件,均会弹窗提示是否进行保存。

  • 删除点云模板:在模板文件列表中右键单击要删除的模板,在弹出的菜单中选择删除

  • 将文件设为不可见:单击文件名称右侧的 generate point cloud model editor icon 0 ,即可在可视化区域中隐藏该文件。再次单击将重新显示。

  • 显示包围盒:在列表中选中文件后,再在CAD 文件列表下方勾选显示包围盒

  • 更改点云显示颜色:在模板文件列表中选中点云模板,再在列表下方双击点云颜色后的白色长方形,即可在弹出的窗口中更改点云显示颜色。

不能更改导入的彩色点云的显示颜色。


接下来可以对点云模板进行 编辑操作 ,使其更符合实际使用需求。