添加示教抓取点

抓取点代表物体上可以被机器人抓取的位置。 这个点位于物体坐标系下,其位置和方向是相对于物体的。 机器人需要 Mech-Vision 提供一个抓取位姿(抓取时的机器人 TCP 位姿)才能进行抓取,而该抓取位姿是从目标物体上的抓取点变换而来的。 因此,需要为点云模板添加抓取点,Mech-Vision 才能通过匹配处理生成目标物体的抓取点,进而输出实际的抓取位姿。

用户添加的第一个抓取点会被默认设为“几何中心点”,以下内容为关于“几何中心点”的说明。

  1. 在 Mech-Vision 中“几何中心点”是在软件算法中为了区分近似对称的物体而设置的一个必要的点,而并非一般所说的“具有一定对称性的物体最中心的位置” 。

  2. 每个点云模板都需要有一个唯一的“几何中心点”,但可以有多个抓取点。

  3. 关于几何中心点的应用请参考 3D精匹配 中“对称性设置”相关介绍。

通过该方式添加抓取点时,需要手动输入 TCP,因此请提前准备好 TCP 数据。

使用 Mech-Viz 的用户可以到Mech-Viz  工程资源  末端工具,双击正在使用的末端工具模型查看 TCP。

相机的安装方式不同,添加示教抓取点的过程也不同。下面分别介绍 ETH 和 EIH 下的操作流程。

  1. Mech-Vision 会根据工程中的外参自动判断相机安装方式,并显示对应的添加示教抓取点界面。

  2. 如果机器人已通过 Mech-Center 连接,抓取位姿和采集图片位姿可以自动获取。否则需要手动输入。

ETH 下添加示教抓取点

  1. 单击工具栏中的 add pick point by teaching icon 10 ,打开添加示教抓取点窗口。

  2. 在 TCP 栏中,输入提前准备好的 TCP。

    add pick point by teaching add pick point 02
  3. 通过示教器移动机器人至抓取位姿。操作末端执行器进行抓取,确认抓取位姿准确。

    如果使用的是夹具,可在抓取位姿下反复打开和关闭夹具,确认抓取的稳定性。

  4. 在抓取位姿栏中,单击获取当前位姿,或手动输入示教器上显示的位姿。单击确认以生成抓取点。新生成的抓取点会出现在模板文件列表中。

    add pick point by teaching add pick point 05
  5. 将机器人移动到相机视野外,注意此过程中不要碰到目标物体,避免其位姿发生变化

  6. 按照 生成点云模板 中使用真实相机的流程,生成目标物体的点云模板。

  7. 模板文件列表中选中步骤 4 中生成的抓取点,并拖拽到该点云模板上,使抓取点和点云模板关联起来。关联成功的抓取点会显示为点云模板的下级文件。

    add pick point by teaching add pick point 03

    单击模板文件右侧 add pick point by teaching icon 11 按钮,使其变为 add pick point by teaching icon 12 ,即可一键隐藏所有点云模板。

EIH 下添加示教抓取点

EIH 下,除了抓取位姿,还需要获取采集图片位姿,即机器人在相机采集图像时的位姿。

  1. 单击工具栏中的 add pick point by teaching icon 10 ,打开添加示教抓取点窗口。

  2. 在 TCP 栏中,输入提前准备好的 TCP。

    add pick point by teaching add pick point 04

    如果机器人为使用左手坐标系的桁架机器人,输入采集图像位姿、抓取位姿和 TCP 时需要先对 Y 轴值取反。

  3. 通过示教器移动机器人至抓取位姿。操作末端执行器进行抓取,确认抓取位姿准确。

    如果使用的是夹具,可在抓取位姿下反复打开和关闭夹具,确认抓取的稳定性。

  4. 在抓取位姿栏中,单击获取当前位姿,或手动输入示教器上显示的位姿。

    add pick point by teaching add pick point 06
  5. 将机器人移动到相机视野外,注意此过程中不要碰到目标物体,避免其位姿发生变化

  6. 通过示教器移动机器人至采集图片位姿。实际拍照确认采集图片位姿准确。

  7. 在采集图片位姿栏中,单击获取当前位姿,或手动输入示教器上显示的位姿。单击确认以生成抓取点。新生成的抓取点会出现在模板文件列表中。

    add pick point by teaching add pick point 07
  8. 按照 生成点云模板 中使用真实相机的流程,生成目标物体的点云模板。

  9. 模板文件列表中选中步骤 7 中生成的抓取点,并拖拽到该点云模板上,使抓取点和点云模板关联起来。关联成功的抓取点会显示为点云模板的下级文件。

    add pick point by teaching add pick point 03

设置完成后,依次单击文件  保存 (快捷键Ctrl+S) ,点云模板与抓取点将保存到工程文件夹/resource/3d_matching路径下。

  • xxx.ply 为模板点云文件

  • geo_center.json 为模板几何中心点位姿文件

  • pick_points.json 为抓取点位姿文件

  • pick_points_labels.json 为抓取点位姿的标签文件

关闭该工具窗口时,无论是否已保存文件,均会弹窗提示是否进行保存。