使用 Mech-Vision 获取纸箱位姿

../../../_images/obtain_pose_interface.png

在本节教程中,用户将学习如何使用 Mech-Vision 来获取纸箱的位姿。

准备工作

  1. 准备 2 个大小一致的纸箱,并记录纸箱的尺寸(长、宽、高)。

  2. 准备梅卡曼德提供的标定板(标定板上圆点清晰,没有明显刮花痕迹,标定板没有明显弯曲变形)。

在“新建典型应用工程”中创建工程

打开 Mech-Vision 软件,并依次单击界面上方菜单栏中的 典型应用 ‣ 新建典型应用工程 。 进入新建典型应用工程窗口后,依次选择 拆垛 ‣ 单一尺寸拆垛——传入尺寸 ,设置工程名称及与保存目录后创建工程。

../../../_images/obtain_pose_create_projet.png

完成相机配置与标定

请按页面指引依次完成:

../../../_images/obtain_pose_calibration.png
  1. 选择要连接的相机:

    在相机列表中双击待连接相机,来创建与真实相机的连接,连接成功后剩余步骤将被激活。

  2. 调整相机参数:

    选择 Mech-Eye Viewer 中内置的 defult 参数组。

  3. 标定相机:

    首先将标定板安装到机器人末端

    单击 开始标定 ,并参考 机器人手眼标定使用指南 的内容来逐步完成标定。

    标定完成后拆除标定板,并安装末端工具

  4. 标定结果:

    加载上一步标定完成的结果,即可完成相机配置页面的全部操作。

    单击界面下方的 识别 进入下一步操作。

设置物体识别相关参数

请在开始接下来的操作之前将纸箱放到相机视野中央并随意放置,如下图所示。

../../../_images/obtain_pose_boxs.png

注意

确保相机视野中只有待识别目标物体,可在 Mech-Eye 中采集图片来确认。

  1. 箱子尺寸:

    在界面右侧箱子尺寸一栏中填写先前记录的箱子尺寸。 模型路径与配置文件路径为软件预设,用户无需改动。

  2. 3D ROI:

    点击界面左上角的 3D ROI 进入设置目标区域窗口,在此窗口中完成感兴趣区域的设置。

    通过 “Ctrl 键 + 鼠标左键” 拖拽方框边缘的绿色方块来调整感兴趣区域。

    注意

    调整后的绿色方框应保留全部待识别的目标物体,目标物体点云不可被截断。

    ../../../_images/obtain_pose_setroi.png
  3. 深度学习结果&位姿:

点击 生成位姿 后,工程开始运行,并输出深度学习结果与位姿,如下所示。

深度学习结果

位姿

../../../_images/obtain_deeplearning_result.png ../../../_images/obtain_pose_result.png

若工程运行中报错,并且输出的深度学习结果如下图所示,则表示深度学习推理失败。

../../../_images/obtain_sample1.png

用户可尝试通过以下方法来解决问题。

  • 降低置信度阈值。

  • 确认填写的纸箱尺寸是否与实际一致。

  • 重新截取 3D ROI。

  • 检查相机成像,调整相机参数。

  • 调整物体摆放状态。

确认结果无误后,点击界面下方的 部署 进入下一步操作。

完成部署并查看最终运行结果

至此用户已经完成了工程的设置,点击 完成 来完成工程的部署并进入自定义模式。

Mech-Vision 中的相关操作结束,请继续查看下一节内容。