平面工件堆叠

../../../_images/stacking_planar_workpiece_example.png

平面工件堆叠场景中,所处理的工件数量相对较多、体积相对较小。对于此类场景,通常使用深度学习和3D边缘匹配算法来识别待抓取工件。

在实际应用中,一些工件由于正反面差异较大,此时需要区分正反面进行抓取,而有些工件正反面差异较小,所以抓取时无需区分正反面。 本文将以无需区分正反面的工件为例介绍工程搭建。

为方便使用,可联系梅卡曼德工程师询问是否提供典型工件的超级模型,若有典型工件超级模型,则无需训练,可直接应用于工程中。

本工程的基本流程如下图所示:

../../../_images/overall_process2.png

新建典型应用工程

创建工程

点击界面上方菜单栏中 典型应用 ‣ 新建典型应用工程 进入如下界面;或者点击工具栏中的 新建典型应用工程 也可进入如下界面。

../../../_images/select_scene_3.png
  1. 选择 平面工件堆叠

  2. 输入自定义工程名称。

  3. 点击 icon_selectfilepath_deploymentguidance 选择工程文件夹的保存路径(建议用户创建空文件夹),然后点击 创建工程

准备工作

1. 相机标定

相机标定的目的是生成相机的参数文件,用于确定机器人与相机的位置关系。

点击工具栏中的 相机标定(标准) 进行相机标定。

../../../_images/standard_calibration2.png

也可点击 相机助手 ‣ 相机标定 ‣ 标准 进行相机标定。

../../../_images/standard_calibration_12.png

如有疑问,请参考 相机标定标准模式

2. 配置相机

在使用相机采集图片前,用户需根据实际情况正确配置编号、参数组、IP地址等,请参考 从相机获取图像 完成相机配置。

../../../_images/camera_configuration2.png

3. 设置2D ROI和3D ROI

双击工程中 实例分割 步骤组合进入下一层级,然后点击 缩放2D ROI内的图像 步骤设置2D ROI。

如下图所示,设置2D ROI的目的是为了缩小图像感兴趣区域,使深度学习预处理效率得到提高。

../../../_images/2d_roi2.gif

同时, 点云预处理 步骤组合中的 将深度图转换为点云 步骤也需设置2D ROI,方法同上。

双击工程中 点云预处理 步骤组合进入下一层级,然后点击 获取3D ROI内点云 步骤设置3D ROI。

如下图所示,设置3D ROI的目的是设置3D空间的感兴趣区域,提取原始点云中的目标物体点云,并忽略背景点云和干扰点云。

../../../_images/3d_roi2.gif

详细步骤可参考 设置ROI 完成2D ROI和3D ROI的设置。

4. 实例分割

注解

若已有超级模型,可跳过此步骤,进行 配置实例分割中模型文件和配置文件的路径

实例分割的目的是让相机明确目标物体的类型、形状轮廓,实例分割的效果如下图所示。

../../../_images/segmentation_contrast1.png

具体可参考 训练模型 进行模型训练获得模型训练文件。

1. 生成点云模板

使用 匹配模板与抓取点编辑器 生成目标物体的点云模板,以便工程运行时将识别出的物体点云与该模板进行比较,生成实际的抓取点。

通过匹配模板与抓取点编辑器生成的点云模板和抓取点如下图所示:

../../../_images/generate_point_cloud_model_and_pick_point2.png

图中①为生成的平面堆叠工件点云模板,②为降采样结果,③为添加的抓取点。

生成的模板文件将保存在工程文件夹中。

工程配置

工程配置的任务是在各步骤模块中设置相关属性,将上一阶段获得的配置文件添加到对应步骤中,进行工程配置,为运行工程做准备。

1. 配置实例分割中模型文件和配置文件的路径

  • 双击 实例分割 步骤组合进入下一层级。

  • 在此层级中点击 实例分割 步骤,点击界面右下角服务端与模型配置区域的选择按钮 icon_selectmodel 添加模型文件。

../../../_images/add_model_file1.png

2. 配置3D匹配中模板文件和几何中心文件的路径

  • 双击 3D匹配 步骤组合进入下一层级。

  • 在此层级中点击 3D粗匹配 步骤,点击界面右下角参数列表的模板以及抓取点设置中出现的选择按钮 icon_selectmodel 添加模板文件和几何中心文件。

../../../_images/add_template_file2.png
  • 3D精匹配 中模板文件和几何中心文件路径的配置方法同 3D粗匹配

注解

各文件说明如下图所示,其中①为点云模板文件,②为几何中心文件。

../../../_images/document_describing12.png

3. 配置多抓取点位姿文件路径

点击 映射到多抓取点 步骤,点击界面右下角参数列表中出现的选择按钮 icon_selectmodel 添加位姿文件路径和位姿标签文件。

../../../_images/multi_capture_points2.png

注解

各文件说明如下图所示,其中①为几何中心点位姿文件,②为抓取点位姿文件和放置点位姿文件,③为位姿标签文件。

../../../_images/document_describing22.png

运行和调试

工程配置完成之后点击 icon_run_button 运行工程。


当工程调试完毕并成功运行后,若用户需采集现场数据,来方便后续反馈问题, 或者发现工程中的某个环节执行效果不理想,想在非现场环境对步骤或参数做进一步调优, 此时可以借助 数据保存数据回放 工具,来实现上述目的。

使用 数据回放 工具的前提:

  1. 工程文件(工程可完整运行无报错);

  2. 运行工程中采集的全时序现场数据源,包括:2D彩色图、深度图、相机参数文件,保存方法可参考 数据保存