大尺寸非平面工件

../../../_images/large_curved_workpiece_example.png

大型曲面工件上料场景中,所处理的工件往往数量相对较少、体积相对较大、曲面特征相对较明显。 对于此类场景,通过软件的3D匹配算法,即可获取工件的抓取位姿。

本工程的基本流程如下图所示:

../../../_images/overall_process.png

新建典型应用工程

创建工程

点击界面上方菜单栏中 典型应用 ‣ 新建典型应用工程 进入如下界面;或者点击工具栏中的 新建典型应用工程 也可进入如下界面。

../../../_images/select_scene_large.png
  1. 选择 大尺寸非平面工件

  2. 输入自定义工程名称。

  3. 点击 icon_selectfilepath_deploymentguidance 选择工程文件夹的保存路径(建议用户创建空文件夹),然后点击 创建工程

准备工作

1. 相机标定

相机标定的目的是生成相机的参数文件,用于确定机器人与相机的位置关系。

点击工具栏中的 相机标定(标准) 进行相机标定。

../../../_images/standard_calibration.png

也可点击 相机助手 ‣ 相机标定 ‣ 标准 进行相机标定。

../../../_images/standard_calibration_1.png

如有疑问,请参考 相机标定标准模式

2. 配置相机

在使用相机采集图片前,用户需根据实际情况正确配置编号、参数组、IP地址等,请参考 从相机获取图像 完成相机配置。

../../../_images/camera_configuration.png

3. 设置2D ROI和3D ROI

双击工程中 点云预处理 步骤组合进入下一层级,然后分别点击 将深度图转换为点云提取3D ROI内点云 步骤设置2D ROI和3D ROI。

如下图所示,设置2D ROI的目的是为了缩小图像感兴趣区域,以免生成不必要的点云,从而提升运行速度。

../../../_images/2d_roi.gif

如下图所示,设置3D ROI的目的是设置3D空间的感兴趣区域,提取原始点云中的目标物体点云,并忽略背景点云和干扰点云。

../../../_images/3d_roi.gif

详细步骤可参考 设置ROI 完成2D ROI和3D ROI的设置。

4. 生成点云模板

使用 匹配模板与抓取点编辑器 生成目标物体的点云模板,以便工程运行时将识别出的物体点云与该模板进行比较,生成实际的抓取位姿。

通过匹配模板与抓取点编辑器生成的点云模板和抓取点如下图所示:

../../../_images/generate_point_cloud_model_and_pick_point.png

图中①为生成的大型曲面工件点云模板,②为降采样结果,③为添加的抓取点。

生成的模板文件将保存在工程文件夹中。

工程配置

工程配置的任务是在各步骤模块中设置相关属性,将上一阶段获得的配置文件添加到对应步骤中,进行工程配置,为运行工程做准备。

1. 配置3D匹配中模板文件和几何中心文件的路径

  • 双击 3D匹配 步骤进入下一层级。

  • 在此层级中点击 3D粗匹配 ,点击界面右下角参数列表的模板以及抓取点设置中出现的选择按钮 icon_selectmodel 添加模板文件和几何中心文件,如下图所示:

../../../_images/add_template_file.png
  • 3D精匹配 中模板文件和几何中心文件路径的配置方法同 3D粗匹配

注解

各文件说明如下图所示,其中①为点云模板文件,②为几何中心文件。

../../../_images/document_describing1.png

2. 配置多抓取点位姿文件路径

点击 映射到多抓取点 步骤,点击界面右下角属性列表中出现的选择按钮 icon_selectmodel 添加位姿文件和位姿标签文件,如下图所示:

../../../_images/multi_capture_points.png

注解

各文件说明如下图所示,其中①为几何中心点位姿文件,②为位姿标签文件,③为抓取点位姿文件和放置点位姿文件。

../../../_images/document_describing2.png

运行和调试

工程配置完成之后点击 icon_run_button 运行工程。


当工程调试完毕并成功运行后,若用户需采集现场数据,来方便后续反馈问题, 或者发现工程中的某个环节执行效果不理想,想在非现场环境对步骤或参数做进一步调优, 此时可以借助 数据保存数据回放 工具,来实现上述目的。

使用 数据回放 工具的前提:

  1. 工程文件(工程可完整运行无报错);

  2. 运行工程中采集的全时序现场数据源,包括:2D彩色图、深度图、相机参数文件,保存方法可参考 数据保存