实操指南

本工程的基本流程如下图所示:

../../../../../_images/overall_process1.png

新建典型应用工程

创建工程

点击界面上方菜单栏中 典型应用 ‣ 新建典型应用工程 进入如下界面;或者点击工具栏中的 新建典型应用工程 也可进入如下界面。

../../../../../_images/select_scene_3.png
  1. 选择 平面工件堆叠

  2. 输入自定义工程名称。

  3. 点击 icon_selectfilepath_deploymentguidance 选择工程文件夹的保存路径(建议用户创建空文件夹),然后点击 创建工程

准备工作

相机标定

相机标定的目的是生成相机的参数文件,用于确定机器人与相机的位置关系。

点击工具栏中的 相机标定(标准) 进行相机标定。

../../../../../_images/standard_calibration1.png

也可点击 相机助手 ‣ 相机标定 ‣ 标准 进行相机标定。

../../../../../_images/standard_calibration_11.png

如有疑问,请参考 相机标定标准模式

配置相机

在使用相机采集图片前,用户需根据实际情况正确配置编号、参数组、IP 地址等,请参考 从相机获取图像 完成相机配置。

../../../../../_images/camera_configuration1.png

设置 2D ROI 和 3D ROI

双击工程中 实例分割 步骤组合进入下一层级,然后点击 缩放 2D ROI 内的图像 步骤设置 2D ROI。

如下图所示,设置 2D ROI 的目的是为了缩小图像感兴趣区域,使深度学习预处理效率得到提高。

../../../../../_images/2d_roi1.gif

同时, 点云预处理 步骤组合中的 将深度图转换为点云 步骤也需设置 2D ROI,方法同上。

双击工程中 点云预处理 步骤组合进入下一层级,然后点击 获取 3D ROI 内点云 步骤设置 3D ROI。

如下图所示,设置 3D ROI 的目的是设置 3D 空间的感兴趣区域,提取原始点云中的目标物体点云,并忽略背景点云和干扰点云。

../../../../../_images/3d_roi1.gif

详细步骤可参考 设置 ROI 完成 2D ROI 和 3D ROI 的设置。

实例分割

注解

若已有超级模型,可跳过此步骤,进行 配置实例分割中模型文件和配置文件的路径

实例分割的目的是让相机明确目标物体的类型、形状轮廓,实例分割的效果如下图所示。

../../../../../_images/segmentation_contrast1.png

具体可参考 训练模型 进行模型训练获得模型训练文件。

生成点云模板

使用 匹配模板与抓取点编辑器 生成目标物体的点云模板,以便工程运行时将识别出的物体点云与该模板进行比较,生成实际的抓取点。

通过匹配模板与抓取点编辑器生成的点云模板和抓取点如下图所示:

../../../../../_images/generate_point_cloud_model_and_pick_point1.png

图中 ① 为生成的平面堆叠工件点云模板,② 为降采样结果,③ 为添加的抓取点。

生成的模板文件将保存在工程文件夹中。

工程配置

工程配置的任务是在各步骤模块中设置相关属性,将上一阶段获得的配置文件添加到对应步骤中,进行工程配置,为运行工程做准备。

配置实例分割中模型文件和配置文件的路径

  • 双击 实例分割 步骤组合进入下一层级。

  • 在此层级中点击 实例分割 步骤,点击界面右下角服务端与模型配置区域的选择按钮 icon_selectmodel 添加模型文件。

../../../../../_images/add_model_file1.png

配置 3D 匹配中模板文件和几何中心文件的路径

  • 双击 3D 匹配 步骤组合进入下一层级。

  • 在此层级中点击 3D 粗匹配 步骤,点击界面右下角参数列表的模板以及抓取点设置中出现的选择按钮 icon_selectmodel 添加模板文件和几何中心文件。

../../../../../_images/add_template_file1.png
  • 3D 精匹配 中模板文件和几何中心文件路径的配置方法同 3D 粗匹配

注解

各文件说明如下图所示,其中 ① 为点云模板文件,② 为几何中心文件。

../../../../../_images/document_describing11.png

配置多抓取点位姿文件路径

点击 映射到多抓取点 步骤,点击界面右下角参数列表中出现的选择按钮 icon_selectmodel 添加位姿文件路径和位姿标签文件。

../../../../../_images/multi_capture_points1.png

注解

各文件说明如下图所示,其中 ① 为几何中心点位姿文件,② 为抓取点位姿文件和放置点位姿文件,③ 为位姿标签文件。

../../../../../_images/document_describing21.png

运行和调试

工程配置完成之后点击 icon_run_button 运行工程。


当工程调试完毕并成功运行后,若用户需采集现场数据,来方便后续反馈问题,或者发现工程中的某个环节执行效果不理想,想在非现场环境对步骤或参数做进一步调优,此时可以借助 数据保存数据回放 工具,来实现上述目的。

使用 数据回放 工具的前提:

  1. 工程文件(工程可完整运行无报错);

  2. 运行工程中采集的全时序现场数据源,包括:2D 彩色图、深度图、相机参数文件,保存方法可参考 数据保存