实操指南¶
本工程的基本流程如下图所示:
新建典型应用工程¶
创建工程¶
点击界面上方菜单栏中 新建典型应用工程 也可进入如下界面。
进入如下界面;或者点击工具栏中的选择 平面工件堆叠 。
输入自定义工程名称。
点击 选择工程文件夹的保存路径(建议用户创建空文件夹),然后点击 创建工程 。
准备工作¶
设置 2D ROI 和 3D ROI¶
双击工程中 实例分割 步骤组合进入下一层级,然后点击 缩放 2D ROI 内的图像 步骤设置 2D ROI。
如下图所示,设置 2D ROI 的目的是为了缩小图像感兴趣区域,使深度学习预处理效率得到提高。
同时, 点云预处理 步骤组合中的 将深度图转换为点云 步骤也需设置 2D ROI,方法同上。
双击工程中 点云预处理 步骤组合进入下一层级,然后点击 获取 3D ROI 内点云 步骤设置 3D ROI。
如下图所示,设置 3D ROI 的目的是设置 3D 空间的感兴趣区域,提取原始点云中的目标物体点云,并忽略背景点云和干扰点云。
详细步骤可参考 设置 ROI 完成 2D ROI 和 3D ROI 的设置。
实例分割¶
注解
若已有超级模型,可跳过此步骤,进行 配置实例分割中模型文件和配置文件的路径 。
实例分割的目的是让相机明确目标物体的类型、形状轮廓,实例分割的效果如下图所示。
具体可参考 训练模型 进行模型训练获得模型训练文件。
生成点云模板¶
使用 匹配模板与抓取点编辑器 生成目标物体的点云模板,以便工程运行时将识别出的物体点云与该模板进行比较,生成实际的抓取点。
通过匹配模板与抓取点编辑器生成的点云模板和抓取点如下图所示:
图中 ① 为生成的平面堆叠工件点云模板,② 为降采样结果,③ 为添加的抓取点。
生成的模板文件将保存在工程文件夹中。
工程配置¶
工程配置的任务是在各步骤模块中设置相关属性,将上一阶段获得的配置文件添加到对应步骤中,进行工程配置,为运行工程做准备。
配置 3D 匹配中模板文件和几何中心文件的路径¶
双击 3D 匹配 步骤组合进入下一层级。
在此层级中点击 3D 粗匹配 步骤,点击界面右下角参数列表的模板以及抓取点设置中出现的选择按钮 添加模板文件和几何中心文件。
3D 精匹配 中模板文件和几何中心文件路径的配置方法同 3D 粗匹配。
注解
各文件说明如下图所示,其中 ① 为点云模板文件,② 为几何中心文件。
配置多抓取点位姿文件路径¶
点击 映射到多抓取点 步骤,点击界面右下角参数列表中出现的选择按钮 添加位姿文件路径和位姿标签文件。
注解
各文件说明如下图所示,其中 ① 为几何中心点位姿文件,② 为抓取点位姿文件和放置点位姿文件,③ 为位姿标签文件。