小尺寸非平面工件¶
小型曲面工件上料场景如上图所示,在该场景中,所处理的工件数量相对较多、体积相对较小。对于此类场景,通常使用深度学习和3D匹配算法来识别待抓取工件。
为方便使用,可联系梅卡曼德工程师询问是否提供典型工件的超级模型,若有典型工件超级模型,则无需训练,可直接应用于工程中。
本工程的基本流程如下图所示:
新建典型应用工程¶
创建工程¶
点击界面上方菜单栏中 新建典型应用工程 也可进入如下界面。
进入如下界面;或者点击工具栏中的选择 小尺寸非平面工件 。
输入自定义工程名称。
点击 选择工程文件夹的保存路径(建议用户创建空文件夹),然后点击 创建工程 。
准备工作¶
1. 相机标定¶
相机标定的目的是生成相机的参数文件,用于确定机器人与相机的位置关系。
点击工具栏中的 相机标定(标准) 进行相机标定。
也可点击
进行相机标定。如有疑问,请参考 相机标定标准模式 。
3. 设置2D ROI和3D ROI¶
双击工程中 实例分割 步骤组合进入下一层级,然后点击 缩放2D ROI内的图像 步骤设置2D ROI。
如下图所示,设置2D ROI的目的是为了缩小图像感兴趣区域,使深度学习预处理效率得到提高。
同时, 点云预处理 步骤组合中的 将深度图转换为点云 步骤也需设置2D ROI,方法同上。
双击工程中 点云预处理 步骤组合进入下一层级,然后点击 获取3D ROI内点云 步骤设置3D ROI。
如下图所示,设置3D ROI的目的是设置3D空间的感兴趣区域,提取原始点云中的目标物体点云,并忽略背景点云和干扰点云。
详细步骤可参考 设置ROI 完成2D ROI和3D ROI的设置。
小技巧
通常,小型曲面工件散乱堆叠在料筐中,使用框取3D ROI的方式难以将料筐与工件区分开,达到有效过滤场景点云的效果。 此时, 采集静态背景以滤除干扰 可更好的滤除料筐等背景干扰信息。
4. 实例分割¶
注解
若已有超级模型,可跳过此步骤,进行 配置实例分割中模型文件和配置文件的路径 。
实例分割的目的是让相机明确目标物体的类型、形状轮廓,实例分割的效果如下图所示。
具体可参考 训练模型 进行模型训练获得模型训练文件。
5. 生成点云模板¶
使用 匹配模板与抓取点编辑器 生成目标物体的点云模板,以便工程运行时将识别出的物体点云与该模板进行比较,生成实际的抓取点。
通过匹配模板与抓取点编辑器生成的抓取点如下图所示:
生成的模板文件将保存在工程文件夹中。
工程配置¶
工程配置的任务是在各步骤模块中设置相关属性,将上一阶段获得的配置文件添加到对应步骤中,进行工程配置,为运行工程做准备。
2. 配置3D匹配中模板文件和几何中心文件的路径¶
双击 3D匹配 步骤进入下一层级。
在此层级中点击 3D粗匹配 ,点击界面右下角参数列表的模板以及抓取点设置中出现的选择按钮 添加模板文件和几何中心文件,如下图所示:
3D精匹配 中模板文件和几何中心文件路径的配置方法同 3D粗匹配。
注解
各文件说明如下图所示,其中①为点云模板文件,②为几何中心文件。
3. 配置多抓取点位姿文件路径¶
点击 映射到多抓取点 步骤,点击界面右下角属性列表中出现的选择按钮 添加位姿文件路径和位姿标签文件,如下图所示:
注解
各文件说明如下图所示,其中①为几何中心点位姿文件,②为抓取点位姿文件和放置点位姿文件,③为位姿标签文件。