工件识别
工程思路介绍
工程中各步骤的作用如下表所示。
| 序号 | 阶段 | 步骤 | 图示 | 说明 |
|---|---|---|---|---|
1 |
采集图像 |
从相机获取图像 |
|
连接相机并采集图像 |
2 |
识别工件 |
3D工件识别 |
|
通过3D匹配算法计算工件的位姿（作为抓取点） |
3 |
调整位姿 |
调整位姿 |
|
将抓取点从相机坐标系变换至机器人坐标系 |
4 |
输出视觉结果 |
输出 |
|
输出工件的位姿，用于机器人抓取 |
5 |
发送场景点云 |
发送点云到外部服务 |
|
将场景点云发送给Mech-Viz，配合Mech-Viz实现工件抓放 |
|
抓取点指机器人可以在工件表面进行抓取的点。 |
步骤参数调节
在本节，你将通过调节各个步骤的参数来完成工程的部署。
从相机获取图像
你需要调节从相机获取图像步骤参数，连接相机。
-
选中从相机获取图像步骤，在界面右下角步骤参数处单击选择相机按钮。
-
在弹出的窗口中单击某相机编号右侧的
图标，即可连接至该相机。相机连接成功后， 图标将变为 
图标。
连接相机后，需选择参数组。单击选择参数组按钮，选择标定好的、带有ETH/EIH和日期的参数组。
-
连接相机并设置参数组后，相机标定参数组、IP地址和端口等参数将自动获取，其余参数保持默认即可。
此时已成功连接相机。
3D工件识别
3D工件识别步骤内置3D工件识别可视化配置工具，可对工件进行点云预处理、模板匹配，并计算工件的位姿（抓取点）。
选中3D工件识别步骤，在界面右下角步骤参数处单击打开编辑器按钮。
3D工件识别可视化配置工具界面如下图所示。
接下来可按照如下操作流程识别工件。
选择工件
进入3D工件识别可视化配置工具后，需要制作待识别工件的点云模板。
-
打开模板编辑器。
单击3D工件识别可视化配置工具界面右上角的选择工件按钮。
在弹出的工件库窗口中单击模板编辑器按钮。
模板编辑器界面如下图所示。
-
通过采集点云生成点云模板。
-
采集物体深度图。
单击界面中的采集点云按钮，在弹出的窗口中单击采集点云按钮。
由于链轨节工件表面特征较多，所以推荐制作该工件的面点云模板，即取消勾选使用边缘点云选项。然后单击采集物体按钮，采集目标物体的深度图。
采集完成后，目标物体和背景的深度图如下图所示。
-
采集背景。
在界面右上角单击去除背景按钮。
然后将物体移出相机视野，再单击采集背景按钮来采集背景。
采集背景完成后，如下图所示。然后单击右上角的下一步按钮。
-
去除背景。
在该窗口中单击去除背景按钮，即可得到去除背景后的物体，再单击右上角的完成按钮，即可将去除背景后的物体导入匹配模板与抓取点编辑器。
-
-
编辑点云模板。
生成的点云模板，可能不符合实际使用需求，需要对其进行一些编辑，包括移除杂点和点云降采样。
-
移除杂点。
单击
图标后，框选需要移除的杂点，然后单击 
图标，即可移除所选点。如下图所示，框选的点为杂点，可通过上述方法进行移除。
-
点云降采样。
点云降采样的目的是减少模板点云中点的数量，提高模板匹配效率。
单击
图标，在弹出的窗口中设置采样间隔。
以3mm为例，降采样前后的点云模板如下图所示。
-
-
添加抓取点。
单击工具栏中
图标，为工件点云模板添加位姿作为抓取点。
添加完成的抓取点如下图所示。
-
保存模板与抓取点。
关闭模板编辑器，在弹出的窗口中单击是(Y)按钮。
-
在工件库中选择工件。
退出模板编辑器后，在工件库中勾选保存的工件点云模板，单击确定按钮。
随后，在3D工件识别可视化配置工具右上角将显示等待识别的目标工件。
此时即完成了工件的选择，单击3D工件识别可视化配置工具底部的下一步按钮进入预处理流程。
