工件识别

您正在查看旧版本的文档。点击页面右上角可切换到最新版本的文档。

在使用本教程前，你已经在“机器人通信配置”章节中使用案例工程“通用工件识别”创建了Mech-Vision方案。

在本教程中，你将先了解工程思路，然后通过调节步骤参数完成工程的部署，从而识别工件的位姿并输出视觉结果。

视频教程：工件识别

在本教程，每次运行Mech-Vision工程将输出一个视觉点。

工程思路介绍

工程中各步骤的作用如下表所示。

序号	阶段	步骤	说明
1	采集图像	从相机获取图像	连接相机并采集图像
2	识别工件	3D工件识别	通过3D匹配算法计算工件的位姿（作为抓取点）
3	调整位姿	调整位姿	将抓取点从相机坐标系变换至机器人坐标系
4	输出视觉结果	输出	输出工件的位姿，用于机器人抓取

序号

阶段

步骤

图示

说明

采集图像

从相机获取图像

project build understand step function 1

连接相机并采集图像

识别工件

3D工件识别

project build understand step function 2

通过3D匹配算法计算工件的位姿（作为抓取点）

调整位姿

project build understand step function 3

将抓取点从相机坐标系变换至机器人坐标系

输出视觉结果

输出

project build understand step function 4

输出工件的位姿，用于机器人抓取

抓取点指机器人可以在工件表面进行抓取的点。

步骤参数调节

在本节，你将通过调节各个步骤的参数来完成工程的部署。

从相机获取图像

需调节“从相机获取图像”步骤参数，连接相机。

选中“从相机获取图像”步骤，在界面右下角步骤参数处单击选择相机。
在弹出的窗口中单击某相机编号右侧的按钮，即可连接至该相机。相机连接成功后，按钮将变为。

连接相机后，需选择参数组。单击选择参数组，选择出现的参数组即可。
连接相机并设置参数组后，相机标定参数组、IP 地址和端口等参数将自动获取，其余参数保持默认即可。

此时即完成了相机的连接。

3D工件识别

“3D工件识别”步骤内置3D工件识别可视化配置工具，可对工件进行点云预处理、模板匹配，并计算工件的位姿（抓取点）。

选中“3D工件识别”步骤，在界面右下角步骤参数处单击打开编辑器。

project build open 3d workpiece recognition visual configuration tool

3D工件识别可视化配置工具界面如下图所示。

接下来可按照如下操作流程识别工件。

project build 3d workpiece recognition workflow

选择工件

进入3D工件识别可视化配置工具后，需要制作待识别工件的点云模板。

打开模板编辑器。

单击3D工件识别可视化配置工具界面右上角的选择工件按钮。

在弹出的工件库窗口中单击模板编辑器。

模板编辑器界面如下图所示。
通过采集点云生成点云模板。
1. 采集物体深度图。
  
  单击界面中的采集点云按钮，在弹出的窗口中单击采集点云。
  
  由于链轨节工件表面特征较多，所以推荐制作该工件的面点云模板，即取消勾选使用边缘点云。然后单击采集物体，采集目标物体的深度图。
  
  采集完成后，目标物体和背景的深度图如下图所示。
2. 采集背景。
  
  在界面右上角单击去除背景。
  
  然后将物体移出相机视野，再单击采集背景按钮来采集背景。
  
  采集背景完成后，如下图所示。然后单击右上角的下一步按钮。
3. 去除背景。
  
  在该窗口中单击去除背景，即可得到去除背景后的物体，如下图所示。
  
  单击右上角的完成按钮，即可将去除背景后的物体导入匹配模板与抓取点编辑器。
编辑点云模板。

生成的点云模板，可能不符合实际使用需求，需要对其进行一些编辑，包括移除杂点和点云降采样。
1. 移除杂点。
  
  单击按钮后，框选需要移除的杂点，然后单击按钮，即可移除所选点。
  
  如下图所示，框选的点为杂点，可通过上述方法进行移除。
2. 点云降采样。
  
  点云降采样的目的是减少模板点云中点的数量，提高模板匹配效率。
  
  单击按钮，在弹出的窗口中设置采样间隔。
  
  以3 mm为例，降采样前后的点云模板如下图所示。
添加抓取点。

单击工具栏中按钮，为工件点云模板添加位姿作为抓取点。

添加完成的抓取点如下图所示。
保存模板与抓取点。

关闭模板编辑器，在弹出的窗口中单击是（Y）。
在工件库中选择工件。

退出模板编辑器后，在工件库中勾选保存的工件点云模板，单击确定。

随后，在3D工件识别可视化配置工具右上角将显示等待识别的目标工件。