视觉工程配置

在使用本教程前，你已经在机器人通信配置章节中使用案例工程“高精度定位装配”创建了方案。

在本教程中，你将先了解工程思路，然后通过调节步骤参数完成工程的部署，从而识别工件的位姿并输出视觉结果。

工程思路介绍

在本教程中，你需要使用Mech-Vision软件进行视觉工程配置。视觉工程配置的流程如下图所示。

视觉工程配置流程各个阶段说明如下。

阶段	使用软件	说明
连接相机并采集图像	Mech-Vision	通过Mech-Vision软件的“从相机获取图像”步骤连接相机，以实现图像采集目的。
识别工件	Mech-Vision	通过Mech-Vision软件的“3D工件识别”步骤对图像数据进行一系列视觉处理（点云预处理、3D匹配等），实现工件的快速识别。
调整位姿	Mech-Vision	通过Mech-Vision软件的“调整位姿V2”步骤对“3D工件识别”步骤输出的位姿进行坐标系转换、位姿排序，或位姿过滤等。
输出工件位姿	Mech-Vision	当接收到机器人（本教程使用）或PLC发送的标准接口指令，Mech-Vision的“输出”步骤返回视觉结果（工件抓取点）。在完成机器人通信配置以及Mech-Vision工程的配置后，Mech-Vision在每次运行后即可以输出视觉结果。你需要机器人侧编写机器人程序，实现发送触发Mech-Vision工程运行以及获取Mech-Vision输出的视觉结果的标准接口指令。具体请参考“实现抓放”章节中的说明。

阶段

使用软件

说明

连接相机并采集图像

Mech-Vision

通过Mech-Vision软件的“从相机获取图像”步骤连接相机，以实现图像采集目的。

识别工件

Mech-Vision

通过Mech-Vision软件的“3D工件识别”步骤对图像数据进行一系列视觉处理（点云预处理、3D匹配等），实现工件的快速识别。

调整位姿

Mech-Vision

通过Mech-Vision软件的“调整位姿V2”步骤对“3D工件识别”步骤输出的位姿进行坐标系转换、位姿排序，或位姿过滤等。

输出工件位姿

Mech-Vision

当接收到机器人（本教程使用）或PLC发送的标准接口指令，Mech-Vision的“输出”步骤返回视觉结果（工件抓取点）。

在完成机器人通信配置以及Mech-Vision工程的配置后，Mech-Vision在每次运行后即可以输出视觉结果。

你需要机器人侧编写机器人程序，实现发送触发Mech-Vision工程运行以及获取Mech-Vision输出的视觉结果的标准接口指令。具体请参考“实现抓放”章节中的说明。

步骤参数调节

在本节，你将通过调节各个步骤的参数来完成工程的部署。

本节中操作的工程为“高精度定位装配”方案中的“High-Precision Positioning and Assembly”工程。

从相机获取图像

步骤名称	从相机获取图像
所属阶段	连接相机并采集图像
图示
说明	需要连接真实相机，并配置相关参数，确保相机可以正常采集图像。

步骤名称

从相机获取图像

所属阶段

连接相机并采集图像

图示

说明

需要连接真实相机，并配置相关参数，确保相机可以正常采集图像。

在Mech-Vision工程编辑区，选中从相机获取图像步骤，在界面右下角步骤参数选项卡中单击选择相机按钮。
在弹出的选择相机及其标定参数组窗口中单击相机编号右侧的图标。当该图标将变为图标时，表明相机连接成功。

连接相机后，单击选择参数组按钮，选择标定好的、带有ETH/EIH和日期的标定参数组。

此处选择的标定参数组为完成手眼标定后生成的标定参数组。
连接相机并设置标定参数组后，相机标定参数组、IP地址和端口等参数将自动获取。请确认配置参数组已设置为“反光物体”。
- 单击从相机获取图像步骤的单步运行按钮触发图像采集，双击步骤的“相机深度图”和“相机彩色图”数据流连线，并在调试输出窗口查看是否成功从相机获取到图像。

如果在调试输出窗口可以看到正常的深度图和彩色图，则表明Mech-Vision软件已成功连接真实相机，并可以正常采集图像。

3D工件识别

步骤名称	3D工件识别
所属阶段	识别工件
图示
说明	需要设置点云预处理参数、在工件库中制作工件模板并选择工件、设置识别参数、配置输出端口。

步骤名称

3D工件识别

所属阶段

识别工件

图示

说明

需要设置点云预处理参数、在工件库中制作工件模板并选择工件、设置识别参数、配置输出端口。

3D工件识别步骤提供了内置的可视化3D工件识别工具，通过配置向导，只需三步即可轻松实现工件位姿的识别。

overall recognition configuration process

你可以通过以下任一方法打开3D工件识别工具界面，开始参数调节。

在工程编辑区单击步骤上的配置向导按钮。
在步骤参数选项卡中单击配置向导按钮。

点云预处理

点云预处理将采集到的图像数据转换为点云，进而设置有效的点云识别区，检测边缘点云，并过滤掉不符合规则的点云，提升后续的识别效率。

在本步骤，你需要设置有效的识别区，从而将干扰因素屏蔽在区域外，以提升识别效率。设置识别区域时，应确保覆盖工件，并适当向外扩展30毫米，以容纳来料偏差可能带来的影响。

通常，保留其他预处理参数的默认值即可。如果场景中存在较多杂点，可以尝试调整相关参数。详情请参考点云预处理。

在完成参数调节后，可以在预览预处理结果区域单击运行步骤按钮，在可视化区域确认预处理效果满足预期。

工件选择与识别

本应用使用3D匹配进行工件识别。
3D匹配是将目标物体的模板点云拟合到场景中物体点云，以算出场景中物体的位姿的过程。在使用3D匹配进行识别时，需要先制作工件模板（也称作点云模板或点云匹配模板）。
在完成参数调节后，可以在查看运行结果区域单击运行步骤按钮，在可视化区域确认识别效果满足预期。