视觉工程配置
在使用本教程前，你已经在机器人通信配置章节中使用案例工程“单品类拆垛”创建了方案。
在本教程中，你将先了解工程思路，然后通过调节步骤参数完成工程的部署，从而识别纸箱的位姿并输出视觉结果。
工程思路介绍
在本教程中，你需要使用Mech-Vision软件和Mech-Viz软件进行视觉工程配置。视觉工程配置的流程如下图所示。
视觉工程配置流程各个阶段说明如下。
| 阶段 | 使用软件 | 说明 |
|---|---|---|
连接相机并采集图像 |
Mech-Vision |
通过Mech-Vision软件的“从相机获取图像”步骤连接相机，以实现图像采集目的。 |
点云预处理及获取最高层彩色图 |
Mech-Vision |
通过Mech-Vision软件的“点云预处理及获取最高层彩色图”自定义步骤组合，对图像数据进行点云预处理并获取最高层彩色图。 |
深度学习推理 |
Mech-Vision |
通过Mech-Vision软件的“深度学习模型包推理”步骤对最高层彩色图进行实例分割。 |
计算纸箱位姿和尺寸 |
Mech-Vision |
通过Mech-Vision软件的“计算纸箱位姿和尺寸”自定义步骤组合计算处最高层纸箱的位姿。 |
调整位姿 |
Mech-Vision |
通过Mech-Vision软件的“调整位姿V2”步骤对“3D工件识别”步骤输出的位姿进行坐标系转换、方向调整、排序或过滤等调整。 |
规划机器人路径 |
Mech-Vision & Mech-Viz |
通过Mech-Vision软件的“输出”步骤，将视觉结果（物体几何中心位姿、彩色场景点云、预处理后的点云及纸箱上表面尺寸等信息）发送给Mech-Viz。 Mech-Viz工程将基于视觉结果，动态规划出无碰撞的机器人移动路径。 |
输出规划路径 |
Mech-Viz |
当接收到机器人（本教程使用）或PLC发送的标准接口指令，Mech-Viz返回规划的无碰撞的机器人移动路径。 在完成机器人通信配置以及Mech-Vision工程和Mech-Viz工程的配置后，Mech-Viz在每次运行后即可以输出规划的路径。 你需要机器人侧编写机器人程序，实现发送触发Mech-Viz工程运行以及获取Mech-Viz输出的规划路径的标准接口指令。具体请参考“实现抓放”章节中的说明。 |
步骤参数调节
在本节，你将通过调节各个步骤的参数来完成工程的部署。
| 本节中操作的工程为“单品类拆垛”方案中的“Vis-Single-Case Depalletizing”工程。 |
从相机获取图像
步骤名称 |
从相机获取图像 |
|---|---|
所属阶段 |
连接相机并采集图像 |
图示 |
|
说明 |
需要连接真实相机，并配置相关参数，确保相机可以正常采集图像。 |
-
在Mech-Vision工程编辑区，选中从相机获取图像步骤，在界面右下角步骤参数选项卡中单击选择相机按钮。
-
在弹出的选择相机及其标定参数组窗口中单击相机编号右侧的
图标。当该图标将变为 
图标时，表明相机连接成功。
连接相机后，单击选择参数组按钮，选择标定好的、带有ETH/EIH和日期的标定参数组。
此处选择的标定参数组为完成手眼标定后生成的标定参数组。 -
连接相机并设置标定参数组后，相机标定参数组、IP地址和端口等参数将自动获取。请确认配置参数组已设置为“纸箱”。
-
单击从相机获取图像步骤的单步运行按钮触发图像采集，双击步骤的“相机深度图”和“相机彩色图”数据流连线，并在调试输出窗口查看是否成功从相机获取到图像。
-
如果在调试输出窗口可以看到正常的深度图和彩色图，则表明Mech-Vision软件已成功连接真实相机，并可以正常采集图像。
点云预处理及获取最高层彩色图
步骤名称 |
点云预处理及获取最高层彩色图 |
|---|---|
所属阶段 |
点云预处理及获取最高层彩色图 |
图示 |
|
说明 |
需要设置有效的识别区（3D ROI）将干扰因素屏蔽在区域外，设置“层高”避免提取最高层彩色图出错。 |
-
设置有效的识别区（3D ROI），将干扰因素屏蔽在区域外，以提升识别效率。设置的3D ROI范围应包含纸箱，并适当外扩50毫米左右，以兼容来料偏差。
-
设置获取最高层点云的“层高”。设置的参数值应小于纸箱高度，并大于同层纸箱的最大高度差。
深度学习模型包推理
步骤名称 |
深度学习模型包推理 |
|---|---|
所属阶段 |
深度学习推理 |
图示 |
|
说明 |
导入并加载方案内置的深度学习模型包，设置2D ROI以提升深度学习推理效果。 |
-
使用模型包管理工具导入深度学习模型包，并选择导入的模型包。
-
为深度学习设置2D ROI以提升深度学习推理效果。设置的2D ROI应覆盖最上层纸箱，并适当留出1/3余量，以兼容物料位置波动。
调整位姿V2
步骤名称 |
调整位姿V2 |
|---|---|
所属阶段 |
调整位姿 |
图示 |
|
说明 |
需要配置参数实现位姿变换、位姿调整、位姿排序以及位姿过滤。 |
得到工件位姿后，需要对位姿进行调整，处理流程如下。
Mech-Vision内置位姿调整工具，你可使用该工具轻松实现物体位姿的调整及抓取顺序的优化。你可以通过以下任一方法打开位姿调整工具界面，开始参数调节。
-
在工程编辑区单击步骤上的配置向导按钮。
-
在步骤参数选项卡中单击配置向导按钮。
请按照如下步骤调节参数：
-
位姿变换：在位姿调整选项卡中，将位姿从相机坐标系转换至机器人坐标系。
-
位姿调整：在位姿调整选项卡中，选择“自动对齐”策略，并选择“纸箱拆码垛”应用场景。
-
位姿排序：在位姿规则选项卡中，选择“‘Z’形平面排序”，然后设置“参考位姿”方向。
-
角度过滤：在位姿规则选项卡中，根据位姿Z轴方向过滤明显不可抓取的位姿或者存在识别错误的位姿，减少Mech-Viz软件路径规划的耗时。
