搭建 Mech-Vision 工程

本节介绍 Mech-Vision 曲轴上料工程的搭建。

工程搭建思路

曲轴上料工程的 Mech-Vision 工程搭建思路如下。

1. 采集图像。采集工件图像数据，获得其彩色图像和深度图像。

2. 点云预处理。对采集到的图像进行处理，将采集到的工件深度图转换为点云。同时为了减少背景点云和无关点云的干扰，可删除离群点云。

3. 滤除无关点云。为了加快工程处理速度，可过滤点云列表中点数不在设定阈值范围内的点云。

4. 模板匹配并设置抓取点。通过物体点云模板匹配，识别出场景中的物体并得到其抓取点。该任务需要提前准备点云模板文件和几何中心文件。

5. 调整位姿。当得到物体的抓取点后，需进行坐标系变换，将物体坐标系变换到机器人坐标系，方便机器人进行抓取。

6. 输出视觉结果。当坐标系转换完成后，需将视觉结果通过服务发送至 Mech-Viz 或 Mech-Center。

搭建工程

创建工程 后，即可开始搭建工程。

采集图像

添加 从相机获取图像 步骤，该步骤用于触发相机拍照，并获取彩色图和深度图。

注意

添加此步骤前，应确保 相机已安装 且 与工控机连接 ， 并且已经完成采集图像测试和 机器人手眼标定 。

此步骤添加完成后，需要连接真实相机。选中该步骤，然后单击 步骤参数 ，在步骤参数界面对相机相关参数进行配置，选择相机类型、相机编号、标定参数组，并填写 IP 地址。

点云预处理

添加 点云预处理 步骤组合。

双击进入该步骤组合，其中包含 将深度图转换为点云 、 计算点云的法向量并滤波 、 提取 3D ROI 内点云 步骤，如下图所示。

1. 将深度图转换为点云 可将相机拍照得到的深度图转换为点云数据。

   为了减少无用点云对后续步骤的干扰，并缩短后续步骤处理时间，需框选 2D 感兴趣区域。

   首先选中该步骤，然后单击 步骤参数 ，最后单击 设置 2D 感兴趣区域（ROI） 。设置 2D ROI 的方法可参考 设置 ROI 。

   

2. 计算点云的法向量并滤波 步骤可计算出输入点云中每一个点的法向量，使原本只带位置信息的点云数据转变成带法向量信息的点云数据。

3. 提取 3D ROI 内点云 步骤用于在 3D 空间内设置感兴趣区域（ROI），该区域内的点云将被保留，区域外的点云将被去除，从而减少背景点云的干扰。

   首先选中该步骤，然后单击 步骤参数 ，最后单击 设置 3D 感兴趣区域（ROI） 。设置 3D ROI 的方法可参考 设置 ROI 。

   

4. 为了将点云发送到 Mech-Viz 中，用于调试或查看实际效果，需在该步骤组合下方连接 发送点云到外部服务 步骤。

   

滤除无关点云

为了提高工程运行速度，滤除无关点云，需添加 滤除点数超限的点云 步骤组合。

双击进入该步骤组合，其中包含 输入分配器 、 验证点云是否符合要求 、 过滤 步骤，如下图所示。

1. 验证点云是否符合要求 步骤可根据设定的规则（如点云点数阈值）判断点云是否符合要求。

2. 过滤 步骤作为通用的列表过滤器，可将输入的列表元素与 True/False 布尔值列表元素一一对应，输出 True 对应的列表数据。

模板匹配并设置抓取点

添加 3D 匹配 步骤组合。

双击进入该步骤组合，其中包含 3D 粗匹配 V2 、 3D 精匹配 、 去除被压叠的物体 步骤，如下图所示。

1. 3D 粗匹配 V2 步骤可将预先制作好的点云模板与输入的带法向的点云进行粗略地特征匹配，匹配出结果后，根据模板匹配到的位置，生成对应的物体几何中心和抓取点。

   首先选中 3D 粗匹配 V2 步骤，然后单击 步骤参数 ，最后单击 ，选择模板文件和几何中心文件并将其导入。

   

   提示

   模板文件和几何中心文件的制作方法可参考 匹配模板与抓取点编辑器 。

2. 3D 精匹配 步骤可对 3D 粗匹配 V2 中的匹配结果进行更精准的匹配计算，得到精度较高的匹配结果，并生成对应的高精度几何中心和抓取点。

   提示

   在 3D 精匹配 步骤中添加模板文件和几何中心文件的方法同 3D 粗匹配 V2 步骤。

   在本步骤调参过程中，可根据实际情况优先调整采样间隔，该值越小，采样得到的点云越多，模型估计的精确度越高，然后调整标准偏差。具体可参考 3D 精匹配 。

3. 去除被压叠的物体 步骤可根据指定的规则，去除被压叠物体的位姿。

   可通过调节重叠比例阈值，来调整判定压叠的严格程度。重叠比例阈值越高，压叠的判定越宽松；重叠比例阈值越低，压叠的判定越严格。

调整位姿

通过 3D 精匹配 步骤获得精确位姿后，接下来需对获取到的位姿进行变换。

添加 调整位姿 步骤，将此步骤放置于 3D 匹配 步骤组合下方。使用该步骤内置的 位姿步骤编辑器 ，可对位姿进行坐标系转换、平移、旋转、排序等组合调整。

映射到多抓取点

若抓取点与几何中心点不一致，或抓取点不止一个时，需要使用 映射到多抓取点 步骤为场景中的物体添加多个可发送给机器人控制软件的抓取点。

添加此步骤，将其放置于 调整位姿 步骤下方。

输出视觉结果

为了将输出的数据发送给 Mech-Center ，由 Mech-Center 发送给后续用到该数据的软件及硬件，需添加 输出 步骤，将此步骤放置于 映射到多抓取点 步骤下方。

此时，即完成了 Mech-Vision 曲轴上料工程的搭建。可通过快捷键 Ctrl + S 或在菜单栏处依次单击 文件 ‣ 保存工程 来对工程进行保存。

运行并调试工程

工程搭建完成后，即可 运行并调试工程 。

如需在工程运行过程中保存图像数据和步骤参数值，可在 从相机获取图像 步骤下方连接 保存图片数据和参数 步骤组合。