工件识别

您正在查看V1.8.2版本的文档。如果您想查阅其他版本的文档，可以点击页面右上角“切换版本”按钮进行切换。

■ 如果您想使用最新版本，可以从梅卡曼德下载中心下载。

■ 如果您不确定当前使用的产品是哪个版本，请随时联系梅卡曼德技术支持。

在使用本教程前，你已经在手眼标定章节中使用案例工程通用工件识别创建了Mech-Vision方案。

在本教程中，你将先了解工程思路，然后通过调节步骤参数完成工程的部署，从而识别工件的位姿并输出视觉结果。

在本教程中，你将会需要将工件的CAD模型文件转化为点云匹配模板。因为准备CAD模型文件可能会花费较长时间，因此推荐在使用本教程前准备好工件的CAD模型文件，可单击此处下载。

视频教程：工件识别

工程思路介绍

工程中各步骤的作用如下表所示。

序号 阶段 步骤 图示 说明

1

采集图像

从相机获取图像

project build understand step function 1

连接相机并采集图像

2

识别工件

3D工件识别

project build understand step function 2

通过3D匹配算法计算工件的位姿（作为抓取点）

3

调整位姿

调整位姿V2

project build understand step function 3

将位姿从相机坐标系变换至机器人坐标系

4

输出视觉结果

输出

project build understand step function 4

输出工件的位姿，用于机器人抓取

5

发送场景点云

发送点云到外部服务

project build understand step function 5

将场景点云发送给Mech-Viz，配合Mech-Viz实现工件抓放

抓取点指机器人可以在工件表面进行抓取的点。

步骤参数调节

在本节，你将通过调节各个步骤的参数来完成工程的部署。

从相机获取图像

你需要调节从相机获取图像步骤参数，连接相机。

  1. 选中从相机获取图像步骤，在界面右下角步骤参数处单击选择相机按钮。

    project build click select camera

  2. 在弹出的窗口中单击某相机编号右侧的 project build link camera before 图标，即可连接至该相机。相机连接成功后， project build link camera before 图标将变为 project build link camera after 图标。

    project build link camera

    连接相机后，需选择参数组。单击选择参数组按钮，选择标定好的、带有ETH/EIH和日期的参数组。

    project build select parameter group

  3. 连接相机并设置参数组后，相机标定参数组、IP地址和端口等参数将自动获取，其余参数保持默认即可。

    project build other parameter

此时已成功连接相机。

3D工件识别

3D工件识别步骤内置3D工件识别可视化配置工具，可对工件进行点云预处理、模板匹配，并计算工件的位姿（抓取点）。

选中3D工件识别步骤，在界面右下角步骤参数处单击打开编辑器按钮。

project build open 3d workpiece recognition visual configuration tool

3D工件识别可视化配置工具界面如下图所示。

project build check tool interface

接下来可按照如下操作流程识别工件。

project build 3d workpiece recognition workflow

选择工件

进入3D工件识别可视化配置工具后，需要制作待识别工件的点云模板。

  1. 打开模板编辑器。

    单击3D工件识别可视化配置工具界面右上角的选择工件按钮。

    project build click select workpiece

    在弹出的工件库窗口中单击模板编辑器按钮，打开模板编辑器界面。

    project build click model editor

  2. 导入CAD文件。

    在模板编辑器界面左侧，单击导入CAD文件按钮。

    project build click import cad

    导入准备好的STL格式的工件模型，然后选择模型尺寸单位，单击确定按钮。

    project build set size

    CAD文件导入完成后，将显示在模板编辑器界面中心的可视化区域中。

    project build show cad

  3. 利用CAD文件制作点云模板。

    选中模板编辑器界面左侧资源列表中的CAD文件，单击工具栏中的 project build create model out surface point cloud icon 图标，然后在弹出的采样间隔窗口中设置采样间隔，生成CAD模型外表面的点云。

    project build create model
    project build set down sample

  4. 查看生成的点云模板。

    利用CAD文件制作完成的点云模板文件将显示在资源列表中。

    project build chect model

    单击选中点云模板文件，可在模板编辑器的可视化区域中查看该点云模板。

    project build show model

  5. 添加位姿。

    单击工具栏中 project build add pose icon 图标，为工件点云模板添加位姿作为抓取点。

    project build click add pose

    添加完成的位姿如下图所示。

    project build check pose

  6. 保存模板与位姿。

    关闭模板编辑器，在弹出的窗口中单击是(Y)按钮。

    project build save model and pose

  7. 在工件库中选择工件。

    退出模板编辑器后，在工件库中勾选保存的工件点云模板，单击确定按钮。

    project build select workpiece

    随后，在3D工件识别可视化配置工具右上角将显示等待识别的目标工件。

    project build workpiece select result

此时即完成了工件的选择，单击3D工件识别可视化配置工具底部的下一步按钮进入预处理流程。

project build click next step 1

预处理

预处理的目的是通过设置识别区来去除不必要的点云，仅保留工件点云，提升工程运行效率。

预处理界面如下图所示。

project build preprocess interface

  1. 设置识别区。

    单击设置按钮。

    project build click set 3d roi

    在设置识别区界面中设置3D识别区。按住Ctrl键，然后鼠标左键长按3D ROI选框顶点，拖动3D选框至合适的大小即可。3D识别区设置完成后如下图所示。

    project build set 3d roi

  2. 保存识别区。

    单击保存并使用按钮，保存识别区。

    project build click save and use

此时即完成了预处理流程，单击3D工件识别可视化配置工具底部的下一步按钮，进入识别工件流程。

project build click next step 2

识别工件

在本流程中，可以通过可视化方式调整3D匹配相关参数，输出工件的位姿。

识别工件界面如下图所示。

project build recognize workpiece interface

  1. 由于本工程中最多可识别到5个工件，所以将输出个数上限修改为5。

    project build set output number

  2. 查看可视化输出结果

    单击运行步骤(Shift+R)按钮。

    project build click run step

    即可在可视化区域中查看可视化输出结果。如下图所示，输出了4个工件的位姿。

    project build check recognize workpiece result

  3. 保存配置。

    单击3D工件识别可视化配置工具底部的完成按钮。

    project build click finish

    然后在弹出的窗口中单击保存按钮。

    project build click save

    此时已完成了工件的识别，并计算出了位姿。

调整位姿V2

3D工件识别步骤输出的位姿位于相机坐标系下，为了方便机器人抓取，还需调整工件位姿，将位姿从相机坐标系变换到机器人坐标系。

  1. 打开位姿调整工具。

    选中调整位姿V2步骤，在步骤参数处单击打开编辑器按钮。

    project build click open pose editor

    位姿调整工具界面如下图所示。

    project build pose editor interface

  2. 调整坐标系变换类型。

    在位姿调整工具右上角处，在坐标系设置下方勾选将位姿转换至机器人坐标系选项。

    project build set transform type

  3. 查看坐标系变换效果。

    单击位姿调整工具右下角的下一步按钮。

    可在位姿调整工具可视化区域看到变换后的位姿。

    project build transform pose

  4. 保存配置。

    关闭位姿调整工具，在弹出的窗口中单击保存按钮。

    project build save pose editor set

此时即完成了位姿的坐标系变换。

输出

输出步骤可将当前工程的结果发送给后台服务。

发送点云到外部服务

发送点云到外部服务步骤可将点云发送给Mech-Viz，可用于工程调试或查看工程实际效果。

至此，你已完成了Mech-Vision工程的部署。

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝，将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。

  • Preference
  • 同意
  • 不同意