定位抓取(2D 模板匹配)

您正在查看预发布版本(V2.2.0)的文档。如果您想查阅其他版本的文档,可以点击页面右上角“切换版本”按钮进行切换。

■ 如果您不确定当前使用的产品是哪个版本,请随时联系梅卡曼德技术支持

本文将介绍 2D 模板匹配方式下的工件识别配置流程。该方式用于在 2D 图像中搜索并定位与模板匹配的工件特征,计算工件位姿。适用于通过工件边缘或显著形状特征进行识别的场景,要求工件边缘特征明显、形状固定。

单击配置向导,选择定位抓取场景,并选择2D 模板匹配识别方式,即可进入该配置流程。

使用流程

整体识别流程包括四个步骤:

positioning and picking process
  1. 图像预处理:对输入图像进行色彩转换、增强、降噪、形态学变换等预处理,提升图像质量,突出工件特征并减少背景干扰,为后续工件识别提供可靠的数据基础。

  2. 工件识别:设置感兴趣区域,并根据工件特征灵活配置匹配参数,以准确识别工件。

  3. 工件位姿计算:结合 2D 相机的外参标定数据和基准工件(即用于示教的工件)的示教信息,将识别到的工件 2D 位姿自动转换为机器人抓取所需的 3D 位姿,实现精准抓取。

  4. 通用设置:配置位姿过滤规则和输出端口,确保输出结果满足后续抓取需求。

图像预处理

在识别工件之前,可根据输入图像质量,选择开启转换图像色彩空间图像预处理,进行相应的参数调整,使图像特征更清晰,从而提高识别的准确度和效率。

转换图像色彩空间

转换图像色彩空间可以将输入图像从一种色彩空间转换为另一种色彩空间,例如从 BGR 转灰度图、BGR 转 HSV等。通过色彩空间的转换,可以更好地突出图像特征,方便后续图像处理。

具体参数说明和调参案例请阅读 转换图像色彩空间

图像预处理

在图像预处理中,可以对输入图像进行增强、降噪、形态学变换、灰度反转、边缘提取等预处理操作。

具体参数说明和调参案例请阅读 图像预处理

预览预处理结果

完成上述参数设置后,可单击运行步骤运行工程预览预处理结果。

然后,单击下一步进入工件识别流程。

工件识别

完成图像预处理后,进行识别设置,包括设置感兴趣的识别区域并调整模板匹配参数,实现对工件的精准识别。

添加识别参数组

进入工件识别流程后,系统会默认创建一个识别参数组,用于管理当前识别的感兴趣区域和相关参数。

  • 管理操作:右键单击参数组名称,或直接单击参数组右侧的功能按钮,可执行重命名、删除或创建副本等操作。

parameter group management operation
  • 新建参数组:如需配置新的参数组,单击右上方的添加按钮即可新建参数组。每个参数组都可以独立设置识别区域和参数,互不影响。

add parameter group

设置识别区域

设置识别区域时,可根据实际需求,选择全部为识别区域自定义识别区域。选择自定义识别后,需要单击“框选”按钮,手动框选识别区域。框选时,确保识别目标在框选范围内。

  • 全部为识别区域:对整张图像进行识别,通常适用于识别目标分布范围较广的场景。

  • 自定义识别区域:仅对框选区域进行识别,通常适用于只需关注图像中某一部分,或希望排除无关区域(如背景、夹具等干扰)的场景,有助于提升识别效率和准确率。

识别工件

设置工件模板

在设置好识别区域后,选择或编辑工件模板,用于后续识别工件。单击编辑按钮,进入 2D 匹配模板编辑器。

应从图像中选取具有代表性且稳定的边缘特征来生成模板,确保系统后续将自动在图像中搜索并定位与该模板特征一致的工件,同时匹配结果唯一且准确。详细使用说明,请查看 2D 匹配模板编辑器

每次完成模板编辑后,需单击更新以应用最新配置。

调整识别参数

选择模板后,如果需要识别多个工件,建议优先根据现场实际需求设置“匹配结果数量上限”(默认值为 1),用于限定每次输出的最大匹配结果数量。

设置完成后,单击运行步骤查看模板匹配结果和整体识别效果。

如识别效果不理想,可根据工件实际特征和识别需求继续调整其他参数,以进行优化。

具体参数说明请阅读 2D 匹配

随后,单击下一步进入工件位姿计算流程。

工件位姿计算

该流程通过示教操作采集基准数据,建立视觉识别和机器人抓取位姿之间的对应关系,将实时识别到的工件 2D 位姿,自动计算为机器人 3D 抓取位姿。

根据相机安装方式(Eye to hand 或 Eye in hand)不同,示教所需的操作和参数有所不同。

在开始具体示教操作前,请确保相机视野范围内仅有一个工件(若有其他工件,请先从载具中取出),并单击运行工程,以便系统仅识别该基准工件。

ETH 场景下示教说明

操作流程

  1. 将基准工件放置在相机视野范围内进行拍照识别,并在整个示教过程中保持工件位置不变。

  2. 单击获取按钮,获取当前识别到的基准工件 2D 位姿。

  3. 通过示教器控制机器人精准到达工件的预期抓取点。单击编辑按钮,输入抓取基准工件时的机器人法兰位姿。该位姿为示教器上读取的机器人法兰位姿。

  4. 完成后,在保证工件位置不动的情况下,使用示教器控制机器人离开抓取点。

参数说明

参数 解释

选择相机步骤

参数解释:该参数用于选择已完成外参标定的 2D 相机步骤,以确保标定数据正确应用于当前步骤。

基准工件 2D 位姿

参数解释:拍照时,识别到的基准工件 2D 位姿。

基准抓取位姿

参数解释:机器人抓取基准工件时的法兰位姿,该位姿为示教器上读取的机器人坐标系下的法兰位姿。

EIH 场景下示教说明

操作流程

  1. 通过示教器控制机器人移动至拍照点。单击编辑按钮,输入机器人在拍照点时的法兰位姿。该位姿为示教器上读取的机器人坐标系下的法兰位姿。

  2. 将基准工件放置在相机视野范围内进行拍照识别,并在整个示教过程中保持工件位置不变。

  3. 单击获取按钮,获取当前识别到的基准工件 2D 位姿。

  4. 通过示教器控制机器人精准到达工件的预期抓取点。单击编辑按钮,输入抓取基准工件时的机器人法兰位姿。该位姿为示教器上读取的机器人法兰位姿。

  5. 完成后,在保证工件位置不动的情况下,使用示教器控制机器人离开抓取点。

参数说明

参数 解释

选择相机步骤

参数解释:该参数用于选择已完成外参标定的 2D 相机步骤,以确保标定数据正确应用于当前步骤。

基准工件 2D 位姿

参数解释:拍照时,识别到的基准工件 2D 位姿。

基准抓取位姿

参数解释:机器人抓取基准工件时的法兰位姿,该位姿为示教器上读取的机器人坐标系下的法兰位姿。

拍照时法兰位姿

参数解释:机器人在拍照点时的法兰位姿,该位姿为示教器上读取的机器人坐标系下的法兰位姿。

通信组件中的机器人服务名

参数解释:该参数用于选择机器人型号,需与通信组件中连接的机器人型号一致。

示教完成后,可将其他工件放回载具,并再次单击运行工程,以便系统批量识别和输出所有工件的位姿。

完成工件位姿计算后,单击下一步进入通用设置流程。

通用设置

在该流程中,可对视觉识别以外的辅助功能进行设置,包括设置位姿过滤规则和配置输出端口。

设置位姿过滤规则

可根据实际需求并结合识别结果中的位姿数据,设置 X、Y、Rz 方向的上下限,对输出的工件位姿进行过滤,剔除超出设定范围的识别结果。

单击运行步骤运行工程可查看过滤状态。

配置输出端口

此处可根据工件实际情况,选择输出端口。默认会输出工件名称和识别位姿。

  • 匹配分数:输出匹配分数列表,用于评估匹配结果的质量。

在勾选该端口后,2D 工件识别步骤将实时新增对应的输出端口。

该页面是否有帮助?

可以通过以下方式反馈意见:

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。