方案使用进阶

本节将从进阶角度介绍有序圆柱体轴棒上料方案,对轴棒识别和轴棒抓取过程进行详细讲解。

轴棒识别

轴棒识别过程中涉及两个工程,分别为“Vis_轴棒上料”和“Vis_自动生成匹配模板”,本节将分别对两个工程进行流程概述和步骤详解。

工程一:Vis_轴棒上料

流程概览

在“Vis_轴棒上料”工程中,使用深度学习和 3D 匹配相结合的方式实现轴棒识别和定位,整体流程如下图所示。

vision overall 1

下文将对该流程中的重点步骤进行详细解释。

步骤详解

通过深度学习分割出单个工件掩模
  • 功能说明:

    该步骤组合可通过深度学习分割出单个轴棒的掩膜。后续步骤根据单个轴棒掩膜,提取单个轴棒点云,用于轴棒的识别和定位。如下图所示,左图为输入的 2D 图,右图为深度学习分割出的单个轴棒掩膜。

    vision segmentation mask effect
  • 需调整的参数:

    参数 参数解释 调节说明 调节效果

    深度学习 ROI

    该参数用于设置深度学习感兴趣区域,减少背景信息干扰,提高识别效果。

    设置深度学习 ROI 时,需覆盖整个料筐范围,同时为了深度学习达到更好的效果,以及兼容料筐来料位置波动,框选 ROI 时需适当留有约三分之一料筐尺寸余量。

    vision dl roi effect

点云预处理
  • 功能说明:

    该步骤组合可根据深度图生成点云,去除干扰点云,并提取深度学习掩膜对应的点云。

  • 需调整的参数:

    参数 参数解释 调节说明 调节效果

    3D ROI

    该参数用于设置 3D 感兴趣区域, 感兴趣区域内的点云用于轴棒、料筐识别,感兴趣区域外的点云被舍弃。

    设置 3D ROI 时,需只包含料筐和轴棒点云,不能包含其他场景点云。如果每次来料时料筐位置存在波动,应适当扩大 3D ROI。

    vision 3d roi effect

使用 3D 匹配定位工件
  • 功能说明:

    该步骤组合可使用 3D 匹配方法对轴棒进行定位。

  • 需调整的参数:

    参数 参数解释 调节说明

    模型选择

    该参数用于选择当前轴棒对应的点云模板。该参数一般需要添加到参数配方中。

    根据实际需求设置该参数。

    置信阈值

    该参数用于设置置信度下限,置信度低于该阈值的轴棒位姿会被过滤掉。

    根据实际需求设置该参数。

料筐识别
  • 功能说明:

    该步骤组合可计算料筐中心位姿。

  • 需调整的参数:

    参数 参数解释 调节说明

    料筐名称

    该参数用于输入Mech-Viz中使用的料筐或场景物体的名称。

    根据实际情况设置该参数。

    料筐高度

    该参数用于输入料筐的实际高度,然后根据料筐高度和料筐上表面位姿,计算料筐中心位姿。

    根据实际情况设置该参数。

调整位姿
  • 功能说明:

    该步骤组合主要包括位姿调整和过滤、计算位姿偏移量两个功能。

    • 位姿调整和过滤:调整轴棒位姿并对不符合要求的位姿进行过滤。

    • 计算位姿偏移量:计算轴棒几何中心到轴棒上表面抓取点的偏移量。

      为什么要计算位姿偏移量?

      轴棒位姿位于其几何中心点处,位姿偏移量是轴棒几何中心点到轴棒上表面抓取点的偏移量,同时输出轴棒位姿和位姿偏移量有以下两个作用:

      • 作用一:避免频繁切换 TCP,在不同尺寸轴棒进行换产时,可使轴棒抓取点保持在轴棒上表面。

      • 作用二:当夹具围绕轴棒长边使用不同角度进行抓取尝试时,可确保是绕着轴棒轴心进行对称性尝试的,而不是绕着轴棒上表面进行尝试的。

  • 需调整的参数:

    参数 参数解释 调节说明

    选择位姿处理策略

    该参数用于选择位姿调整工具中使用的位姿处理策略。

    根据实际情况设置该参数。

工程二:Vis_自动生成匹配模板

流程概览

在“Vis_自动生成匹配模板”工程中,将自动生成点云模板文件和几何中心点文件,并保存到工程文件夹中。整体流程如下图所示。

vision overall 2

下文将对该流程中的重点步骤进行详细解释。

步骤详解

创建物体模型
  • 功能说明:

    该步骤可根据输入轴棒标准尺寸,生成轴棒点云模板。

  • 需调整的参数:

    参数 参数解释 调节说明

    圆柱体高度

    该参数用于输入圆柱体的标准长度。

    根据实际情况设置该参数。

    圆柱体半径

    该参数用于输入圆柱体的标准半径。

    根据实际情况设置该参数。

保存结果到文件(1)
  • 功能说明:

    该参数用于保存轴棒点云模板文件至工程文件夹中。

保存结果到文件(2)
  • 功能说明:

    该参数用于保存轴棒几何中心点文件至工程文件夹中。

轴棒抓取

轴棒抓取流程涉及两种通信方式,分别为主控通信方式和标准接口通信方式,本节将以主控通信方式为例对轴棒抓取流程进行介绍。

流程概述

主控通信方式下轴棒抓取的整体流程如下图所示。

viz overall

下文将对该流程中的重点步骤进行详细解释。

步骤详解

步骤初始化

  • 功能说明:

    在程序启动时,对视觉程序和机器人信号进行初始化操作。

    具体的步骤包括:停止吸盘的吹气和吸气信号,同时将抓取和放置任务的状态重置为空。上述操作的目的是每次启动时将系统运行状态调整为初始状态,防止异常中断后重启,从而出现风险。

    viz step initialization

检查视觉结果

  • 功能说明:

    根据Mech-Vision输出的视觉结果,执行不同的工作流程。

    • 有结果时,执行抓取轴棒的工作流程。

    • 当无结果、未拍照或无点云时,机器人移动到 home 点,然后工作流程终止。

      viz check vision result
  • 内部重点步骤介绍:

    步骤 功能说明

    检查视觉结果

    • 有结果时:继续执行轴棒抓取流程。

    • 无结果时:机器人回到 home 点,发出识别异常报警。

    • 超时:等待 10 s 后,循环检查视觉结果。

    • 未拍照:未能触发相机拍照,机器人回到 home 点,然后发出相机触发异常报警。

    • 无点云:Mech-Vision工程未输出点云,机器人回到 home 点,然后发出无点云异常报警。

轴棒抓取

  • 功能说明:

    控制机器人抓取轴棒,然后移动到料筐上方。当规划失败时,机器人移动到 home 点并终止工作流程。

    viz shafts picking
  • 内部重点步骤介绍:

    步骤 功能说明 参数说明

    抓取轴棒

    根据Mech-Vision工程输出的视觉结果,控制机器人移动到轴棒抓取点。

    移除目标工件点云

    该参数用于移除当前抓取的目标工件点云。进行点云碰撞检测时,如果不移除目标工件点云,夹具会与目标工件点云发生碰撞,导致检测到点云碰撞点数超限,从而无法抓取,所以需勾选该参数。

    XY平面点云移除范围拓展、Z向点云移除范围拓展

    为了完整地移除目标工件的点云,需将移除的范围稍微扩大,但不能过大,防止将邻近工件点云删除过多,导致碰撞检测出现漏检的情况。

    “XY平面点云移除范围拓展”一般设置为 30 mm 左右,“Z向点云移除范围拓展”一般设置为 50 mm 左右,需根据实际情况调节。

轴棒放置

  • 功能说明:

    控制机器人移动到放置点,然后关闭夹具,放置轴棒。

    viz shafts placing

抓取效果演示

完成上述步骤后,即可实现轴棒抓取,具体效果如下图所示。

viz shafts picking demo

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。