方案使用入门

本节将从入门角度介绍如何轻松实现周转箱拆垛,总体流程如下图所示。

turnover box getting started overall

机器人通信配置

机器人通信配置前,需先获取方案。请单击此处查看方案获取方法。
  1. 打开Mech-Vision软件。

  2. 在Mech-Vision欢迎页中单击从案例库新建,打开案例库。

    turnover box getting started click creat from lib
  3. 进入案例库中的拆码垛分类,然后单击底部获取更多资源,并在弹出的窗口中单击

    turnover box getting started get resource
  4. 获取案例资源后,选择周转箱(带生产界面),然后在下方填写方案名称和路径,最后单击创建,开始下载周转箱拆垛方案。

    turnover box getting started create solution

    下载完成后,该方案会在Mech-Vision中自动打开。

在应用梅卡曼德视觉方案时,需要完成梅卡曼德视觉系统与机器人侧(机器人、PLC 或上位机)的通信对接。

周转箱拆垛方案使用标准接口通信,具体操作可参考 标准接口通信配置

手眼标定

手眼标定是指建立相机坐标系与机器人坐标系对应关系的过程,将视觉系统确定的物体位姿转换为机器人坐标系下的位姿,从而引导机器人精准完成抓取任务。

可参考 机器人手眼标定操作指南 完成手眼标定。

每次安装相机后,或标定后相机与机器人的相对位置发生变化时,都需要重新进行手眼标定。

视觉工程配置

完成通信配置和手眼标定后,即可使用Mech-Vision进行周转箱识别。周转箱识别的流程如下图所示。

turnover box getting started vision overall

连接相机并采集图像

  1. 连接相机。

    打开Mech-Eye Viewer,找到待连接的相机,单击连接

    turnover box getting started vision click connect camera
  2. 设置参数组。

    单击右侧参数组处的下拉箭头,选择周转箱拆垛典型参数组

    turnover box getting started vision set param group

    Mech-Eye Viewer软件除了会显示默认的参数组,还会显示推荐使用的典型方案相关的参数组。

  3. 采集图像。

    相机连接成功且设置参数组后,即可开始采集周转箱图像。单击界面上方的 turnover box getting started vision click capture icon 按钮,进行单次图像采集,此时即可查看采集到的周转箱 2D 图像和点云,确保 2D 图像清晰,并确保周转箱点云无缺失、边缘清晰。合格的周转箱 2D 图像和点云分别如下图中左图、右图所示。

    turnover box getting started vision image and cloud
  4. 在Mech-Vision中添加相机。

    单击从相机获取图像步骤,在界面右下角步骤参数中关闭虚拟模式,然后单击选择相机

    turnover box getting started vision select camera

    在弹出的窗口中单击某相机编号右侧的 turnover box getting started vision connect camera before icon 按钮,该按钮变为 turnover box getting started vision connect camera after icon 后,代表相机连接成功。

    turnover box getting started vision connect camera

    相机连接成功后,单击选择参数组,选择对应的标定参数组,如下图所示。

    turnover box getting started vision select param group

    以上设置完成后即可连接真实相机,其他参数保持默认即可,单击“从相机获取图像”步骤右侧的 turnover box getting started vision run step camera icon 按钮运行该步骤,如无报错即表示相机连接成功,并可正确采集图像。

    turnover box getting started vision run step camera

提取周转箱点云

  1. 选中点云预处理及生成边缘点云步骤组合,在界面右下角步骤参数中,单击打开编辑器,打开设置 3D ROI窗口。

    turnover box getting started vision click set 3d roi
  2. 设置 3D ROI窗口中点云显示区域拖动默认生成的 3D ROI 到合适的位置,需保证绿色方框同时满足周转箱堆垛的最高和最低区域,且绿框内不包含其他干扰点云,如下图所示。

    turnover box getting started vision set 3d roi result

使用3D匹配计算周转箱位姿

制作点云模板

制作面点云模板、边缘点云模板的具体方法如下。

制作面点云模板
  1. 生成点云模板。通过相机采集目标物体或背景的深度图以生成点云模板。具体操作可参考 通过相机采集图像生成点云模板

  2. 编辑点云模板。删除干扰点云和其他周转箱点云,只保存一个周转箱点云。具体操作可参考 编辑点云模板

    turnover box getting started vision check surface models
制作边缘点云模板

完成面点云模板的制作后,即可利用面点云模板制作边缘点云模板。

  1. 在资源列表中选中面点云模板,然后单击 turnover box getting started vision generate edge model icon ,使用“3D 方法估计点云边缘”的方式生成周转箱边缘模板。

    turnover box getting started vision generate edge model
  2. 生成的边缘点云模板如下图所示。

    turnover box getting started vision check edge models

双击资源列表中的点云模板文件,可以对其进行重命名。例如,为了便于区分,可将其命名为 Edge_model_1、Surface_model_1。

添加抓取点

点云模板制作完成后,即可为其添加抓取点。

  1. 在资源列表中选中面点云模板,单击 turnover box getting started vision add pose icon ,即可为面点云模板添加抓取点。随后需调整抓取点的位置和方向,尽量保证抓取点在面点云模板的中心位置(如下图中左图所示),且 Z 轴垂直于模板表面(如下图中右图所示)。

    turnover box getting started vision check pick pose
  2. 面点云模板的抓取点添加完成后,在资源列表中右键单击抓取点,然后单击复制

    turnover box getting started vision copy pick pose
  3. 鼠标拖拽复制好的抓取点,将其拖拽至资源列表中的边缘点云模板下方,即可快速为面点云模板添加抓取点。

    turnover box getting started vision add edge pick pose

    如果后续需要调整抓取点,需同时调整边缘点云模板面点云模板的抓取点。

设置“层高”

层高表示最高层区域的高度范围,通过设置最高层物体在竖直方向上的高度范围,该高度范围内的物体位姿将被输出。

turnover box getting started vision set layer hight

若在该高度范围内含有其他层的物体位姿,则需调整层高,使该范围内只包含最高层物体位姿。

turnover box getting started vision explain layer hight

调整周转箱位姿

该步骤组合用于将周转箱位姿从相机坐标系转换至机器人坐标系,位姿朝向调整、位姿排序,以及过滤不合格的位姿。无需对该步骤组合进行参数设置。

输出周转箱位姿

由于周转箱拆垛方案使用路径规划步骤进行路径规划,所以周转箱位姿输入到了路径规划步骤,可单击数据流即可查看相关数据。

turnover box getting started vision output pose

至此,即完成了入门阶段的周转箱识别。

路径规划

周转箱拆垛方案使用路径规划步骤中的路径规划工具进行路径规划,单击路径规划步骤参数中的打开编辑器即可进入路径规划工具

路径规划

路径规划的流程如下图所示。

turnover box getting started viz overall

配置场景物体

设置场景物体的目的是还原真实现场场景,以此来辅助用户规划机器人运动路径。具体操作方法可参考 配置场景物体

配置末端工具

配置末端工具的目的是在三维仿真空间中能够显示末端工具的模型,并用于碰撞检测。具体操作方法可参考 配置末端工具

调整工作流程

工作流程指的是以流程图形式搭建的机器人运动控制程序。场景物体和末端工具配置完成后,即可对工作流程进行调整。

调整“筐上方固定点”
  1. 选中“筐上方固定点1”步骤,在右侧步骤参数处将“路径点表示方式”设置为“关节角”,然后根据实际机器人在料筐上方时的抓取位姿设置关节角。

    turnover box getting started viz set bin up 1
  2. 选中“筐上方固定点2”步骤,在右侧步骤参数处将“路径点表示方式”设置为“关节角”,然后根据实际机器人在料筐上方时的抓取位姿设置关节角。

    turnover box getting started viz set bin up 2

配置碰撞检测

配置碰撞检测用于检测可能发生的碰撞。软件默认检测机器人、末端工具、场景物体之间的碰撞,开启“检查点云碰撞”后将检查输入点云与末端工具之间的碰撞。

配置点云碰撞检测
  1. 单击工具栏碰撞设置,打开“点云碰撞检测配置”窗口。

    turnover box getting started viz click collision
  2. 开启“检查点云碰撞”功能,然后根据实际情况设置相关参数。

    turnover box getting started viz open collision

仿真

单击工具栏中的仿真按钮,即可对搭建完成的Mech-Viz工程进行仿真。

turnover box getting started viz simulation

机器人程序编写

如果仿真运行效果满足预期,即可编写标准接口程序。

机器人端的程序编写可参考 标准接口通信 章节的抓取样例程序和接口程序指令说明。

至此,即完成了入门阶段的路径规划。

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。