机器人3D视觉引导解决方案介绍
什么是机器人3D视觉引导解决方案？
机器人3D视觉引导解决方案是集成了梅卡曼德传感感知、视觉理解和路径规划等技术的完整解决方案，旨在解决机器人在复杂、未知或动态环境中面临的挑战。
该解决方案提供了丰富的应用场景，例如3D视觉引导工件上料、拆码垛、定位装配和货品拣选，广泛应用于汽车、物流、商超、重工等领域。
该解决方案的部署是将梅卡曼德视觉系统集成到机器人系统中，构建一个完整的3D视觉引导应用，实现3D视觉引导机器人完成智能作业的目的。
关于部署该解决方案所需的软件以及配套的版本，请参见3D视觉引导方案的推荐软件版本组合。
3D视觉引导应用组成
一个典型的3D视觉引导应用通常由机器人、相机、工控机和梅卡曼德软件组成，如下图所示。
机器人
机器人是一种经过编程的、具有一定自主性的机械装置，可以执行移动、操作或定位等任务。在梅卡曼德视觉系统中，它们按照视觉系统输出的结果执行智能化任务。
|
相机
指梅卡曼德研制的Mech-Eye工业级3D相机（以下简称“相机”），用于采集物体的图像与位置信息。
工控机
指为梅卡曼德软件提供运行环境的计算机设备。
你可以使用梅卡曼德提供的标准工控机（推荐），或者使用自有设备作为工控机。更多关于工控机的信息，请参考工控机选型。
梅卡曼德软件
梅卡曼德软件基于相机采集的图像和位置信息进行视觉处理，输出物体的位置、姿态以及规划的机器人的运动路径，以引导机器人完成智能化任务，如抓取、拆码垛、涂胶、分拣等。不同的梅卡曼德软件提供的功能不同，详见下文的梅卡曼德软件简介。
|
本文中，由梅卡曼德提供的相机、工控机和梅卡曼德软件统称梅卡曼德视觉系统。 |
梅卡曼德软件简介
梅卡曼德视觉系统主要包含如下软件：
-
Mech-Eye Viewer
Mech-Eye Viewer允许用户根据目标物体的特性调节相机的参数，从而简单快速地获得高质量的2D图、深度图及点云。
-
Mech-Vision
Mech-Vision机器视觉软件通过完全图形化的界面，无须编写代码即可完成无序物体抓取、高精度定位、装配、工业检测/测量、自动生成路径等先进的机器视觉应用。
该软件基于现场采集的图像数据，进行一系列的视觉算法处理，最终输出视觉结果（例如目标物体的位置和朝向）。该软件还支持对视觉结果进行简单的路径规划，并输出机器人的抓取路径。
-
Mech-Viz
Mech-Viz机器人编程软件使用Mech-Vision提供的点云及工件位置信息，智能规划机器人路径，适用于复杂的抓取、搬运、码放等应用场景。
该软件支持以可视化方式搭建机器人的抓取流程，并提供3D仿真功能，以便在机器人实际操作前进行验证操作。该软件已适配国内外众多主流品牌机器人。
-
Mech-DLK
Mech-DLK机器视觉深度学习软件，内置多种业界领先的深度学习算法，能够解决很多传统机器视觉无法处理的问题，如高难度的分割、定位、分类问题等。
该软件提供了直观简易的交互界面，用户无需编程，也无需掌握专业的深度学习知识，即可快速实现模型训练与验证。
-
视觉系统通信组件
视觉系统通信组件为视觉系统提供软件间的数据交换，并支持与机器人、PLC和上位机等外部设备进行标准化和定制化的通信，从而实现视觉引导机器人的智能生产。
梅卡曼德各软件之间的关系如下图所示。
与机器人系统的集成
梅卡曼德视觉系统提供对外通信接口，支持与机器人、PLC和上位机等机器人系统中的设备进行通信集成。这使得视觉系统能够返回视觉结果或规划的机器人抓取路径（Mech-Vision或Mech-Viz）供机器人侧使用。
梅卡曼德视觉系统支持如下通信方式：
-
主控通信
在该方式下，视觉系统拥有对机器人的控制权，即视觉系统作为主站（master）设备，机器人作为从站（slave）设备。视觉系统向机器人发送运动或者IO指令，机器人持续监听并执行这些指令。视觉系统将控制机器人按照规划的路径执行相应的任务，例如工件上料或拆码垛。
使用该方式时，需要烧录主控程序到机器人上，或通过机器人的SDK（Software Development Kit）获取对机器人的控制权。该方式仅支持视觉系统与机器人之间的通信。
-
接口通信
在该方式下，机器人侧拥有机器人的控制权，即机器人侧作为主站设备，视觉系统作为从站设备。机器人侧和视觉系统采用同一标准通信协议进行通信，由机器人侧发送请求，视觉系统处理后返回响应（目标物体的位姿和标签信息）。根据请求的不同，视觉系统将返回视觉结果或规划的抓取路径。机器人根据视觉系统返回的响应做进一步决策或执行相应的任务。
使用该方式时，需要编写机器人接口程序（用于同视觉系统通信）以及机器人抓取程序（用于接收视觉系统返回的数据以及控制机器人执行任务），并将程序烧录到机器人上。该方式支持视觉系统与机器人、PLC和上位机的通信。
更多关于通信方式的介绍，请参见通信概述。