工程详解

工程流程

由于物体种类不定、形状各异，没有匹配的模板，所以使用深度学习方法来预测抓取点。

任意物体吸取（无料筐）工程的流程如下图所示。

该工程截图如下图所示。

相关步骤详解

从相机获取图像

该步骤用于实现 Mech-Vision 与相机的通信。通过此步骤可以获得场景的深度图、彩色图、点云，为后续的视觉计算提供数据。

可参考 从相机获取图像 详细了解此步骤。

缩放 2D ROI 内的图像

该步骤用于将图片感兴趣区域缩放至指定尺寸。预测物体位姿的结果很大程度上受感兴趣区域及缩放比例的影响，若想获得较理想的位姿结果，必须调整好感兴趣区域及缩放比例。

关于 ROI 的设置方法可参考 设置 ROI 。

任意物体吸取位姿预测

由于物体种类不定、形状各异，所以使用深度学习方法来预测抓取点，使用的步骤是 预测抓取点（任意物体） 。

输入彩色图、深度图、ROI 参数后，利用深度学习算法可得到：相机坐标系下的物体可吸取表面位姿（如下图所示）、可吸物体 3D 空间尺寸、可吸物体表面对应的吸盘标签。

该步骤还可以实时显示标记了区域标签的图片，用户在可视化参数中可更改显示类型，方便用户观察所识别的物体。如按吸盘大小显示检测区域，效果如下图所示。

注解

开启可视化会降低工程整体运行速度。

可参考 预测抓取点（任意物体） 详细了解此步骤。