任意物体吸取（无料筐）工程详解

此工程适用于物体未放置在料筐中的场景。

Mech-Vision工程流程

由于物体种类不定、形状各异，没有匹配的模板，所以使用深度学习方法来预测抓取点。

任意物体吸取（无料筐）工程的流程如图1所示。

图1 任意物体吸取（无料筐）工程流程

图2为该工程截图。

图2 工程截图

相关步骤详解

从相机获取图像

该步骤用于实现与相机的通信。通过此步骤可以获得场景的深度图、彩色图、点云，为后续的视觉计算提供数据。

此步骤详解请参考：从相机获取图像 。

缩放2D ROI 内的图像

该步骤用于将图片感兴趣区域缩放至指定尺寸。预测物体位姿的结果很大程度上受感兴趣区域及缩放比例的影响，若想获得较理想的位姿结果，必须调整好感兴趣区域及缩放比例。

此步骤详解请参考：深度学习部署ROI设置 。

任意物体抓取位姿预测

由于物体种类不定、形状各异，所以使用深度学习方法来预测抓取点。 运行此步骤前需在该步骤属性中加载经过深度学习训练后的模型文件、配置文件、位姿估计模型文件、压叠检测模型文件与配置文件。

输入彩色图、深度图、ROI参数后，利用深度学习算法可得到：相机坐标系下的物体可吸取表面位姿（如图3所示）、可吸物体3D空间尺寸、可吸物体表面对应的吸盘标签。

图3 抓取位姿预测结果

该步骤还可以实时显示标记了区域标签的图片，方便用户观察所识别的物体。 按吸盘大小显示检测区域的图片如图4所示。 用户在可视化属性中可更改显示类型。

注解

开启可视化会降低工程整体运行速度。

图4 按吸盘大小显示

位姿变换&输出

将得到的位姿列表从相机坐标系转换到机器人坐标系（步骤详解请参考：位姿变换 ），之后将机器人坐标系下的位姿列表发送到数据接口（步骤详解请参考：输出）。