工程详解

工程流程

物体放置于料筐之中，为了更准确区分物体在料筐内的相对位置，首先可以通过获取最高层点云的方式得到料筐的位姿。

任意物体吸取工程的视觉流程如下图所示。

该工程截图如下图所示。

相关步骤详解

从相机获取图像

该步骤用于实现 Mech-Vision 与相机的通信。通过此步骤可以获得场景的深度图、彩色图、点云，为后续的视觉计算提供数据。

可参考 从相机获取图像 详细了解该步骤。

点云预处理

对原始点云进行预处理，便于缩短后续步骤的处理时间。在此步骤组合中先用深度图和彩色图生成点云，然后计算点云的法向，删除稀疏点和凹凸点，最后提取感兴趣区域内的点云。

此步骤组合详解请参考：点云预处理 。

点云预处理结果如下图所示。

缩放 2D ROI 内的图像

该步骤用于将图片感兴趣区域缩放至指定尺寸。预测物体位姿的结果很大程度上受感兴趣区域及缩放比例的影响，若想获得较理想的位姿结果，必须调整好感兴趣区域及缩放比例。

关于 ROI 的设置方法可参考 设置 ROI 。

预测料筐位姿

获取料筐的上沿点云进而计算料筐位姿。在此步骤组合中先对点云进行采样以减小点云大小，再根据指定规则进行点云聚类，获取最高层的点云，最后计算平面点云的位姿和尺寸并翻转Z轴后输出料筐的位姿。

料筐位姿如下图所示。

任意物体吸取位姿预测

由于物体种类不定、形状各异，所以使用深度学习方法来预测抓取点，使用的步骤是 预测抓取点（任意物体） 。

输入彩色图、深度图、ROI 参数及料筐位姿后，利用深度学习算法可得到：相机坐标系下的物体可吸取表面位姿（如下图所示）、可吸物体 3D 空间尺寸、可吸物体表面对应的吸盘标签。

注解

输入料筐位姿是为了更准确区分物体在料筐内的相对位置。

该步骤还可以实时显示标记了区域标签的图片，用户在可视化参数中可更改显示类型，方便用户观察所识别的物体。如按吸盘大小显示检测区域，效果如下图所示。

注解

开启可视化会降低工程整体运行速度。

可参考 预测抓取点（任意物体） 详细了解此步骤。