预测抓取点概率分布

预测抓取点概率分布适用于抓取未知物体的场景,输入深度图和彩色图,使用深度学习算法区分图像中“可抓”和“不可抓”的特征,并预测成功抓取的概率,输出含有概率图的图像。 其组成如图1 所示。

预测抓取点概率分布步骤组合

图1 预测抓取点概率分布步骤组合

各个步骤的作用如下:

  1. 图像ROI缩放 输入原始的深度图和彩色图,截取感兴趣区域,并缩放至后续深度学习所需的图片尺寸,输出处理后的彩色图和深度图。

  2. 预测每个像素的可抓取概率 输入上一步的结果,利用深度学习算法,计算以每个像素作为末端执行器中心去抓取物体成功的概率,得到预测的抓取概率图。像素颜色从蓝到红代表概率从低到高,既红色区域为模型所预测出来的可抓区域,将用于后续抓取点的计算。

  3. 图像ROI缩放还原 输入上一步骤的结果和原始彩色图,将被缩放的抓取概率图还原至原始图片尺寸,得到图片列表。

  4. 获取第一张图像 获取第一张抓取概率图对应的图像。