抓取偏置策略

本章主要包含以下内容:

单分区方形吸盘偏置策略

单分区方形吸盘偏置计算是基于点云碰撞检查和抠除被抓物体点云两个功能组合实现的,需要视觉结果中包含点云及箱子尺寸的相关信息。

在实际抓取中可以根据需要选择多种不同的偏置策略。

按照吸盘与箱子组的“相对位置”关系

中心优先

边角偏置优先

只有边角偏置

按照吸盘与箱子组的“相对方向”关系

吸盘长边方向平行于箱子组长边方向

吸盘长边方向平行组合方向

吸盘长边方向平行于箱子组长边方向时偏置策略

참고

以下所有图示中,黄色为箱子,灰色为吸盘。

场景 1:

箱子与吸盘尺寸关系

箱子长边 > 箱子短边 > 吸盘长边 > 吸盘短边 或 箱子长边 > 吸盘长边 > 箱子短边 > 吸盘短边

图示

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/box_and_suction_cup_1.png

所有实际抓取位置

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/actual_picking_position_1.png

偏置策略

任意策略

场景 2:

箱子与吸盘尺寸关系

吸盘长边 > 吸盘短边 > 箱子长边 > 箱子短边

图示

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/box_and_suction_cup_2.png

抓取位置 1

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/actual_picking_position_2_1.png

抓取位置 2

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/actual_picking_position_2_2.png

偏置策略

中心优先:抓取顺序为 位置 1 ‣ 位置 2

边角偏置优先:抓取顺序为 位置 2 ‣ 位置 1

场景 3:

箱子与吸盘尺寸关系

吸盘长边 > 箱子长边 > 吸盘短边 > 箱子短边

图示

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/box_and_suction_cup_3.png

抓取位置 1

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/actual_picking_position_3_1.png

抓取位置 2

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/actual_picking_position_3_2.png

抓取位置 3

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/actual_picking_position_3_3.png

偏置策略

中心优先:抓取顺序为 位置 1 ‣ 位置 2 ‣ 位置 3

如果吸盘短边和箱子长边比值小于 0.25,则抓取顺序为 位置 1 ‣ 位置 2

边角偏置优先:抓取顺序为 位置 3 ‣ 位置 2 ‣ 位置 1

如果吸盘短边和箱子长边比值小于 0.25,则抓取顺序为 位置 2 ‣ 位置 1

场景 4:

箱子与吸盘尺寸关系

吸盘长边 > 箱子长边 > 箱子短边 > 吸盘短边

图示

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/actual_picking_position_4_1.png

抓取位置 1

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/actual_picking_position_4_1.png

抓取位置 2

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/actual_picking_position_4_2.png

偏置策略

中心优先:抓取顺序为 位置 1 ‣ 位置 2

边角偏置优先:抓取顺序为 位置 2 ‣ 位置 1

场景 5:

箱子与吸盘尺寸关系

箱子长边 > 吸盘长边 > 吸盘短边 > 箱子短边

图示

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/box_and_suction_cup_5.png

抓取位置 1

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/actual_picking_position_5_1.png

抓取位置 2

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/actual_picking_position_5_2.png

偏置策略

中心优先:抓取顺序为 位置 1 ‣ 位置 2

边角偏置优先:抓取顺序为 位置 2 ‣ 位置 1

吸盘长边方向平行于组合方向时偏置策略

참고

以下所有图示中,橙色为箱子,灰色为吸盘。

场景 1:

箱子与吸盘尺寸关系

箱子长边 > 箱子短边 > 吸盘长边 > 吸盘短边 或 箱子长边 > 吸盘长边 > 箱子短边 > 吸盘短边

沿箱子 X 方向组合

图示

icon_1

抓取位置

icon_1

沿箱子 Y 方向组合

图示

icon_2

抓取位置

icon_2

偏置策略:

任意策略。

场景 2:

箱子与吸盘尺寸关系

吸盘长边 > 吸盘短边 > 箱子长边 > 箱子短边 或 吸盘长边 > 箱子长边 > 吸盘短边 > 箱子短边

沿箱子 X 方向组合

图示

icon_3

抓取位置 1

icon_3

抓取位置 2

icon_5

沿箱子 Y 方向组合

图示

icon_4

抓取位置 1

icon_4

抓取位置 2

icon_6

偏置策略:

中心优先:抓取顺序为 位置 1 ‣ 位置 2

边角偏置优先:抓取顺序为 位置 2 ‣ 位置 1

场景 3:

箱子与吸盘尺寸关系

吸盘长边 > 箱子长边 > 箱子短边 > 吸盘短边

沿箱子 X 方向组合

图示

icon_7

抓取位置 1

icon_7

抓取位置 2

icon_9

沿箱子 Y 方向组合

图示

icon_8

抓取位置 1

icon_8

抓取位置 2

icon_10

偏置策略:

中心优先:抓取顺序为 位置 1 ‣ 位置 2

边角偏置优先:抓取顺序为 位置 2 ‣ 位置 1

场景 4:

箱子与吸盘尺寸关系

箱子长边 > 吸盘长边 > 吸盘短边 > 箱子短边

沿箱子 X 方向组合

图示

icon_11

抓取位置 1

icon_11

抓取位置 2

icon_13

沿箱子 Y 方向组合

图示

icon_12

抓取位置 1

icon_12

抓取位置 2

icon_14

偏置策略:

中心优先:抓取顺序为 位置 1 ‣ 位置 2

边角偏置优先:抓取顺序为 位置 2 ‣ 位置 1

多分区平行吸盘偏置策略

平行多分区吸盘的偏置策略与单分区方形吸盘不同,只有一种模式,不可切换,且完全依赖视觉服务提供的视觉结果和箱子尺寸(不依赖点云)。如果箱子未识别或尺寸识别错误,则无法进行正确的偏置。

类比方形吸盘的偏置策略,平行分区吸盘的偏置策略可以总结为: 边角 + 吸盘长边平行于箱子组合方向 的偏置模式。 不过与方形吸盘不同,因为平行分区吸盘内部存在分区,在进行偏置计算时,吸盘内部分区的每一个边角也会被用来做偏置计算。

以四分区吸盘抓取箱子为例,进行偏置。黄色为箱子,灰色为吸盘,如下图所示。

偏置策略 :边角 + 吸盘长边平行于箱子组合方向

实际抓取位置 :共 12 个,如下图所示:

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/picking_position_12.png

平行分区吸盘支持各分区独立控制。在实际抓取过程中,即使吸盘的部分分区覆盖了非目标箱子,只要不开该部分吸盘,就不会抓取非目标箱子。

吸盘抓取 A、B 箱子组成的箱子组时,吸盘分区的开启情况:

MechViz\WorkFlow\Vision\vision_move\OffsetStrategy\img/suction_cup_partition.png