把持位置姿勢を予測(複数タイプ)

機能

2D画像と3D深度画像に基づいて、画像内の把持可能な対象物を認識して、対応する把持位置姿勢を出力します。

grasp pose estimation grasp pose estimation

使用シーン

このステップは通常、バラ積みされた様々な種類の対象物を仕分けるために使用されます。

入力と出力

grasp pose estimation input and output

グラフィックスカードの要件

このステップを使用する場合、グラフィックスカードがNVIDIA GTX 1650 Ti以上である必要があります。

パラメータの調整説明

サーバー

サーバーIP

初期値:127.0.0.1

調整説明:実際の状況に応じてディープラーニングサーバーIPを設定してください。

サーバーポート(1-65535)

初期値:60052

調整説明:対象物の吸着および対象物の吸着(箱なし)のプロジェクトで、60000~65535のポート番号を使用する必要があります。

稼働距離

最小稼働距離

初期値:0

調整説明:カメラからシーン内の物体までの最短距離(ミリメートル単位)です。箱を使用する場合、このパラメータをカメラの底部から箱の上端までの距離に設定してください。実際のニーズに応じて設定してください。

最大稼働距離

初期値:3000

調整説明:カメラからシーン内の物体までの最長距離(ミリメートル単位)です。箱を使用する場合、このパラメータをカメラの底部から箱の下端までの距離に設定してください。実際のニーズに応じて設定してください。

箱の設定

箱を使用

初期値:チェックを入れない。

調整説明:箱が必要な場合はチェックを入れます。チェックを入れると、このステップの入力ポートに「箱の位置姿勢」が表示されます。下図に示すように、1がチェックを入れる前の状態で、2がチェックを入れた後の状態です。

grasp pose estimation use bin
箱の長さ

初期値:100mm

調整説明:パラメータ 箱を使用 にチェックを入れたら、箱の寸法に従ってこの値を設定する必要があります。

箱の幅

初期値:100mm

調整説明:パラメータ 箱を使用 にチェックを入れたら、箱の寸法に従ってこの値を設定する必要があります。

輪郭検出(自動配置と特殊形状部品)

輪郭検出

初期値:チェックを入れない。

調整説明:対象物の輪郭を検出するために使用されます。チェックを入れたら、下に 特殊形状部品のフィルタリング のパラメータが表示されます。

特殊形状部品のフィルタリング (宅配便小包仕分けに適用可能)

狭すぎる対象物を除去

初期値:チェックを入れない。

調整説明:チェックを入れた後、最小外接長方形の最短辺の長さが設定された「短辺の最小長さ」よりも小さい対象物は狭すぎる対象物と見なされ、無視されます。

短辺の最小長さ

初期値:0

調整説明:このパラメータは 狭すぎる対象物を除去 にチェックを入れた後に表示されます。最小外接長方形の最短辺の長さがこのしきい値よりも小さい対象物は無視されます。この値は現場の実際の状況に応じて設定する必要があります。

調整の例:この値を30に設定すると、実際の長さが30mm未満の対象物は除去されます。下図に示すように、上が除去前、下が除去後です。

grasp pose estimation filter short
長すぎる対象物を除去

初期値:チェックを入れない。

調整説明:チェックを入れた後、最小外接長方形の最長辺の長さが設定された「長辺の最大長さ」よりも大きい対象物は長すぎる対象物と見なされ、無視されます。

長辺の最大長さ

初期値:0

調整説明:このパラメータは 長すぎる対象物を除去 にチェックを入れた後に表示されます。最小外接長方形の最短辺の長さがこのしきい値よりも大きい対象物は無視されます。この値は現場の実際の状況に応じて設定する必要があります。

調整の例:この値を180に設定すると、実際の長さが180mmを超える対象物は除去されます。下図に示すように、上が除去前、下が除去後です。

grasp pose estimation filter long

積み重ねられた対象物の検出

積み重ねられた対象物の検出

初期値:チェックを入れない。

調整説明:積み重ねられた対象物がある場合はチェックを入れます。チェックを入れた後、積み重ねられた対象物が検出され、それらの把持優先度が下げられます。

対象物の最大数

初期値:6

調整説明: 積み重ねられた対象物の検出 にチェックを入れた後に表示されます。これは、積み重ねられた対象物の最大数と見なされます。この値は現場の実際の状況に応じて設定する必要があります。このパラメータがより大きな値に設定されている場合、より多くの対象物が積み重ねられていると見なされ、把持タスクを完了するのが難しくなりますが、対象物を損傷する可能性は低くなります。

調整の例:この値を6に設定すると、最大6つの積み重ねられた対象物が検出されます。下図に示すように、左が積み重ねられた対象物検出前、右が値を6に設定した後の検出結果であり、赤い領域の対象物が検出された積み重ねられた対象物です。

grasp pose estimation detection overlap

吸盤の設定

このパラメータを調整することで、「把持位置姿勢を予測」ステップの吸盤ラベルの出力が決定されます。

grasp pose estimation chuck label
マスクの重さによって割り当てる

初期値:割り当てられない。

オプション:割り当てられない、2つのグループ、3つのグループ。

調整説明:対象物はマスクの最小内接円半径によって異なるグループに割り当てられ、各グループの対象物は異なる吸盤設定を使用します。

重さのしきい値1

初期値:0

調整説明:マスクの最小内接円半径の最初のしきい値です。このしきい値より小さい半径を持つ対象物は、最初のグループに割り当てられます。このしきい値より大きい半径を持つ対象物は、2番目のグループに割り当てられます。

調整の例:下図に示すように、対象物マスクの内接円の半径が20mm未満であることを検出した場合、吸盤ラベルが小と判断します。

grasp pose estimation size paragraph 2
重さのしきい値2

初期値:0

調整説明:マスクの最小内接円半径の2番目のしきい値です。このしきい値より小さい半径を持つ対象物は、2番目のグループに割り当てられます。このしきい値より大きい半径を持つ対象物は、3番目のグループに割り当てられます。

調整の例:下図に示すように、マスクの内接円の半径が40mmを超えることを検出した場合は、吸盤ラベルが大と判断します。マスクの内接円の半径が20mmから40mmの範囲内にあることを検出した場合は、吸盤ラベルが中と判断します。

grasp pose estimation size paragraph 3
マスクのスパンによって割り当てる

初期値:割り当てられない。

オプション:割り当てられない、2つのグループ。

調整説明:対象物はマスクの最小外接長方形の対角線の長さによって異なるグループに割り当てられ、各グループの対象物は異なる吸盤設定を使用します。

マスクのスパンしきい値

初期値:80

調整説明:対象物の最小外接長方形の対角線の長さがこのしきい値より小さい場合は「短」とマークされ、それ以外の場合は「長」とマークされます。

調整の例:下図に示すように、対象物の長さが80mmを超えることを検出した場合は、吸盤ラベルが長と判断し、それ以外は短と判断します。

grasp pose estimation length paragraph 2

可視化設定

有効化

初期値:チェックを入れる。

調整説明:チェックを入れると、選択した項目が可視化で表示されます。

可視化のパラメータ

初期値:最後のスコア。

オプション:最後のスコア、吸盤直径、対象物の高さ、位置姿勢の高さ。

調整説明:可視化する項目を選択するために使用されます。

調整の例:

  • 最後のスコアを選択した場合の出力結果を下図に示します。赤い文字の対象物は、優先把持対象物です。

grasp pose estimation open visualization 1
  • 吸盤直径を選択した場合の出力結果を下図に示します。赤い文字の対象物は、優先把持対象物です。

grasp pose estimation open visualization 2
  • 対象物の高さを選択した場合の出力結果を下図に示します。赤い文字の対象物は、優先把持対象物です。

grasp pose estimation open visualization 3
  • 位置姿勢の高さを選択した場合の出力結果を下図に示します。赤い文字の対象物は、優先把持対象物です。

grasp pose estimation open visualization 4

位置姿勢のソート論理

位置姿勢高さの重み

初期値:3

オプション:1、2、3

吸盤のサイズの重み

初期値:1

オプション:0、1、2、3

対象物の長さの重み

初期値:1

オプション:0、1、2、3

調整説明:位置姿勢高さ、吸盤のサイズ、対象物の長さの重みを設定した後、最終スコアは位置姿勢高さ×位置姿勢高さの重み+吸盤のサイズ×吸盤のサイズの重み+対象物の長さ×対象物の長さの重みになります。ロボットは、最終スコアに応じて最も高いスコアを持つ対象物を把持します。