対象物の位置姿勢を予測（Sim2Pick）
使用シーン
単一種類の対象物の位置決めと認識に使用されます。通常、このステップの前に 3D ROI内の点群を抽出 ステップをつなぎ、前処理後の対象物の点群を入力するために使用されます。このステップの後に 点群と位置姿勢を表示 ステップをつなぎ、このステップの可視化結果を表示するために使用されます。
|
このステップで出力される対象物の位置姿勢が高い精度を持つためには、前の 3D ROI内の点群を抽出 ステップで設定された3D ROIは、対象物体のみを含み、箱の枠や底部を含まないようにしてください。 |
使用前提
このステップを使用するには、以下の前提条件を確認してください。
グラフィックカード要件
このステップを使用する際には、NVIDIA GTX 1650 TiからRTX 3060 Tiの間（GTX 1650 TiとRTX 3060 Tiを含む）のグラフィックカードを推奨します。
ディープラーニングモデルファイルの取得
Mech-DLK Sim2Pickを使用してディープラーニングモデルをトレーニングします。詳細については、 Mech-DLK Sim2Pickを使用してモデルをトレーニング をご参照ください。
ディープラーニングモデルを取得したら、 ディープラーニングモデルを使用 を参照して、モデルを「対象物の位置姿勢を予測（Sim2Pick）」ステップと組み合わせて使用することができます。
パラメータ説明
サーバー設定
- サーバーIP
-
パラメータ説明：このパラメータは、ディープラーニングサーバーのIPアドレスを設定するために使用されます。パラメータの調整は不要です。
初期値：127.0.0.1
- サーバーポート（1-65535）
-
パラメータ説明：このパラメータは、ディープラーニングサーバーのポート番号を設定するために使用されます。
初期値：60101
調整説明：すべてのポート番号が使用可能で、最大値は65535です。
|
プロジェクトを開いた後、ディープラーニングサーバーが正常に起動するまで、つまりログバーに ディープラーニングサーバーの起動に成功しました という情報が表示されるまで待ってから、プロジェクトを実行する必要があります。 |
推論設定
- 推論モード
-
パラメータ説明：ディープラーニングモデルの推論モードを選択するために使用されます。 オプション：GPU、CPU
-
GPU：GPUを使用してモデルを推論する前に、モデルを最適化し、最適化されたモデルを使用して推論を行います。モデルを初めて最適化する場合、10〜30分かかります。
-
CPU：ディープラーニングモデルの推論にCPUを使用します。GPUと比較して、推論にかかる時間が長くなり、認識精度が低下することがあります。
初期値：GPU
調整説明：推論速度はGPU>CPUです。推論モードを切り替えた後、ディープラーニングサーバーを再起動する必要があります。
モデルの設定
-
- ディープラーニングモデルファイル
-
パラメータ説明：このパラメータは、ディープラーニングモデルファイルのパス（vis_xxx\resource\models）を指定するために使用されます。モデルファイルの拡張子は.onnxとなります。
|
位置姿勢の最適化
以下の2つのオプションがあります。
-
幾何的中心ファイル による位置姿勢を調整：設定された幾何的中心ファイルに基づいて、ディープラーニングによって出力された対象物の位置姿勢を、把持により適した対象物の位置姿勢に調整します。
-
位置姿勢の精確な補正：対象物の点群ファイルに基づいて、対象物の位置姿勢をさらに最適化し、正確な補正を行います。
- 幾何学的中心ファイル
-
パラメータ説明：このパラメータは、対象物の幾何学的中心ファイルのパスを指定するために使用されます。
- 位置姿勢の正確な補正
-
パラメータ説明：このパラメータは、対象物の位置姿勢に対して正確な補正を行うために使用されます。
初期値：チェックを入れない。
調整説明：このパラメータにチェックを入れた後、 対象物の点群ファイル パスを設定する必要があります。位置姿勢の補正と点群の点数に関連しており、少ない点群の点群を含む.plyファイルを使用することを推奨します。後に「3Dマッチング」に関するステップがない場合、このパラメータにチェックを入れることを推奨します。
- 対象物の点群ファイル
-
パラメータ説明：このパラメータは、対象物の点群ファイルを指定するために使用されます。.plyまたは.stl 形式の点群ファイルをサポートしています。
対象物クラスタリング
MeanShift、RegionGrowing、Dbscanの3つのクラスタリング方法があります。詳細は下表の通りです。
クラスタリング方法 |
速度 |
MeanShift |
低 |
RegionGrowing |
高 |
Dbscan |
中 |
|
推論モード が CPU の場合、 RegionGrowing は使用できません。 |
- クラスタリング方法
-
パラメータ説明：このパラメータは、クラスタリング方法を選択するために使用されます。
オプション：MeanShift、RegionGrowing、Dbscan
クラスタリング方法が MeanShift の場合は、以下のパラメータを設定する必要があります。
- クラスタリング帯域幅
-
パラメータ説明：このパラメータは、どのくらいの距離で点をクラスタリングできるかを決定するために使用されます。値が大きいほど、より遠い点が同じクラスターとしてクラスタリングされやすくなります。このパラメータが大きすぎると、2つ以上の対象物が1つの対象物にクラスタリングされる可能性があります。逆に、このパラメータが小さすぎると、、1つの対象物が2つ以上の対象物に分割される可能性があります。
初期値：10
設定可能な範囲：1~100
最小値：2
調整アドバイス：実際の状況に応じて設定してください。
- クラスター点数の下限値
-
パラメータ説明：このパラメータは、クラスター内の点数の最小値を設定するために使用されます。クラスタリングの際、クラスター内の点数がこの下限値より少ない場合、そのクラスターは無視されます。
値の範囲：1~50
初期値：30
調整アドバイス：実際の状況に応じて設定してください。
クラスタリング方法が RegionGrowing の場合は、以下のパラメータを設定する必要があります。
- クラスター点数の下限値
-
パラメータ説明：このパラメータは、クラスター内の点数の最小値を設定するために使用されます。クラスタリングの際、クラスター内の点数がこの下限値より少ない場合、そのクラスターは無視されます。
初期値：30
値の範囲：1~50
調整アドバイス：実際の状況に応じて設定してください。
- クラスタリング半径
-
パラメータ説明：このパラメータは、どのくらいの距離（ミリメートル単位）で点をクラスタリングできるかを決定するために使用されます。値が大きいほど、より遠い点が同じクラスターとしてクラスタリングされやすくなります。このパラメータが大きすぎると、2つ以上の対象物が1つの対象物にクラスタリングされる可能性があります。逆に、このパラメータが小さすぎると、、1つの対象物が2つ以上の対象物に分割される可能性があります。
初期値：0.5mm
値の範囲：0.1~20
最小値：0.4mm
調整アドバイス：実際の状況に応じて設定してください。
- 隣接点数
-
パラメータ説明：クラスタリング半径で、このパラメータは、ある点と最も近い距離に対して、いくつの点が一緒にクラスタリングされるかを決定するために使用されます。
初期値：30
値の範囲：1~200
最小値：10
調整アドバイス：実際の状況に応じて設定してください。
クラスタリング方法が Dbscan の場合は、以下のパラメータを設定する必要があります。
- クラスタリング帯域幅
-
パラメータ説明：このパラメータは、どのくらいの距離で点をクラスタリングできるかを決定するために使用されます。値が大きいほど、より遠い点が同じクラスターとしてクラスタリングされやすくなります。このパラメータが大きすぎると、2つ以上の対象物が1つの対象物にクラスタリングされる可能性があります。逆に、このパラメータが小さすぎると、、1つの対象物が2つ以上の対象物に分割される可能性があります。
初期値：10
設定可能な範囲：1~100
最小値：2
調整アドバイス：実際の状況に応じて設定してください。
- クラスター点数の下限値
-
パラメータ説明：このパラメータは、クラスター内の点数の最小値を設定するために使用されます。クラスタリングの際、クラスター内の点数がこの下限値より少ない場合、そのクラスターは無視されます。
値の範囲：1~50
初期値：30
調整アドバイス：実際の状況に応じて設定してください。
可視化設定
- 有効化
-
パラメータ説明：このパラメータは、対象物のインスタンスを可視化するかどうか、つまり個々の対象物を異なる色で区別するかどうかを選択するために使用されます。
初期値：チェックを入れない。
調整アドバイス：実際の状況に応じて設定してくだい。