プロジェクトの詳細な説明¶
応用シーン¶
小型の非平面形状部品プロジェクトでは、数が多い、体積が小さい部品を対象物とします。部品は特徴が多いものの、積み重ねが発生するので、特徴の認識に影響が出ます。また、正面と裏面があるので、平面形状部品プロジェクトと異なる方法で処理します。
プロジェクトの構築¶
部品の数が多いため、積み重ねが発生することがあります。したがって、ディープラーニングによりインスタンスセグメンテーションと3D位置姿勢推定を行う必要があります。プロジェクトの処理流れを下図に示します。
視覚処理の流れと手順の詳しい解説¶
プロジェクト画面を下図に示します。以下では、各部分について詳しく説明します。
点群前処理¶
小型の曲面形状部品プロジェクトでは、深度画像とカラー画像を使用して点群画像を生成し、点群による部品の3D位置姿勢推定のために点群に対して法線ベクトル計算、フィルタリング、ROI設定を行います。その結果を下図に示します。詳細については、 点群前処理 をご参照ください。
インスタンスセグメンテーション¶
小型の非平面形状部品プロジェクトでは、 ディープラーニングモデルパッケージを推論（CPU） ステップを使用して対象部品に対してインスタンスセグメンテーションを行い、部品の平面投影を取得してからマスクを生成します。それにより、その後の部品の点群生成を準備します。その結果を下図に示します。
点数が制限を超えた点群を除去¶
生成された部品の点群に対してフィルタリングを行い、3D位置姿勢推定に影響が出る点群を除去することで、位置姿勢推定の精度を高めます。その結果を下図に示します。詳細については、 点の数が制限を超える点群を除外 をご参照ください。
3D位置姿勢推定¶
点群に対してフィルタリングを行った後、部品に対して3D位置姿勢推定を行うことで、把持位置姿勢を取得します。その3D位置姿勢推定の結果を下図に示します。詳細については、 3D位置姿勢推定 をご参照ください。
把持位置姿勢をソート¶
把持位置姿勢を確認した後、把持位置姿勢に対して座標系変換、ソート、複数把持位置姿勢のマッピングなどを行う必要があります。詳細については、 把持位置姿勢をソート をご参照ください。