プロジェクトの詳細な説明¶
適用シーン¶
積み重ねられた平面形状部品のプロジェクトは、特徴が少ない、主に部品のエッジ数が多い、積み重ねられやすい、正面と裏面の区別がないなどの特徴を持つ対象物に対応します。
プロジェクトの構築¶
上記によると、このプロジェクトで扱う部品は数が多く、積み重ねられやすい、特徴は主にエッジに集中するので、インスタンスセグメンテーションを実行した後に部品のエッジ部分の点群のみを抽出して3D位置姿勢推定を行います。それによって、部品の無駄な特徴の干渉を減少することができます。プロジェクトの処理流れを下図に示します。
視覚処理の流れと手順の詳しい解説¶
プロジェクト画面を下図に示します。以下では、各部分について詳しく紹介します。
点群前処理¶
積み重ねられた平面形状部品のプロジェクトでは、深度画像とカラー画像から点群画像を生成し、点群に対して法線ベクトル計算、フィルタリング、ROI設定を行うことで、その後の点群による3Dエッジ抽出に備えます。その結果を下図に示します。詳細については、 点群前処理 をご参照ください。
インスタンスセグメンテーション¶
積み重ねられた平面形状部品のプロジェクトでは、 ディープラーニングモデルパッケージを推論（CPU） ステップを使用して対象部品に対してインスタンスセグメンテーションを行い、部品の平面投影を取得してからマスクを生成します。それにより、その後の部品の点群生成を準備します。その結果を下図に示します。
点数が制限を超えた点群を除去¶
生成した部品の点群に対してフィルタリングを行い、3D位置姿勢推定に影響を与える点群を除去することで、位置姿勢推定の精度を高めます。その結果を下図に示します。詳細については、 点の数が制限を超える点群を除外 をご参照ください。
3D位置姿勢推定¶
点群に対してフィルタリングを行った後、部品に対して3D位置姿勢推定を行うことで、把持位置姿勢を取得します。その3D位置姿勢推定の結果を下図に示します。詳細については、 3D位置姿勢推定 をご参照ください。
把持位置姿勢をソート¶
把持位置姿勢を確認した後、把持位置姿勢に対して座標系転換、ソート、複数把持位置姿勢のマッピングなどを行う必要があります。詳細については、 把持位置姿勢をソート をご参照ください。