段ボール箱の認識

「同じ種類の段ボール箱」プロジェクトには仮想データが組み込まれているため、「カメラから画像を取得」のステップパラメータで仮想モードを終了し、カメラ実機に接続する必要があります。

これで、カメラの接続が完了しました。

最高層の箱以外の箱を把持することによるロボットと他の箱との衝突を避けるために、このステップ組合せにより、最高層の箱を取得し、ロボットが最高層の箱を優先的に把持させる必要があります。

このステップ組合せでは、3D ROIと層の高さの設定が必要です。

最高層の箱の認識が完了した後、ディープラーニングによる各箱の認識に進みます。

本ガイドで使用されているソリューショには、様々な段ボール箱に適応可能なインスタンスセグメンテーションのモデルが組み込まれています。このステップの組合せを実行すると、下図のような各箱のマスクが取得されます。

各箱の点群を取得した後、箱の位置姿勢の計算が可能になります。また、ビジョン処理による認識の精度を確保するために、箱の寸法を入力します。

「箱の位置姿勢を計算」ステップの組合せでは、X、Y、Z軸における長さを箱の寸法の誤差許容範囲を設定します。

箱の位置姿勢を取得した後、ロボットが正常に把持できるように、ワークの位置姿勢をカメラ座標系からロボット座標系に変換する必要があります。

また、このステップの組合せにより、位置姿勢を行または列でソートし、ロボットの順次把持を実現できます。

正確な位置姿勢を取得した後、プロジェクトの結果をバックグラウンドに送信するための「出力」のステップが必要です。

これで、段ボール箱を認識するためのプロジェクトの設定が完了です。