段ボール箱の認識
本ガイドを読む前に、ハンド・アイ・キャリブレーション を参照し、同じ種類の段ボール箱 を使用してMech-Visionプロジェクトを作成する必要があります。
まず、プロジェクトの構築手順を確認し、ステップパラメータの調整とプロジェクト実装により、段ボール箱の位置姿勢を取得してビジョン結果を出力します。
動画：段ボール箱の認識
|
プロジェクトの構築手順
プロジェクトに使用するステップ・ステップの組合せと機能は下表のどおりです。
| 番号 | ステップ/ステップの組合せ | サンプル図 | 機能 |
|---|---|---|---|
1 |
カメラから画像を取得 |
|
カメラを接続して段ボール箱の画像を取得します。 |
2 |
点群前処理・最高層マスクを取得 |
|
段ボール箱の点群前処理を行い、最高層の箱のマスクを取得します。 |
3 |
ディープラーニングによる単一箱のマスクを取得 |
|
入力された最高層の箱のマスクを使用し、ディープラーニングによるこの領域内の単一箱のマスクを取得します。これにより、単一箱のマスクを使用して、それが対応する点群を取得することを容易にします。 |
4 |
箱の位置姿勢を計算 |
|
箱の位置姿勢を取得し、入力された寸法情報に基づいて結果を確認または調整します。 |
5 |
位置姿勢を一括調整（V2） |
|
箱の位置姿勢の座標系変換を行い、複数箱の位置姿勢を行または行でソートします。 |
6 |
出力 |
|
ロボット把持のための箱の位置姿勢を出力します。 |
パラメータの調整説明
以下では、パラメータの調整について説明します。
カメラから画像を取得
同じ種類の段ボール箱 プロジェクトには仮想データが組み込まれているため、カメラから画像を取得 ステップのパラメータで仮想モードを終了し、カメラ実機に接続する必要があります。
-
カメラから画像を取得 ステップをクリックして選択し、ステップパラメータで 仮想モード をオフにして、カメラを選択 をクリックします。
-
表示される画面でカメラIDの右側にある
をクリックすると、カメラの接続は完了です。カメラが正常に接続された場合、 は 
に変わります。
カメラ接続後、パラメータグループを選択します。パラメータグループを選択 をクリックして、ETH/EIHと日付のあるキャリブレーション済みのパラメータグループを選択します。
-
カメラを接続し、パラメータグループを設定すると、キャリブレーションパラメータグループ、IPアドレス、ポートなどのパラメータが自動的に入力されます。それ以外のパラメータ設定は不要です。
これで、カメラは正常に接続されています。
点群前処理・最高層マスクを取得
最高層の箱以外の箱を把持することによるロボットと他の箱との衝突を避けるために、このステップ組合せにより、最高層の箱を取得し、ロボットが最高層の箱を優先的に把持させる必要があります。
ディープラーニングによる単一箱のマスクを取得
最高層の箱の認識が完了した後、ディープラーニングによる各箱の認識に進みます。
-
ディープラーニングによる単一箱のマスクを取得 ステップの組合せでは、パラメータから エディタを開く をクリックして ROI設定 画面を開きます。
-
ROI設定 画面で2D ROIを設定します。ROIは最上層の箱を囲み、3分の1の適切な余白が必要です。
-
本ガイドで使用されているソリューショには、様々な段ボール箱に適応可能なインスタンスセグメンテーションのモデルが組み込まれています。このステップの組合せを実行すると、下図のような各箱のマスクが取得されます。
|
結果が要件を満たさない場合は、2D ROIを再設定する必要があります。 |
箱の位置姿勢を計算
各箱の点群を取得した後、箱の位置姿勢の計算が可能になります。また、ビジョン処理による認識の精度を確保するために、箱の寸法を入力します。
箱の位置姿勢を計算 ステップの組合せは、箱の位置姿勢と寸法を計算するために使用されます。ステップパラメータの設定は不要です。