実行ガイド¶
このプロジェクトには、主に次の操作手順が含まれます。
代表的なプロジェクトの新規作成¶
プロジェクトを作成¶
インターフェイスの上部にあるメニューバーで をクリックするか、ツールバーの 代表的なプロジェクトを新規作成 をクリックして以下のような画面に入ります。
小型の非平面形状部品 を選択します。
プロジェクト名を付けて入力します。
をクリックし、プロジェクトフォルダの保存ディレクトリを選択して（空のフォルダを作成することをお薦めします）、 新規プロジェクトを作成 をクリックします。
事前準備¶
カメラキャリブレーション¶
カメラキャリブレーションではカメラのパラメータファイルを生成します。このファイルにはロボットとカメラとの位置関係が記録されています。
ツールバーの カメラキャリブレーション（標準モード） をクリックしてカメラをキャリブレーションします。
また、 をクリックしてカメラをキャリブレーションします。
不明なところがあれば、 カメラキャリブレーションの標準モード をご参照ください。
カメラ設定¶
カメラを使用して画像を取得する前に、実際の状況に応じてカメラIDやパラメータグループ、IPアドレスなどを正確に設定してください。 カメラから画像を取得 を参照してカメラの設定を完了させてください。
2D ROIと3D ROIの設定¶
ステップの組合せ インスタンスセグメンテーション をダブルクリックして中に入った後、 2D ROI内の画像をスケーリング をクリックして2D ROIを設定します。
下図に示すように、2D ROIを設定するのは、画像の関心領域を縮小し、ディープラーニング前処理の効率を向上させるためです。
また、上記と同じ方法でステップの組合せ 点群前処理 の 深度画像を点群に変換 ステップも2D ROIを設定する必要があります。
ステップの組合せ 点群前処理 をダブルクリックして中に入った後、 3D ROI内の点群を取得 ステップをクリックして3D ROIを設定します。
下図に示すように、3D ROIを設定するのは3D空間の関心領域を設定し、元の点群にある対象物の点群を抽出して背景点群と干渉点群を除去するためです。
詳細については、 ROI 設定 を参照して2D ROIと3D ROIの設定を完了させます。
ちなみに
通常、小型の非平面形状部品はランダムに箱に積み重ねられます。3D ROIを設定することで箱と部品を分けることが難しいので、シーンの点群を効率的に除去することはできません。この場合、 静的背景を取得して干渉を除去 により、箱などの背景の干渉情報をより効率的に除去できます。
インスタンスセグメンテーション¶
注釈
既にスーパーモデルがある場合、このステップをスキップし、 インスタンスセグメンテーションのモデルファイルパスとコンフィグファイルパスの設定 を実行してください。
インスタンスセグメンテーションは、カメラが対象物の種類や形状、輪郭を正確に認識するためです。インスタンスセグメンテーションの効果は下図の通りです。
モデルをトレーニングしてモデルトレーニングファイルを取得する場合、 モデルトレーニング をご参照ください。
点群モデルの生成¶
マッチングモデル・把持位置姿勢エディタ を実行して対象物の点群モデルを生成します。それによって、プロジェクト実行時に認識された対象物の点群をこのモデルと対比し、実際の把持位置姿勢を生成します。
マッチングモデルと把持位置姿勢エディタによって生成された位置姿勢は下図に示します。
生成されたモデルファイルはプロジェクトのフォルダに保存されます。
プロジェクト設定¶
プロジェクト設定は、各ステップのモデルに関連パラメータを設定し、前のステップで取得されたコンフィグファイルを対応するステップに追加してプロジェクトの実行に準備します。
インスタンスセグメンテーションのモデルファイルとコンフィグファイルパスを設定¶
インスタンスセグメンテーション をダブルクリックして中に入ります。
この中で インスタンスセグメンテーション をクリックして、画面の右下隅にある「サーバーとモデルの設定」の
をクリックしてモデルファイルを追加します。
3D位置姿勢推定のモデルファイルと幾何学的中心ファイルパスを設定¶
3D位置姿勢推定 をダブルクリックして中に入ります。
下図示すように、この中で 3D位置姿勢低精度推定 をクリックし、画面の右下隅のパラメータリストにある「モデルと把持位置姿勢設定」の
をクリックしてモデルファイルと幾何学的中心ファイルを追加します。
3D位置姿勢高精度推定 の中のモデルファイルと幾何学的中心ファイルパスの設定方法は 3D位置姿勢低精度推定 と同じです。
注釈
下図に示すように、①は点群モデルファイルで、②は幾何学的中心ファイルです。
複数把持位置姿勢ファイルのパスを設定¶
下図に示すように、 複数の把持位置姿勢にマッピング をクリックし、画面の右下隅のパラメータリストにある をクリックして位置姿勢ファイルパスと位置姿勢ラベルファイルを追加します。
注釈
下図に示すように、①は幾何学的中心位置姿勢ファイルで、②は把持位置姿勢ファイルと配置位置姿勢ファイルで、③は位置姿勢ラベルファイルです。
プロジェクトを実行してデバッグ¶
プロジェクト設定完了後、 
をクリックして実行します。
プロジェクトの実行・デバッグ方法については、 プロジェクトを実行してデバッグ をご参照ください。
プロジェクトのアルゴリズムフローとパラメータ調整については、 プロジェクトの詳細な説明 をご参照ください。
プロジェクトデバッグが完了し、かつ正常に実行した後、ユーザーが今後の問題に備えて現場の画像をキャプチャする場合、またはプロジェクトのある段階で効果を改善するために現場でない環境でステップやパラメータを最適化する場合に、 データ保存 と データプレイバック を使用することができます。
データプレイバック を使用する前提：
プロジェクトのファイル（プロジェクト実行時にエラーが発生しないこと）。
2Dカラー画像、深度画像、カメラパラメータファイルなど、プロジェクト実行の全プロセスに取得した現場データ。保存方法は データ保存 をご参照ください。