実行ガイド

このプロジェクトには、主に次の操作手順が含まれます。

../../../../../_images/overall_process1.png

代表的なプロジェクトの新規作成

プロジェクトを作成

インターフェイスの上部にあるメニューバーで 代表的な応用 ‣ 代表的なプロジェクトを新規作成 をクリックするか、ツールバーの 代表的なプロジェクトを新規作成 をクリックして以下のような画面に入ります。

../../../../../_images/select_scene_3.png
  1. 積み重ねられた平面形状部品 を選択します。

  2. プロジェクト名を付けて入力します。

  3. icon_selectfilepath_deploymentguidance をクリックし、プロジェクトフォルダの保存ディレクトリを選択して(空のフォルダを作成することをお薦めします)、 新規プロジェクトを作成 をクリックします。

事前準備

カメラキャリブレーション

カメラキャリブレーションではカメラのパラメータファイルを生成します。このファイルにはロボットとカメラとの位置関係が記録されています。

ツールバーの カメラキャリブレーション(標準モード) をクリックしてカメラをキャリブレーションします。

../../../../../_images/standard_calibration1.png

もしくは、 カメラヘルパー ‣ カメラキャリブレーション ‣ 標準モード をクリックしてカメラをキャリブレーションします。

../../../../../_images/standard_calibration_11.png

不明なところがあれば、 カメラキャリブレーションの標準モード をご参照ください。

カメラ設定

カメラを使用して画像を取得する前に、実際の状況に応じてカメラIDやパラメータグループ、IPアドレスなどを正確に設定してください。 カメラから画像を取得 を参照してカメラの設定を完了させてください。

../../../../../_images/camera_configuration1.png

2D ROIと3D ROIの設定

ステップの組合せ インスタンスセグメンテーション をダブルクリックして中に入った後、 2D ROI内の画像をスケーリング をクリックして2D ROIを設定します。

下図に示すように、2D ROIを設定するのは、画像の関心領域を縮小し、ディープラーニング前処理の効率を向上させるためです。

../../../../../_images/2d_roi1.gif

また、上記と同じ方法でステップの組合せ 点群前処理深度画像を点群に変換 ステップも2D ROIを設定する必要があります。

ステップの組合せ 点群前処理 をダブルクリックして中に入った後、 3D ROI内の点群を取得 ステップをクリックして3D ROIを設定します。

下図に示すように、3D ROIを設定するのは3D空間の関心領域を設定し、元の点群にある対象物の点群を抽出して背景点群と干渉点群を除去するためです。

../../../../../_images/3d_roi1.gif

詳細については、 ROI 設定 を参照して2D ROIと3D ROIの設定を完了させます。

インスタンスセグメンテーション

注釈

既にスーパーモデルがある場合、このステップをスキップし、 インスタンスセグメンテーションのモデルファイルパスとコンフィグファイルパスの設定 を実行してください。

インスタンスセグメンテーションは、カメラが対象物の種類や形状、輪郭を正確に認識するためです。インスタンスセグメンテーションの効果は下図の通りです。

../../../../../_images/segmentation_contrast1.png

モデルをトレーニングしてモデルトレーニングファイルを取得する場合、 モデルトレーニング をご参照ください。

点群モデルの生成

マッチングモデル・把持位置姿勢エディタ を実行して対象物の点群モデルを生成します。それによって、プロジェクト実行時に認識された対象物の点群をこのモデルと対比し、実際の把持位置姿勢を生成します。

マッチングモデル・把持位置姿勢エディタによって生成された点群モデルと把持位置姿勢は下図に示します。

../../../../../_images/generate_point_cloud_model_and_pick_point1.png

下図に示すように、①は生成された積み重ねられた平面形状部品の点群モデル、②はダウンサンプリング結果、③は追加された把持位置姿勢です。

生成されたモデルファイルはプロジェクトのファルダに保存されます。

プロジェクト設定

プロジェクト設定は、各ステップのモデルに関連パラメータを設定し、前のステップで取得されたコンフィグファイルを対応するステップに追加してプロジェクトの実行に準備します。

インスタンスセグメンテーションのモデルファイルとコンフィグファイルパスを設定

  • インスタンスセグメンテーション をダブルクリックして中に入ります。

  • この中でステップ インスタンスセグメンテーション をクリックし、ページの右下隅にある「サーバー&モデルの設定」の icon_selectmodel をクリックしてモデルファイルを追加します。

../../../../../_images/add_model_file1.png

3D位置姿勢推定のモデルファイルと幾何学的中心ファイルパスを設定

  • 3D位置姿勢推定 をダブルクリックして中に入ります。

  • この中で 3D位置姿勢低精度推定 をクリックし、画面の右下隅のパラメータリストにある「モデルと把持位置姿勢設定」の icon_selectmodel をクリックしてモデルファイルと幾何学的中心ファイルを追加します。

../../../../../_images/add_template_file1.png
  • 3D位置姿勢高精度推定 の中のモデルファイルと幾何学的中心ファイルパスの設定方法は 3D位置姿勢低精度推定 と同じです。

注釈

下図に示すように、①は点群モデルファイルで、②は幾何学的中心ファイルです。

../../../../../_images/document_describing11.png

複数把持位置姿勢ファイルのパスを設定

複数の把持位置姿勢にマッピング をクリックして、ページの右下隅のパラメータリストにある icon_selectmodel をクリックして位置姿勢ファイルパスと位置姿勢ラベルファイルを追加します。

../../../../../_images/multi_capture_points1.png

注釈

下図に示すように、①は幾何学的中心位置姿勢ファイルで、②は把持位置姿勢ファイルと配置位置姿勢ファイルで、③は位置姿勢ラベルファイルです。

../../../../../_images/document_describing21.png

プロジェクトを実行してデバッグ

プロジェクト設定完了後、 icon_run_button をクリックして実行します。


プロジェクトデバッグが完了し、かつ正常に実行した後、ユーザーが今後の問題に備えて現場の画像をキャプチャする場合、またはプロジェクトのある段階で効果を改善するために現場でない環境でステップやパラメータを最適化する場合に、 データ保存データプレイバック を使用することができます。

データプレイバック を使用する前提:

  1. プロジェクトのファイル(プロジェクト実行時にエラーが発生しないこと)。

  2. 2Dカラー画像、深度画像、カメラパラメータファイルなど、プロジェクト実行の全プロセスに取得した現場データ。保存方法は データ保存 をご参照ください。