プロジェクトの構築手順¶

本節では、プロジェクトの構築手順と方法について説明し、簡単な部品供給プロジェクトを作成します。

このプロジェクトでは、マッチングアルゴリズムを用いて部品の把持位置姿勢の計算を実現します。

プロジェクトの構造¶

このプロジェクトは、カメラから画像を取得、点群生成、点群の法線ベクトルを計算、点群の大まかなマッチング、点群の精確なマッチング、位置姿勢の変換および出力で構成されます。

../../../_images/project_framework_01.png

その中で、対象物の把持位置姿勢を取得することを目的とした3D位置姿勢推定は、プロジェクトのコア部分となります。

プロジェクトを新規作成して保存¶

詳細については、プロジェクトを新規作成して保存をご参照ください。

ステップを追加¶

プロジェクトの構造を理解してプロジェクトを作成したら、ステップを追加してプロジェクトの構築を行うことができます。

ヒント

プロジェクトを作成した後、左側のステップライブラリから必要なステップを選択し、マウスの左ボタンを押したままステップをプロジェクト編集エリアにドラッグすると、ステップの追加が完了します。

まずはカメラをトリガーして撮影し、カラー画像と深度画像を取得します。ステップカメラから画像を取得を追加します。

注意

このステップを追加する前に、カメラが取り付けられ、産業用コンピュータに接続されていることおよび画像取得テストとロボットのハンド・アイ・キャリブレーションが完了していることを確認してください。

このステップを追加したら、ステップを選択し、ステップパラメータをクリックして、ステップパラメータの画面でカメラタイプ、カメラID、キャリブレーションパラメータグループを選択し、IPアドレスを入力します。
続いてカメラで取得した深度画像を点群データに変換します。ステップ深度画像を点群に変換を追加します。

このステップをカメラから画像を取得ステップの後に配置します。カメラから画像を取得ステップの「カメラ深度画像」の出力ポートを、深度画像を点群に変換ステップの「カメラ深度画像」の入力ポートにつなぎます。この2つのステップの「カメラカラー画像」の入力・出力ポートを、このような方法でつなぎます。このステップのパラメータ設定は不要です。

上図のような状態になると、深度画像を点群に変換ステップの追加と必要なデータの入力設定は完了しました。

ヒント

ステップのつなぎ方はドラッグアンドドロップで行います。出力したいものをドラッグして入力したい箇所にドロップします。

注意

同じデータ型の入力・出力ポートをつなぐことができます。例えば、Image/Depthの出力ポートはImage/Depthの入力ポートのみをつなぐことができます。異なるタイプの入力・出力ポートをつなぐとデータ型が異なるためエラーが発生します。

このステップが追加された後、不要な点群の干渉を減らし、後続のステップの処理時間を短縮するために、2D関心領域を選択する必要があります。

このステップを選択し、ステップパラメータをクリックして 2D ROIを設定をクリックします。クリック後、表示される画面で2D ROIの設定を行います。設定方法については、 ROI 設定をご参照ください。
次に法線ベクトルの計算を行います。ステップ点群の法線ベクトルを計算してフィルタリングを追加します。このステップにより、入力点群内の各点の法線ベクトルを計算し、位置情報のみを含む点群データを法線ベクトル付きの点群データに変換することができます。

このステップを深度画像を点群に変換ステップの後に配置します。深度画像を点群に変換ステップの「点群」出力ポートを、点群の法線ベクトルを計算してフィルタリングステップの「点群」入力ポートにつなぎます。

法線ベクトル付きの点群を取得したら、点群マッチングを行います。 3D位置姿勢低精度推定と 3D位置姿勢高精度推定ステップを使用します。
これから、点群の大まかなマッチングを行います。ステップ 3D位置姿勢低精度推定を追加します。このステップにより、事前に作成した点群モデルを入力の法線ベクトル付きの点群と大まかにマッチングすることができます。また、マッチング結果が得られた後、マッチングした位置に従って対象物の幾何学的中心または把持位置姿勢が生成されます。

このステップを点群の法線ベクトルを計算してフィルタリングステップの後に配置します。点群の法線ベクトルを計算してフィルタリングステップの「法線ベクトル付きの点群」出力ポートを、 3D位置姿勢低精度推定ステップの「法線ベクトル付きの点群」入力ポートにつなぎます。

その後、事前に作成したモデルファイルと幾何学中心的ファイルをインポートします。

3D位置姿勢低精度推定ステップを選択し、ステップパラメータをクリックしてをクリックします。モデルファイルと幾何学中心的ファイルを選択してインポートします。

ヒント

モデルファイルと幾何学中心的ファイルの作成方法については、マッチングモデル・把持位置姿勢エディタをご参照ください。
続いて精確なマッチングを行います。ステップ 3D位置姿勢高精度推定を追加します。このステップにより、 3D位置姿勢低精度推定で得られたマッチング結果をより精確なマッチング計算を実行することでより高精度なマッチング結果を取得し、高精度の幾何学的中心または把持位置姿勢を生成できます。

このステップを 3D位置姿勢低精度推定ステップの後に配置します。点群の法線ベクトルを計算してフィルタリングステップの「法線ベクトル付きの点群」出力ポートを 3D位置姿勢高精度推定ステップの「法線ベクトル付きの点群」入力ポートにつなぎ、 3D位置姿勢低精度推定ステップの「大まかな候補位置姿勢」出力ポートを 3D位置姿勢高精度推定ステップの「大まかな候補位置姿勢」入力ポートにつなぎます。

3D位置姿勢高精度推定により精確な位置姿勢を取得したあと、位置姿勢の変換を行います。

ヒント

3D位置姿勢低精度推定ステップと同じ方法で、モデルファイルと幾何学中心的ファイルを 3D位置姿勢高精度推定ステップに追加します。
さらに、位置姿勢の座標系を変換します。ステップ位置姿勢を変換を追加します。このステップにより、入力されたカメラ座標系での位置姿勢をロボット座標系に変換することができます。

このステップを 3D位置姿勢高精度推定ステップの後に配置します。3D位置姿勢高精度推定ステップの「把持位置姿勢」出力ポートを、位置姿勢を変換ステップの「元の位置姿勢」入力ポートにつなぎます。このステップのパラメータ設定は不要です。
最後にデータの送信を行います。ステップ出力を追加します。このステップにより、データをMech-Centerに送信して、後でMech-Centerからデータを使用するソフトウェアとハードウェアに送信します。
このステップを位置姿勢を変換の後に配置します。位置姿勢を変換ステップの「変換後の位置姿勢」出力ポートを、出力ステップの「Abstract Poses」入力ポートにつなぎます。それで、このポート名は「PoseList poses」になります。つなぐ前とつないだ後の効果はそれぞれ下図の①と②に示します。

これで、簡単なマッチングプロジェクトの構築は完了しました。メニューバーでファイル ‣ プロジェクトを保存をクリックするか、ショートカットキー Ctrl + S を押してプロジェクトを保存することができます。
ちなみに

ステップが追加された後、データ転送関係をより直感的にするために、ステップのレイアウトを調整できます。以下の3つの方法があります。
- マウスの左ボタンでステップを選択し、ステップを移動してステップを直接配置します。
- プロジェクト編集エリアで任意場所を右クリックし、表示されたルメニューから自動レイアウトをクリックします。
- ショートカットキー Alt + Shift + F で自動レイアウトも実現できます。