点群モデルを生成

点群モデルは、対象物全体、または対象物の局所(最高層の対象物表面の点群、エッジ点群など)のみを表示できます。適切な点群モデルは、次の3つの要件を満たす必要があります。

  1. ノイズが少ないまたはまったくない高品質な点群を含めます。

  2. 適切な数を持つ、かつ均等に分布している点群を含めます。

  3. 対象物特徴の反映に対応可能です。

マッチングモデル・把持位置姿勢エディタでは、次のいずれの方法で点群モデルを生成できます。

カメラで画像をキャプチャして点群モデルを生成

カメラを使用して対象物または背景の深度画像を取得することにより、点群モデルを生成します。

ヒント

既に開かれたプロジェクトには カメラから画像を取得 ステップが含まれている必要があり、このステップのパラメータでカメラ設定が構成されている場合のみ、この機能を使用できます。

実際のカメラと仮想カメラを使用する場合、必要な操作は同じではありません。

実際カメラを使用する場合

実際のカメラを使って画像を取得して点群モデルを生成する場合、対象物と背景を別々に簡単に撮影できるかどうかによって、操作手順が異なります。詳細な紹介は以下の通りです。

対象物と背景を別々に取得しやすい場合

小型平面形状の部品の把持など、対象物が軽い場合に適しています。

  1. ティーチング方法による把持位置姿勢を追加していない場合は、1つの対象物をカメラの視野内(箱内)に配置します。ティーチング方法による把持位置姿勢を追加した場合は、対象物が移動しないように注意してください。そうでなければ、ティーチング方法による把持位置姿勢を再度追加してください。

  2. このツールの初期画面で 点群を取得 をクリックして、表示される画面で 点群を取得 をクリックします。

    ../../../../../_images/generate_point_cloud_model_1.png
  3. その後、実際の状況に応じて エッジ点群を使用 にチェックを入れるかどうかを選択します。 対象物を取得 をクリックし、対象物の深度画像を取得します。

    ../../../../../_images/generate_point_cloud_model_2.png
  4. 取得後、対象物の深度画像は下図のようになります。背景を除去するには、 背景を除去 をクリックします。

    ../../../../../_images/generate_point_cloud_model_3.png
  5. この場合、対象物をカメラの視野外に移動させてから、 背景を取得 をクリックして背景を取得します。

    ../../../../../_images/generate_point_cloud_model_4.png
  6. 背景取得後の画像を下図のようになります。 次へ をクリックします。

    ../../../../../_images/generate_point_cloud_model_5.png
  7. この画面で 背景を除去 をクリックすると、背景除去後の対象物が表示されます。

    ../../../../../_images/generate_point_cloud_model_6.png

    完了 をクリックすると、対象物がマッチングモデル・把持位置姿勢エディタにインポートされます。

    ../../../../../_images/generate_point_cloud_model_7.png

ヒント

点数しきい値 は、背景の除去によって得られた深度画像のノイズを除去するために使用されます。値が大きいほど、より多くのノイズが除去されます。

  • 対象物の点群が不完全な場合は、このパラメータを適切に下げます。

  • 背景の点群が多すぎる場合は、このパラメータを適切に上げます。

ヒント

モデルファイル リストの点群モデル名をダブルクリックすれば、モデル名を変更できます。

画像の光の変化などにより、生成された点群モデルには不要な点が含まれていることがあります。これは、 点群モデルを編集 する場合に調整できます。

ヒント

リンクをクリックしたユーザーは、ブラウザの「戻る」ボタンをクリックして「ティーチングによる把持位置姿勢を追加」に戻って残りの操作手順を読みます。

対象物と背景を別々に取得しにくい場合

ホイールハブの組立などの対象物が重い場合に適しています。

  1. ティーチング方法による把持位置姿勢を追加していない場合は、1つの対象物をカメラの視野内に配置します。ティーチング方法による把持位置姿勢を追加した場合は、対象物が移動されないように注意してください。そうでなければ、ティーチング方法による把持位置姿勢を再度追加してください。

  2. このツールの初期画面で 点群を取得 をクリックして、表示される画面で 点群を取得 をクリックします。

    ../../../../../_images/generate_point_cloud_model_1.png
  3. 対象物を取得 をクリックし、 完了 をクリックすると、対象物の点群モデルが生成されます。

仮想カメラを使用する場合

仮想カメラを使用する場合、現場で画像を取得できないため、事前に画像をご用意ください。

ちなみに

背景深度画像には、対象物が完全に含まれている必要はなく、対象物の深度画像と1つの対象物だけ異なる必要があります。

通常、事前に保存された画像は実際の把持中に取得されるものであるため、n番目の画像の対象物はn+1番目の画像の対象物よりも1つ多くなります。したがって、最初に対象物の深度画像を読み取り、次の画像を背景深度画像として使用することをお勧めします。

  1. Mech-Visionのプロジェクト編集エリアで、ステップ カメラから画像を取得 を選択し、右側のパラメータバーで以下の設定を行います。

    • 画像データパス に、深度画像が格納されているフォルダの上の階層のフォルダを選択します。設定について詳細な説明は、 カメラから画像を取得 をご参照ください。

    • プレイモードすべて繰り返し に設定します。

  2. メニューバーの ツールキット ‣ マッチングモデル・把持位置姿勢エディタ をクリックし、マッチングモデル・把持位置姿勢エディタを開きます。

  3. このツールの初期画面で 点群を取得 をクリックして、表示される画面で 点群を取得 をクリックします。すると、画像取得画面が表示されます。

    ../../../../../_images/generate_point_cloud_model_1.png
  4. その後の操作は、上記の 実際カメラを使用する場合 の操作とほぼ同じです。 対象物を再取得 ボタンをクリックするたびに、フォルダ内の画像が順番に読み取られ、表示される深度画像が要件を満たすまでこの操作を繰り返します。

CADファイルをインポートして点群モデルを生成

対象物のCADモデルファイルがすでに存在する場合は、そのファイルをマッチングモデル・把持位置姿勢エディタにインポートし、このファイルに基づいて点群モデルを生成できます。

ヒント

現在、stl形式のCADファイルのインポートのみに対応します。

  1. このツールの初期画面で CADファイルをインポート ボタンをクリックして、表示される画面でCADファイルを選択して 開く をクリックします。

    ../../../../../_images/import_cad_0.png
  2. ポップアップウィンドウでモデル単位を選択します。

    ../../../../../_images/import_cad_1.png
  3. インポートしたCADファイルは、左側の CADファイル リストに表示されます。

    ../../../../../_images/import_cad_2.png

    ヒント

    一度に1つだけのCADファイルをインポートできます。複数のCADファイルをインポートする必要がある場合は、手順1~2を繰り返してください。

  4. CADファイル リストでモデル生成が必なモデルファイルを選択し、ツールバーの icon_10 または icon_11 をクリックすると、点群モデルが生成されます。

    • icon_10:モデルの完全な外部表面の点群を生成します。

      クリック後、ポップアップウィンドウで点群のダウンサンプリング間隔を調整し、 確認 をクリックして点群モデルを生成します。

      ../../../../../_images/import_cad_file_03.png
    • icon_11:現在の視点で可視部分の点群を生成します。

      下図では、左側が点群を生成したときの視点で、右側が生成された点群です。左側の視点での非表示部分は、対応する点群を生成していません。

      ../../../../../_images/import_cad_file_04.png

      ヒント

      点群モデルが生成されている場合、 icon_10 および icon_11 は使用できない場合があります。

      この時点で、画面の任意場所をクリックして CADファイル リストのファイルのチェックを外し、再度選択すれば、上記のボタンが使用可能な状態に復元されます。


ヒント

上記の方法で点群モデルを生成することに加えて、初期画面の 点群をインポート ボタンを通じて既存のply形式の点群ファイルをインポートすることもできます。

点群モデルが生成後、必要に応じて以下の操作を行います。

  • リスト内のすべてのファイルを保存するには、メニューの ファイル ‣ 保存 をクリックするか、ショートカット Ctrl + S を押します。

    ヒント

    ファイルの保存ディレクトリは、プロジェクトディレクトリ¥resource¥model_editorです。

    ヒント

    ツールウィンドウを閉じると、ファイルが保存されているかどうかに関係なく、保存するかどうかを確認するポップアップ ウィンドウが表示されます。

  • 点群モデルを削除するには、モデルファイルリストで削除するモデルを右クリックし、ポップアップされるメニューで 削除 をクリックします。

  • ファイルを非表示にするには、ファイル名の右側にある icon_0 をクリックすると可視化エリアでこのファイルが非表示され、もう一度クリックすると表示されます。

  • 境界ボックスを表示するには、リストでファイルを選択した後、 CADファイル リストの下部にある 境界ボックスを表示 にチェックを入れます。

  • 点群の表示色を変更するには、モデルファイルリストで点群モデルを選択した後、リストの下に 点群の色 の右側にある白い長方形をダブルクリックして、ポップアップウィンドウで点群の表示色を変更します。

ヒント

インポートしたカラー点群の表示色は変更できません。


次に、実際の使用要件を満たすために 点群モデルを編集 することができます。