点群モデルを生成

点群モデルは、対象物全体、または対象物の局所(最高層の対象物表面の点群、エッジ点群など)のみを表示できます。適切な点群モデルは、次の3つの要件を満たす必要があります。

  1. ノイズが少ないまたはまったくない高品質な点群を含めます。

  2. 適切な数を持つ、かつ均等に分布している点群を含めます。

  3. 対象物特徴の反映に対応可能です。

マッチングモデル・把持位置姿勢エディタでは、次のいずれの方法で点群モデルを生成できます。

カメラで画像をキャプチャして点群モデルを生成

カメラを使用して対象物または背景の深度画像を取得することにより、点群モデルを生成します。

ヒント

既に開かれたプロジェクトには カメラから画像を取得 ステップが含まれている必要があり、このステップのパラメータでカメラ設定が構成されている場合のみ、この機能を使用できます。

実際のカメラと仮想カメラを使用する場合、必要な操作は同じではありません。

実際カメラを使用する場合

実際のカメラを使って画像を取得して点群モデルを生成する場合、対象物と背景を別々に簡単に撮影できるかどうかによって、操作手順が異なります。詳細な紹介は以下の通りです。

  • 対象物と背景を別々に取得しやすいため、小型平面形状の部品の把持など、対象物が軽い場合に適しています。

    1. ティーチング方法による把持位置姿勢を追加していない場合は、1つの対象物をカメラの視野内(箱内)に配置します。ティーチング方法による把持位置姿勢を追加した場合は、対象物が移動しないように注意してください。そうでなければ、ティーチング方法による把持位置姿勢を再度追加してください。

      ../../../../../_images/capture_image_03.png
    2. ツールバーの icon1 をクリックし、画像取得の画面に入った後、「背景を除去」にチェックを入れます。

      ../../../../../_images/capture_image_02.png
    3. 対象物を取得 をクリックし、対象物の深度画像を取得して、 次のステップへ をクリックします。

      ../../../../../_images/capture_image_04.png
    4. カメラ視野内の対象物を取り除き、背景のみを残します。箱から把持する場合は、箱内の対象物を取り除き、箱を残します。

      ../../../../../_images/capture_image_05.png
    5. 背景を取得 をクリックし、背景深度画像を取得して、 次のステップへ をクリックします。

      ../../../../../_images/capture_image_06.png
    6. 背景を除去 をクリックすると対象物の点群モデルが表示されます。

      ../../../../../_images/capture_image_07.png
    7. 点数のしきい値 を調整:

      このしきい値は、背景の除去によって得られた深度画像のノイズを除去するために使用されます。値が大きいほど、より多くのノイズが除去されます。

      • 対象物の点群が不完全な場合は、このパラメータを適切に下げます。

      • 背景の点群が多すぎる場合は、このパラメータを適切に上げます。

    8. モデルを生成 をクリックして、生成された点群モデルが可視化エリアおよび左側の モデルファイル リストに表示されます。

      ../../../../../_images/capture_image_08.png

      ヒント

      モデルファイル リストの点群モデル名をダブルクリックすれば、モデル名を変更できます。

      画像の光の変化などにより、生成された点群モデルには不要な点が含まれていることがあります。これは、 点群モデルを編集 する場合に調整できます。

      ヒント

      リンクをクリックしたユーザーは、ブラウザの「戻る」ボタンをクリックして「ティーチングによる把持位置姿勢を追加」に戻って残りの操作手順を読みます。

  • 対象物と背景を別々に取得しにくいため、ホイールハブの組立などの対象物が重い場合に適しています。

    1. ティーチング方法による把持位置姿勢を追加していない場合は、1つの対象物をカメラの視野内に配置します。ティーチング方法による把持位置姿勢を追加した場合は、対象物が移動されないように注意してください。そうでなければ、ティーチング方法による把持位置姿勢を再度追加してください。

    2. ツールバーの icon1 をクリックし、画像取得の画面に入ります。

      ../../../../../_images/capture_image_01.png
    3. 対象物を取得 をクリックし、 モデルを生成 をクリックして点群モデルを生成します。

仮想カメラを使用する場合

仮想カメラを使用する場合、現場で画像を取得できないため、事前に画像をご用意ください。

ちなみに

背景深度画像には、対象物が完全に含まれている必要はなく、対象物の深度画像と1つの対象物だけ異なる必要があります。例えば、下図の左側を背景深度画像として使用でき、右側を対象物の深度画像として使用できます。

../../../../../_images/capture_image_09.png
  1. Mech-Visionのプロジェクト編集エリアで、ステップ カメラから画像を取得 を選択し、右側のパラメータバーで以下の設定を行います。

    • 画像データパス に、深度画像が格納されているフォルダの上の階層のフォルダを選択します。設定について詳細な説明は、 カメラから画像を取得 をご参照ください。

    • プレイモードすべて繰り返し に設定します。

  2. メニューバーの ツールキット ‣ マッチングモデル・把持位置姿勢エディタ をクリックし、マッチングモデル・把持位置姿勢エディタを開きます。次に、ツールバーの icon1 をクリックし、画像取得画面に入ります。

    注釈

    通常、事前に保存された画像は実際の把持中に取得されるため、n番目の画像の対象物はn+1番目の画像の対象物よりも1つ多くなります。したがって、最初に対象物の深度画像を読み取り、次の画像を背景深度画像として使用することをお勧めします。

  3. その後の操作は、上記の 実際カメラを使用する場合 の操作とほぼ同じです。キャプチャボタンをクリックするたびに、フォルダ内の画像が順番に読み取られ、表示される深度画像が要件を満たすまでこの操作を繰り返します。

CADファイルをインポートして点群モデルを生成

対象物のCADモデルファイルがすでに存在する場合は、そのファイルをマッチングモデル・把持位置姿勢エディタにインポートし、このファイルに基づいて点群モデルを生成できます。

ヒント

現在、stl形式のCADファイルのインポートのみに対応します。

  1. ツールバーの icon3 をクリックし、必要なCADファイルを選択して「開く」をクリックします。

  2. ポップアップウィンドウでモデル単位を選択します。

    ../../../../../_images/import_cad_file_01.png
  3. インポートしたCADファイルは、左側の CADファイル リストに表示されます。

    ../../../../../_images/import_cad_file_02.png

    ヒント

    一度に1つだけのCADファイルをインポートできます。複数のCADファイルをインポートする必要がある場合は、手順1~2を繰り返してください。

  4. CADファイル リストでモデルを生成する必要があるモデルファイルを選択し、ツールバーの icon4 または icon5 をクリックして、点群モデルを生成します。

    • icon4:モデルの完全な外部表面の点群を生成します。

      クリック後、ポップアップウィンドウで点群のダウンサンプリング間隔を調整し、 確認 をクリックして点群モデルを生成します。

      ../../../../../_images/import_cad_file_03.png
    • icon5:現在の視点で可視部分の点群を生成します。

      下図では、左側が点群を生成したときの視点で、右側が生成された点群です。左側の視点での非表示部分は、対応する点群を生成していません。

      ../../../../../_images/import_cad_file_04.png

      ヒント

      点群モデルが生成されている場合、 icon4 および icon5 は使用できない場合があります。

      この時点で、画面の任意場所をクリックして CADファイル リストのファイルのチェックを外し、再度選択すれば、上記のボタンが使用可能な状態に復元されます。


ヒント

上記の方法で点群モデルを生成することに加えて、ツールバーの icon2 を通じて既存のply形式の点群ファイルをインポートすることもできます。

点群モデルが生成後、必要に応じて以下の操作を行います。

  • リスト内のすべてのファイルを保存するには、メニューの ファイル ‣ 保存 をクリックするか、ショートカット Ctrl + S を押します。

    ヒント

    ファイルの保存ディレクトリは、プロジェクトディレクトリ¥resource¥model_editorです。

  • 点群モデルを削除するには、モデルファイルリストで削除するモデルを右クリックし、ポップアップされるメニューで 削除 をクリックします。

  • ファイルを非表示にするには、ファイル名の右側にある EyeIcon をクリックすると可視化エリアでこのファイルが非表示され、もう一度クリックすると表示されます。

  • 境界ボックスを表示するには、リストでファイルを選択した後、 CADファイル リストの下部にある 境界ボックスを表示 にチェックを入れます。

  • 点群の表示色を変更するには、モデルファイルリストで点群モデルを選択した後、リストの下に 点群の色 の右側にある白い長方形をダブルクリックして、ポップアップウィンドウで点群の表示色を変更します。

ヒント

インポートしたカラー点群の表示色は変更できません。


次に、実際の使用要件を満たすために 点群モデルを編集 することができます。