ビジョンプロジェクトの設定

現在ご覧いただいているのは未リリースのバージョンです(V2.0.0)。異なるバージョンを参照する場合は、画面右上のボタンから切り替えが可能です。

■ ご利用中のバージョンが分からない場合はお気軽にサポート窓口までご連絡ください。

ロボット通信設定 節でソリューションライブラリを使用して「整列して並べられたワークの供給」ソリューションを作成しました。

以下では、プロジェクトの構築手順を確認し、ステップパラメータの調整とプロジェクト実装により、ワークの位置姿勢を取得してビジョン結果を出力します。

動画:ビジョンプロジェクトの設定

プロジェクトの構築手順

Mech-Visionソフトウェアを使用してビジョンプロジェクトの設定を行います。ビジョンプロジェクトの設定手順を下図に示します。

project workflow

各段階の説明は下表の通りです。

階段 使用されるソフトウェア 説明

カメラを接続して画像を取得

Mech-Vision

Mech-Visionの「カメラから画像を取得」ステップを使用してカメラを接続し、画像を取得します。

ワーク認識

Mech-Vision

Mech-Visionの「ワーク認識」ステップを使用して、画像データに対して一連のビジョン処理(点群前処理、3Dマッチングなど)を行い、ワークの迅速な認識を実現します。

位置姿勢を調整

Mech-Vision

Mech-Visionの「位置姿勢を一括調整(V2)」ステップを使用して、「ワーク認識」ステップから出力された位置姿勢に対して座標系変換、調整、ソート、フィルタリングなどを行います。

ロボット動作経路を計画

Mech-Vision

Mech-Visionの「経路計画設定ツール」を使用して、前のステップで調整されたワークの位置姿勢に基づき、衝突のないロボット動作経路を動的に計画します。

計画された経路を出力

Mech-Vision

ロボット(本ガイドでは使用)またはPLCから送信された標準インターフェースコマンドを受信すると、Mech-Visionの「出力」ステップが計画された衝突のないロボット動作経路を返します。
ロボット通信設定とMech-Visionプロジェクトの設定が完了した後、Mech-Visionは各実行後に計画された経路を出力できます。
ロボット側では、Mech-Visionプロジェクトをトリガーし、Mech-Visionの出力された計画経路を取得するための標準インターフェースコマンドを実装する必要があります。詳細については、「把持と配置を実行」をご参照ください。

ステップパラメータの調整

以下では、パラメータの調整について説明します。

「整列して並べられたワークの供給」ソリューションの 「Vis_Target_Objects_Recognition 」プロジェクトを例として説明します。

カメラから画像を取得

ステップ名

カメラから画像を取得

段階

カメラを接続して画像を取得

説明図

acquire images from camera

説明

実際のカメラを接続し、関連するパラメータを設定して、カメラが正常に画像を取得できるようにします。

  1. Mech-Visionのプロジェクト編集エリアで、カメラから画像を取得 ステップを選択し、画面右下隅のステップパラメータ タブで カメラを選択 をクリックします。

    select camera
  2. ポップアップウィンドウで カメラとキャリブレーションパラメータグループを選択 ウィンドウが表示され、カメラ番号の右側にある image アイコンをクリックします。このアイコンが image アイコンに変わると、カメラの接続が成功したことを示します。

    connect camera

    カメラを接続した後、パラメータグループを選択 をクリックし、ETH/EIHおよび日付のついたキャリブレーションパラメータグループを選択します。

    select calibration parameter group
    ここで選択するキャリブレーションパラメータグループは、ハンド・アイ・キャリブレーションが完了した後に生成されたパラメータグループです。
  3. カメラを接続してキャリブレーションパラメータグループを設定すると、カメラのキャリブレーションパラメータグループ、IPアドレス、ポートなどのパラメータが自動的に取得されます。設定パラメータグループ が「反射する物体」に設定されていることを確認してください。

    camera other parameters
    • カメラから画像を取得 ステップのシングル実行ボタンをクリックして画像取得をトリガーし、ステップの「カメラの深度画像」と「カメラカラー画像」データフローの線をダブルクリックし、デバッグ結果出力 ウィンドウで正常にカメラから画像が取得できたかどうかを確認します。

      double click data flow line

デバッグ結果出力 に深度画像とカラー画像が正常に表示されていれば、Mech-Visionが実際のカメラに正常に接続され、画像を正常に取得できることを示しています。

ワーク認識

ステップ名

ワーク認識

段階

ワーク認識

説明図

target object recognition

説明

点群前処理パラメータを設定し、ワークライブラリでワークモデルを作成してワークを選択し、認識パラメータを設定し、出力ポートを設定する必要があります。

「ワーク認識」ステップでは、組み込みの可視化ワーク認識設定ツールを提供しており、3つの手順で簡単にワークの位置姿勢を認識することができます。

overall recognition configuration process

ワーク認識設定ツールを開くには、以下のいずれかの方法を使用します。

  • プロジェクト編集エリアで、ステップ上にある 設定ツール をクリックします。

  • ステップパラメータ タブで 設定ツールを開く をクリックします。

点群前処理

取得された画像データを点群に変換し、有効な点群認識領域を設定します。その後、エッジ点群を検出し、要件を満たしていない点群を除去して、認識効率を向上させます。

この手順では、有効な認識領域を設定し、干渉要素を除去して認識効率を向上させる必要があります。認識領域を設定する際、その範囲にはトレイとトレイ上のワークが含まれるようにし、トレイの配置位置に小幅な変動が生じる影響に対応するために、20〜30ミリ程度の余裕を持たせます。

set 3d roi

通常、他の前処理パラメータは初期値のままで問題ありません。シーンに多くのノイズが存在する場合は、関連パラメータを調整してください。詳細については、点群前処理 をご参照ください。

パラメータの調整が完了した後、前処理結果をプレビュー の下の ステップを実行 をクリックして、可視化領域で前処理結果が要件を満たしているか確認することができます。

ワークの選択と認識

  • このソリューションでは、3Dマッチングを使用してワークを認識します。3Dマッチングとは、対象物のモデル点群をシーン内の物体点群にフィットさせ、シーン内の物体の位置姿勢を算出するプロセスです。3Dマッチングを使用して認識する場合、最初にワークのモデル(点群モデルまたは点群マッチングモデルとも呼ばれます)を作成する必要があります。

  • パラメータの調整が完了した後、実行結果を表示 の下の ステップを実行 をクリックして、可視化領域で認識結果が要件を満たしているか確認することができます。

ワークのモデルを作成

本ガイドでは、ティーチング方法による把持位置姿勢を設定し、カメラで点群を取得して点群モデル生成 し、ワークの点群マッチングモデルを作成します。

ユーザーがシミュレーションのみを行う場合、以下の位置姿勢をティーチング法で設定した把持点の位置姿勢として使用できます。

  • ロボットのフランジ位置姿勢:779.490mm, 123.010mm, 290.560mm, -17.63°, -0.29°, -179.54°

  • TCP:0.000mm, 0.000mm, 200.000mm, 0.000°, 0.000°, 0.000°

把持点の位置姿勢を設定する際に、「オイラー角」を選択して姿勢を表します。

注意事項:

  • モデル作成時にティーチング方法を使用する場合、出力されるマッチング位置姿勢とモデルの角度の差をできるだけ小さくする必要があります。ワークライブラリの モデルを編集 タブの点群モデル設定 エリアで、点群モデルを設定 を有効にし、誤マッチング回避 パラメータを「マッチングに失敗する可能性のある位置姿勢を自動的に計算」に設定します。

    auto calculate failure poses

ワークモデルの作成が完了したら、ワークライブラリを閉じてワーク認識設定ツールの画面に戻り、ワークを更新 ボタンをクリックします。このソリューションのワークライブラリにワークモデルが1つしかない場合、ツールは自動的にそのワークモデルを選択します。複数のワークモデルがある場合、使用したいワークモデルを選択してください。

select object model

マッチングパラメータを設定

  1. ワーク認識 エリアでは、「マッチングモード」の マッチングモードを自動的に設定 パラメータを有効にします。

  2. 上級モード を有効にし、追加の高精度マッチング を有効にします。

  3. 誤マッチング回避のパラメータ設定を行います。「位置姿勢を調整」を「マッチングに失敗する可能性のある位置姿勢をフィルタリング」に設定し、範囲を45°に設定します。これにより、モデルの角度偏差が45°を超えるマッチング位置姿勢が除去されます。

  4. 信頼度しきい値を調整します。信頼度しきい値 を0.6に設定して、誤ったマッチング結果を除去します。

  5. 実際の状況に応じて 出力結果の最大数 を設定します。例えば10に設定します。経路計画の要件を満たす範囲で、出力数を最小限に抑え、マッチングにかかる時間を短縮します。

    set matching parameters
出力ポートを設定

その後の経路計画と衝突検出の要件に応じて、以下の出力ポートを選択します。

  • 対象物中心点に関するポート

  • ワークのラベル

  • 前処理後の点群

set output ports

位置姿勢を一括調整(V2)

ステップ名

位置姿勢を一括調整(V2)

段階

位置姿勢を調整

説明図

adjust poses

説明

パラメータを設定して位置姿勢変換、調整、ソート、フィルタリングを実行する必要があります。

ワークの位置姿勢を取得した後、位置姿勢を調整する必要があります。処理フローは以下の通りです。

adjust poses process

Mech-Visionには位置姿勢編集ツールが組み込まれています。このツールを使用して対象物の位置姿勢の調整と把持順序の最適化を簡単に行うことができます。位置姿勢編集ツールを開くには、以下のいずれかの方法を使用します。

  • プロジェクト編集エリアで、ステップ上にある 設定ツール をクリックします。

  • ステップパラメータ タブで 設定ツールを開く をクリックします。

以下の手順に従ってパラメータを調整してください。

  1. 位置姿勢を変換:「座標系設定」の下の 位置姿勢をロボット座標系に変換 にチェックを入れ、位置姿勢をカメラ座標系からロボット座標系に変換します。

    adjust reference frame
  2. 位置姿勢を調整:「位置姿勢調整」の下の 方向調整 を「自動合わせ」に設定し、適用シーンZ軸方向合わせ を選択します。この操作により、位置姿勢のZ軸方向が可能な限りロボット座標系のZ軸正方向と一致するように調整されます。

    adjust pose direction
  3. 位置姿勢をソート位置姿勢処理ルール タブで、「ソート方法」を「平面上のZ形状でソート」に設定します。

    sort poses
  4. 角度によるフィルタリング位置姿勢処理ルール タブで、位置姿勢のZ軸方向に基づき、明らかに把持できない位置姿勢を除去し、経路計画設定ツールの経路計画にかかる時間を減らします。

    filter poses
  5. ROI外の位置姿勢を除去位置姿勢処理ルール タブで、ROI(関心領域)を設定し、位置姿勢がROI内にあるかを判断し、ROI内の位置姿勢のみを保持します。

    ここでは、ROI(3d_roi)はロボット座標系に基づいて設定されます。誤ったフィルタリングを避けるため、実際の外部パラメータに基づいてROIを再設定する必要があります。
    set 3d roi

経路計画

このソリューションでは、Mech-Visionの経路計画設定ツールを使用して、計画された経路を取得します。標準インターフェース通信方式を使用する際、3Dビジョンシステムによるワークの把持・配置を実行するために、ロボット側でいくつかの設定が必要です。詳細については、「把持と配置を実行」をご参照ください。

出力

ステップ名

出力

段階

計画された経路を出力

説明図

procedure out

説明

ロボット経路をロボットに出力するには、ポートを切り替える必要があります。

ポートタイプ を「事前定義済み(ロボット経路)」に設定します。

set output to robot path

これで、ビジョンプロジェクトの設定は完了しました。

Mech-Mindは、お客様のプライバシーを重視しています

このサイトでは最高の体験を提供するために Cookie を使用しています。サイトの閲覧を続ける場合、Cookie の使用に同意したことになります。「拒否する」を選択すると、このサイトを訪れた際に追跡や記憶が行われないように単独の Cookie が使用されます。