ビジョンプロジェクトの設定

現在ご覧いただいているのは未リリースのバージョンです(V2.1.0)。異なるバージョンを参照する場合は、画面右上のボタンから切り替えが可能です。

■ ご利用中のバージョンが分からない場合はお気軽にサポート窓口までご連絡ください。

ロボット通信設定 で「単載デパレタイズ」ソリューションテンプレートを使用してソリューションを作成しました。

まず、プロジェクトの構築手順を確認し、ステップパラメータの調整とプロジェクト実装により、段ボール箱の位置姿勢を取得してビジョン結果を出力します。

プロジェクトの構築手順

Mech-VisionとMech-Vizソフトウェアを使用してビジョンプロジェクトの設定を行います。ビジョンプロジェクトの設定は、下図のような手順で行われます。

project workflow

詳細な手順は下表の通りです。

手順 必要なソフトウェア 説明

カメラ接続と画像取得

Mech-Vision

Mech-Visionの「カメラから画像を取得」ステップを使用してカメラを接続し、画像を取得します。

点群前処理・最高層のカラー画像を取得

Mech-Vision

「点群前処理・最高層のカラー画像を取得」のカスタムステップ組合せを使用して、画像データの点群前処理を行い、最高層のカラー画像を取得します。

ディープラーニング推論

Mech-Vision

「ディープラーニングモデルパッケージを推論」ステップを使用して、最高層のカラー画像にインスタンスセグメンテーションを行います。

段ボール箱の位置姿勢と寸法を計算

Mech-Vision

「段ボール箱の位置姿勢と寸法を計算」のカスタムステップの組合せを使用して、最高層の段ボール箱の位置姿勢を計算します。

位置姿勢を調整

Mech-Vision

Mech-Visionの「位置姿勢を一括調整(V2)」ステップを使用して、「ワーク認識」ステップから出力された位置姿勢に対して座標系変換、方向調整、ソート、フィルタリングなどの処理を行います。

ロボットの動作経路を計画

Mech-Vision & Mech-Viz

Mech-Visionの「出力」ステップを使用して、ビジョン結果(対象物幾何中心位置姿勢、カラーシーンの点群、前処理後の点群、段ボール箱の上面の寸法など)をMech-Vizに送信します。
Mech-Vizプロジェクトはビジョン結果に基づいて、衝突のないロボット動作経路を動的に計画します。

計画された経路を出力

Mech-Viz

ロボット(本ガイドでは使用)またはPLCから送信された標準インターフェースコマンドを受信すると、Mech-Vizが計画された衝突のないロボット動作経路を返します。
ロボット通信設定、Mech-VizとMech-Vizプロジェクトの設定が完了した後、Mech-Visionは各実行後に計画された経路を出力できます。
ロボット側では、Mech-Vizプロジェクトをトリガーし、Mech-Vizの出力された計画経路を取得するための標準インターフェースコマンドを実装する必要があります。詳細については、「把持と配置を実行」をご参照ください。

ステップパラメータの調整

以下では、パラメータの調整について説明します。

以下では、「単載デパレタイズ」ソリューション内の「Vis-Single-Case Depalletizing」プロジェクトを例として説明します。

カメラから画像を取得

ステップ名

カメラから画像を取得

プロジェクトの構築手順

カメラ接続と画像取得

説明図

acquire images from camera

説明

実際のカメラを接続し、関連するパラメータを設定して、カメラが正常に画像を取得できるようにします。

  1. Mech-Visionのプロジェクト編集エリアで、カメラから画像を取得 ステップを選択し、画面右下にある ステップパラメータ タブで カメラを選択 をクリックします。

    select camera
  2. ポップアップウィンドウで カメラとキャリブレーションパラメータグループを選択 ウィンドウが表示され、カメラ番号の右側にある image アイコンをクリックします。このアイコンが image アイコンに変わると、カメラの接続が成功したことを示します。

    connect camera

    カメラを接続した後、パラメータグループを選択 をクリックし、ETH/EIHおよび日付のついたキャリブレーションパラメータグループを選択します。

    select calibration parameter group
    ここで選択するキャリブレーションパラメータグループは、ハンド・アイ・キャリブレーションが完了した後に生成されたパラメータグループです。
  3. カメラを接続してキャリブレーションパラメータグループを設定すると、カメラのキャリブレーションパラメータグループ、IPアドレス、ポートなどのパラメータが自動的に取得されます。設定パラメータグループ が「段ボール箱(carton)」に設定されていることを確認してください。

    camera other parameters
    • カメラから画像を取得 ステップのシングル実行ボタンをクリックして画像取得をトリガーし、ステップの「カメラの深度画像」と「カメラカラー画像」データフローの線をダブルクリックし、デバッグ結果出力 ウィンドウで正常にカメラから画像が取得できたかどうかを確認します。

      double click data flow line

デバッグ結果出力 に深度画像とカラー画像が正常に表示されていれば、Mech-Visionが実際のカメラに正常に接続され、画像を正常に取得できることを示しています。

confirm image acquire

点群前処理・最高層のカラー画像を取得

ステップ名

点群前処理・最高層のカラー画像を取得

プロジェクトの構築手順

点群前処理・最高層のカラー画像を取得

説明図

point cloud preprocessing

説明

有効な認識領域(3D ROI)を設定し、干渉要因を除去する必要があります。また、最高層のカラ―画像を抽出する際にエラーが発生しないように、「層の高さ」を設定します。

  1. 3D ROIを適切に設定し、干渉要因を除去することで認識効率を向上させます。設定する3D ROIの範囲は、段ボール箱を囲み、供給時のずれに対応するために、約50mm程度外側に拡張する必要があります。

    set roi for processing
  2. 最高層の点群を取得するための「層の高さ」を設定します。設定するパラメータ値は、段ボール箱の高さより小さく、同一層の段ボール箱の高さ差の最大値より大きくする必要があります。

    set carton height

ディープラーニングモデルパッケージを推論

ステップ名

ディープラーニングモデルパッケージを推論

プロジェクトの構築手順

ディープラーニング推論

説明図

dl inference

説明

ソリューションに組み込まれているディープラーニングモデルパッケージをインポートして読み込みます。ディープラーニング推論効果を向上させるために2D ROIを設定します。

  1. モデルパッケージ管理ツールを使用してディープラーニングモデルパッケージをインポートし、インポートしたモデルパッケージを選択します。

    import select dl package
  2. ディープラーニング推論効果を向上させるために2D ROIを設定します。設定する2D ROIは、最高層の段ボール箱を囲み、コンテナ位置の変動に対応するために1/3程度の余裕を持たせて拡張する必要があります。

    set dl 2d roi

段ボール箱の位置姿勢と寸法を計算

ステップ名

段ボール箱の位置姿勢と寸法を計算(カスタムステップの組合せ)

プロジェクトの構築手順

段ボール箱の位置姿勢と寸法を計算

説明図

calculate carton poses

説明

パラメータ調整は不要です。

位置姿勢を一括調整(V2)

ステップ名

位置姿勢を一括調整(V2)

プロジェクトの構築手順

位置姿勢を調整

説明図

adjust poses

説明

パラメータを設定して位置姿勢変換、方向調整、ソート、フィルタリングの処理を行います。

ワークの位置姿勢を取得した後、位置姿勢を調整する必要があります。処理フローは以下の通りです。

adjust poses process

Mech-Visionには位置姿勢編集ツールが組み込まれています。このツールを使用して対象物の位置姿勢の調整と把持順序の最適化を簡単に行うことができます。位置姿勢編集ツールを開くには、以下のいずれかの方法を使用します。

  • プロジェクト編集エリアで、ステップ上にある 設定ツール をクリックします。

  • ステップパラメータ タブで 設定ツールを開く をクリックします。

以下の手順に従ってパラメータを調整してください。

  1. 位置姿勢を変換:「座標系設定」の下の 位置姿勢をロボット座標系に変換 にチェックを入れ、位置姿勢をカメラ座標系からロボット座標系に変換します。

    adjust reference frame
  2. 位置姿勢を調整:「位置姿勢調整」の下の 方向調整 を「自動合わせ」に設定し、「段ボール箱のパレタイジング・デパレタイジング」の適用シーンを選択します。

    adjust pose direction
  3. 位置姿勢をソート:「ソート方法」を 平面上のZ形状でソート に設定し、「基準位置姿勢」の方向を設定します。

    sort poses
  4. 角度によるフィルタリング位置姿勢のZ軸方向 に基づいて、明らかに把持できない位置姿勢や誤認識された位置姿勢を除去し、Mech-Vizの経路計画の時間を短縮して効率を向上させます。

    filter poses

出力

ステップ名

出力

プロジェクトの構築手順

ロボットの動作経路を計画(前提条件)

説明図

procedure out

説明

経路計画と衝突検出に必要な情報がすべて出力されていることを確認する必要があります。

経路計画と衝突検出の要件に基づき、以下の情報をMech-Vizソフトウェアに出力する必要があります。

  • 対象物の幾何的中心位置姿勢

  • カラーシーンの点群

  • 段ボール箱の上面の寸法

上記のポートがすべてデータフローで接続されていることを確認した後、実行 をクリックします。プロジェクトが正常に実行され、ビジョンの結果が出力されることを確認します。Mech-Visionソフトウェアのログバーの Vision タブで、ビジョン結果を含むログが表示されているか確認できます。

check output result

経路計画

このソリューションでは、Mech-Vizを使用して計画された経路を取得します。標準インターフェース通信方式を使用する際、3Dビジョンシステムによるワークの把持・配置を実行するために、Mech-Vizプロジェクトとロボットが連携して使用する必要があります。

Mech-Vizプロジェクトを使用してロボットの動作経路を計画する方法については、次の「把持と配置を実行」をご参照ください。

これで、ビジョンプロジェクトの設定は完了しました。

Mech-Mindは、お客様のプライバシーを重視しています

このサイトでは最高の体験を提供するために Cookie を使用しています。サイトの閲覧を続ける場合、Cookie の使用に同意したことになります。「拒否する」を選択すると、このサイトを訪れた際に追跡や記憶が行われないように単独の Cookie が使用されます。