ビジョンプロジェクトの設定
ロボット通信設定 で「単載デパレタイズ」ソリューションテンプレートを使用してソリューションを作成しました。
まず、プロジェクトの構築手順を確認し、ステップパラメータの調整とプロジェクト実装により、段ボール箱の位置姿勢を取得してビジョン結果を出力します。
プロジェクトの構築手順
Mech-VisionとMech-Vizソフトウェアを使用してビジョンプロジェクトの設定を行います。ビジョンプロジェクトの設定は、下図のような手順で行われます。
詳細な手順は下表の通りです。
手順 | 必要なソフトウェア | 説明 |
---|---|---|
カメラ接続と画像取得 |
Mech-Vision |
Mech-Visionの「カメラから画像を取得」ステップを使用してカメラを接続し、画像を取得します。 |
点群前処理・最高層のカラー画像を取得 |
Mech-Vision |
「点群前処理・最高層のカラー画像を取得」のカスタムステップ組合せを使用して、画像データの点群前処理を行い、最高層のカラー画像を取得します。 |
ディープラーニング推論 |
Mech-Vision |
「ディープラーニングモデルパッケージを推論」ステップを使用して、最高層のカラー画像にインスタンスセグメンテーションを行います。 |
段ボール箱の位置姿勢と寸法を計算 |
Mech-Vision |
「段ボール箱の位置姿勢と寸法を計算」のカスタムステップの組合せを使用して、最高層の段ボール箱の位置姿勢を計算します。 |
位置姿勢を調整 |
Mech-Vision |
Mech-Visionの「位置姿勢を一括調整(V2)」ステップを使用して、「ワーク認識」ステップから出力された位置姿勢に対して座標系変換、方向調整、ソート、フィルタリングなどの処理を行います。 |
ロボットの動作経路を計画 |
Mech-Vision & Mech-Viz |
Mech-Visionの「出力」ステップを使用して、ビジョン結果(対象物幾何中心位置姿勢、カラーシーンの点群、前処理後の点群、段ボール箱の上面の寸法など)をMech-Vizに送信します。
|
計画された経路を出力 |
Mech-Viz |
ロボット(本ガイドでは使用)またはPLCから送信された標準インターフェースコマンドを受信すると、Mech-Vizが計画された衝突のないロボット動作経路を返します。
|
ステップパラメータの調整
以下では、パラメータの調整について説明します。
以下では、「単載デパレタイズ」ソリューション内の「Vis-Single-Case Depalletizing」プロジェクトを例として説明します。 |
カメラから画像を取得
ステップ名 |
カメラから画像を取得 |
---|---|
プロジェクトの構築手順 |
カメラ接続と画像取得 |
説明図 |
|
説明 |
実際のカメラを接続し、関連するパラメータを設定して、カメラが正常に画像を取得できるようにします。 |
-
Mech-Visionのプロジェクト編集エリアで、カメラから画像を取得 ステップを選択し、画面右下にある ステップパラメータ タブで カメラを選択 をクリックします。
-
ポップアップウィンドウで カメラとキャリブレーションパラメータグループを選択 ウィンドウが表示され、カメラ番号の右側にある アイコンをクリックします。このアイコンが アイコンに変わると、カメラの接続が成功したことを示します。
カメラを接続した後、パラメータグループを選択 をクリックし、ETH/EIHおよび日付のついたキャリブレーションパラメータグループを選択します。
ここで選択するキャリブレーションパラメータグループは、ハンド・アイ・キャリブレーションが完了した後に生成されたパラメータグループです。 -
カメラを接続してキャリブレーションパラメータグループを設定すると、カメラのキャリブレーションパラメータグループ、IPアドレス、ポートなどのパラメータが自動的に取得されます。設定パラメータグループ が「段ボール箱(carton)」に設定されていることを確認してください。
-
カメラから画像を取得 ステップのシングル実行ボタンをクリックして画像取得をトリガーし、ステップの「カメラの深度画像」と「カメラカラー画像」データフローの線をダブルクリックし、デバッグ結果出力 ウィンドウで正常にカメラから画像が取得できたかどうかを確認します。
-
デバッグ結果出力 に深度画像とカラー画像が正常に表示されていれば、Mech-Visionが実際のカメラに正常に接続され、画像を正常に取得できることを示しています。
点群前処理・最高層のカラー画像を取得
ステップ名 |
点群前処理・最高層のカラー画像を取得 |
---|---|
プロジェクトの構築手順 |
点群前処理・最高層のカラー画像を取得 |
説明図 |
|
説明 |
有効な認識領域(3D ROI)を設定し、干渉要因を除去する必要があります。また、最高層のカラ―画像を抽出する際にエラーが発生しないように、「層の高さ」を設定します。 |
-
3D ROIを適切に設定し、干渉要因を除去することで認識効率を向上させます。設定する3D ROIの範囲は、段ボール箱を囲み、供給時のずれに対応するために、約50mm程度外側に拡張する必要があります。
-
最高層の点群を取得するための「層の高さ」を設定します。設定するパラメータ値は、段ボール箱の高さより小さく、同一層の段ボール箱の高さ差の最大値より大きくする必要があります。
ディープラーニングモデルパッケージを推論
ステップ名 |
ディープラーニングモデルパッケージを推論 |
---|---|
プロジェクトの構築手順 |
ディープラーニング推論 |
説明図 |
|
説明 |
ソリューションに組み込まれているディープラーニングモデルパッケージをインポートして読み込みます。ディープラーニング推論効果を向上させるために2D ROIを設定します。 |
-
モデルパッケージ管理ツールを使用してディープラーニングモデルパッケージをインポートし、インポートしたモデルパッケージを選択します。
-
ディープラーニング推論効果を向上させるために2D ROIを設定します。設定する2D ROIは、最高層の段ボール箱を囲み、コンテナ位置の変動に対応するために1/3程度の余裕を持たせて拡張する必要があります。
段ボール箱の位置姿勢と寸法を計算
ステップ名 |
段ボール箱の位置姿勢と寸法を計算(カスタムステップの組合せ) |
---|---|
プロジェクトの構築手順 |
段ボール箱の位置姿勢と寸法を計算 |
説明図 |
|
説明 |
パラメータ調整は不要です。 |
位置姿勢を一括調整(V2)
ステップ名 |
位置姿勢を一括調整(V2) |
---|---|
プロジェクトの構築手順 |
位置姿勢を調整 |
説明図 |
|
説明 |
パラメータを設定して位置姿勢変換、方向調整、ソート、フィルタリングの処理を行います。 |
ワークの位置姿勢を取得した後、位置姿勢を調整する必要があります。処理フローは以下の通りです。
Mech-Visionには位置姿勢編集ツールが組み込まれています。このツールを使用して対象物の位置姿勢の調整と把持順序の最適化を簡単に行うことができます。位置姿勢編集ツールを開くには、以下のいずれかの方法を使用します。
-
プロジェクト編集エリアで、ステップ上にある 設定ツール をクリックします。
-
ステップパラメータ タブで 設定ツールを開く をクリックします。
以下の手順に従ってパラメータを調整してください。
-
位置姿勢を変換:「座標系設定」の下の 位置姿勢をロボット座標系に変換 にチェックを入れ、位置姿勢をカメラ座標系からロボット座標系に変換します。
-
位置姿勢を調整:「位置姿勢調整」の下の 方向調整 を「自動合わせ」に設定し、「段ボール箱のパレタイジング・デパレタイジング」の適用シーンを選択します。
-
位置姿勢をソート:「ソート方法」を 平面上のZ形状でソート に設定し、「基準位置姿勢」の方向を設定します。
-
角度によるフィルタリング:位置姿勢のZ軸方向 に基づいて、明らかに把持できない位置姿勢や誤認識された位置姿勢を除去し、Mech-Vizの経路計画の時間を短縮して効率を向上させます。
出力
ステップ名 |
出力 |
---|---|
プロジェクトの構築手順 |
ロボットの動作経路を計画(前提条件) |
説明図 |
|
説明 |
経路計画と衝突検出に必要な情報がすべて出力されていることを確認する必要があります。 |
経路計画と衝突検出の要件に基づき、以下の情報をMech-Vizソフトウェアに出力する必要があります。
-
対象物の幾何的中心位置姿勢
-
カラーシーンの点群
-
段ボール箱の上面の寸法
上記のポートがすべてデータフローで接続されていることを確認した後、実行 をクリックします。プロジェクトが正常に実行され、ビジョンの結果が出力されることを確認します。Mech-Visionソフトウェアのログバーの Vision タブで、ビジョン結果を含むログが表示されているか確認できます。