Mech-Vision 1.6 バージョンの更新説明¶
本節では、Mech-Vision 1.6バージョンの新機能や機能最適化、問題修復について紹介していきます。
Mech-Vision 1.6.2 バージョンの更新説明¶
新機能¶
ステップ「把持位置姿勢を予測（同じタイプ）」を追加¶
1.6.2バージョンでは、ステップ 把持位置姿勢を予測（同じタイプ） を追加しました。このステップにより、2D画像と3D深度画像から画像内の把持可能な対象物を認識して対応する把持位置姿勢を出力することができます。通常、同じ種類のバラ積み対象物の仕分けに使用されます。
このステップを実行するには、ディープラーニング環境を個別にインストールする必要はなく、使用するディープラーニングサーバーのポート番号（60000~65535）を指定し、ディープラーニングモデルをインポートする必要があります。対象物のタイプによって使用するモデルも異なりますので、対応するモデルを取得するには、Mech-Mind株式会社にお問い合わせください。
その他の注意事項については、 こちら をご参照ください。
機能最適化¶
「対象物の吸着」の代表的なプロジェクトについて¶
「対象物の吸着」の代表的なプロジェクトには、 対象物の吸着 および 対象物の吸着（箱なし） が含まれます。1.6.2バージョンでは、特別バージョンをダウンロードせずに、「対象物の吸着」の代表的なプロジェクトを直接使用できます。
ステップ名について¶
Mech-Vision 1.6.2より前のバージョン |
Mech-Vision 1.6.2バージョン |
把持位置姿勢を予測 |
把持位置姿勢を予測（複数タイプ） |
Mech-Vision 1.6.1 バージョンの更新説明¶
新機能¶
「すべてのプロジェクトを保存」機能を追加¶
1.6.1バージョンでは、 すべてのプロジェクトを保存 オプションをメニューバーの「ファイル」タブに追加しました。このオプションにより、ソフトウェアに開かれたすべてのプロジェクトをワンクリックで保存できるようになりました。
ステップ「データ型を変換」を追加¶
1.6.1バージョンでは、ステップ データ型を変換 を追加しました。このステップは、既存のデータ型を相互変換するのに役立ちます。
現在、BoolList、DoubleList、String、StringList、Variant、VariantListなどのデータ型間の相互変換に対応します。
ステップ「ピクセルを物理的な長さに変換」を追加¶
1.6.1バージョンでは、ステップ ピクセルを物理的な長さに変換 を追加しました。このステップは、2D画像で指定された線分の実際の長さを計算するために使用されます。
ステップ「長穴を検出して測定」を追加¶
1.6.1バージョンでは、ステップ 長穴を検出して測定 を追加しました。このステップは、計測のシーンで画像内の長穴の位置とサイズ（ピクセル単位）を検出するために使用されます。
ステップ「ディープラーニングモデルパッケージを推論（CPU）」を追加¶
1.6.1バージョンでは、ステップ ディープラーニングモデルパッケージを推論（CPU） を追加しました。このステップは、画像分類、インスタンスセグメンテーションおよび対象物検出のシーンに使用されます。
ステップ「2D ROI内の画像をスケーリング」および「2D ROI画像のスケール復元」と併用する必要なく、関心領域の選択に対応します。
Mech-DLK 2.2.1バージョン以降からエクスポートされたモデルのみに対応します。モデルファイルの拡張子は「.dlkpackC」です。
モデル推論に高速度が求められない場合、モデル推論にこのステップを使用することをお勧めします。また、第 12 世代 Core-i5以降のプロセッサでCPUモデルをデプロイすることをお勧めします。
ステップ「ディープラーニングモデルパッケージを推論（Mech-DLK 2.2.0+）」の新機能について¶
対象領域を設定可能なROI設定機能を追加しました。
フォントサイズの設定を追加し、可視化出力結果の文字の大きさをカスタマイズできるようになりました。
このステップがインスタンスセグメンテーションに使用される場合、信頼しきい値より小さい結果もデバッグ結果出力の画面に保持されます。信頼しきい値より大きい結果は緑色で表示され、信頼しきい値より小さい結果は赤色で表示されます。
モデルパスは非ラテン文字をサポートします。
ステップ「カメラから画像を取得」に画像補正の新機能を追加¶
1.6.1バージョンでは、ステップ カメラから画像を取得 に「カメラ型番」と「深度画像の座標系に補正」の2つのパラメータを追加しました。これにより、DEEP V4とLSR V4シリーズカメラを使用する場合に画像融合中に画像サイズが1対1で対応しない問題を解決できます。
機能最適化¶
「サンプルプロジェクト」について¶
1.6.1バージョンでは、「ブレーキディスクのロード・アンロード」プロジェクトをサンプルプロジェクトに追加しました。
「対象物の吸着」の代表的なプロジェクトについて¶
「対象物の吸着」の代表的なプロジェクトには、 対象物の吸着 および 対象物の吸着（箱なし） が含まれます。モデルファイルを設定する必要はなくなり、カメラのキャリブレーションとカメラパラメータの設定が完了したら、プロジェクトを実行できます。
さらに、1.6.1バージョンでは、プロジェクトに必要なステップ 把持位置姿勢を予測 を最適化しました。
注意
「対象物の吸着」の代表的なプロジェクトは、特別な1.6.1バージョンで実行する必要があります。新しいバージョンのソフトウェアは、古いバージョンの「対象物の吸着」の代表的なプロジェクトと互換性がありません。特別バージョンのインストールパッケージを取得するには、Mech-Mindのプリセールスエンジニアまたはサポートチームにお問い合わせください。
対象物の吸着のプロジェクトを実行するときは、サーバーポートを5000以下に設定する必要があります。
新しいバージョンの「対象物の吸着」の代表的なプロジェクトは、モデルのプリロードをサポートしていません。
「大型の非平面形状部品」の代表的なプロジェクトについて¶
1.6.1バージョンでは、「大型の非平面形状部品」の代表的なプロジェクトに、カメラ設定、認識、デプロイ画面を含むデプロイガイドを追加しました。これは、プロジェクトをより迅速に構築するのに役立ちます。
「マッチングモデル・把持位置姿勢エディタ」について¶
1.6.1バージョンでは、 マッチングモデル・把持位置姿勢エディタ の新機能と最適化は次の通りです。
法線ベクトルの表示機能を追加しました。「法線ベクトルを表示」にチェックを入れると、点群の法線ベクトルが表示されます。
すべてのモデルと把持位置姿勢をワンクリックで表示/非表示にすることができるようになりました。
「位置姿勢マニピュレータの設定」を最適化しました。把持位置姿勢が追加された後、画面の左下隅に関連設定を行うことができます。
ステップ「3D位置姿勢高精度推定」について¶
1.6.1バージョンでは、ステップ 3D位置姿勢高精度推定 を次のように最適化しました。
パラメータ「多数の対象物のマッチングを高速化」を追加しました。シーンに数多くの対象物がある場合は、このパラメータにチェックを入れることをお勧めします。
パラメータ「位置姿勢フィルタリング設定」を追加しました。これは、制限を超えた位置姿勢をフィルタリングするために使用されます。
「標準偏差」のアルゴリズムを最適化し、パラメータ「最小標準偏差」を削除しました。
ステップ「2Dテンプレートマッチング」について¶
1.6.1バージョンでは、次のパラメータをステップ「2Dテンプレートマッチング」に追加しました。
ROI関連のパラメータ。
パラメータ「ブロックグレー値の上限しきい値」。
上記のパラメータは、 すべてのパラメータを表示 にチェックを入れた場合にのみ表示されます。
ステップ「ブロブ解析」について¶
1.6.1バージョンでは、ステップ「ブロブ解析」を最適化し、アルゴリズムの処理速度を改善しました。
ステップ「画像の色空間を変換」について¶
1.6.1バージョンでは、以下の3つの変換タイプをステップ 画像の色空間を変換 に追加しました。
RGB画像からHSIへ
RGB画像からHSVへ
RGB画像からYUVへ
「測定モード」について¶
1.6.1バージョンでは、「測定モード」を次のように最適化しました。
マウスが指しているピクセル値を表示できるようになりました。
座標を表示 スイッチをアートボード設定に追加しました。これは、座標値を表示/非表示にするために使用されます。
ステップ「統計データで位置姿勢の繰返し精度をチェック」について¶
入力データ型が PoseListInput である場合、高精度の統計要件を満たすために、エクスポートされた統計データはデフォルトでmm単位、小数点以下3桁まで表示されます。
入力データ型が PoseListInput である場合、高精度の統計要件を満たすために、「許容範囲内位置座標の偏差のしきい値」パラメータ値を1mm以下に設定することができます。
「許容範囲内位置座標の偏差のしきい値」の上限を1000mm、「許容範囲内オイラー角の偏差のしきい値」の上限を360°に調整しました。
安全上の問題について¶
Mech-CenterとMech-Viz がMech-Visionをトリガーし、Mech-Visionプロジェクトが仮想データを使用する場合、Mech-CenterおよびMech-Vizのソフトウェア画面にポップアップが表示されます。また、生産の安全性のために、このポップアップ表示を手動で解除する必要があります。
デパレタイジングの代表的なプロジェクトとDEEP V4およびLSR V4シリーズカメラについて¶
1.6.1バージョンでは、デパレタイジングの代表的なプロジェクトを最適化し、DEEP V4およびLSR V4シリーズカメラが直接使用できない問題を修正しました。
プロジェクトのポップアップについて¶
プロジェクトで複数のステップが欠落している場合、複数のポップアップが連続して表示されるのではなく、欠落しているすべてのステップが1つのポップアップに表示されます。
Mech-Vision 1.6.0 バージョンの更新説明¶
新機能¶
「データ保存」を最適化¶
現場では、問題発生時にその時の状況を再現し、十分な回帰検証を行うために、 データ保存 機能を次のように最適化しました。
ステップ組合せ「画像のデータとパラメータを保存」を使用せずに、プロジェクトを開いた後、 で データとパラメータを保存 を有効にすると、直ちに使用できます。
異常データの保存に対応します。ソフトウェアでエラーが発生したときのデータも保存できるようになりました。
複数カメラのデータ保存に対応します。
データ保存のフォルダとファイル名を変更しました。
「サンプルプロジェクト」を追加¶
Mech-Visionは、業界の代表的な事例に対応する「ワンクリック実行可能」な サンプルプロジェクト を提供します。サンプルプロジェクトを実行することにより、ステップの機能と実行効果をすばやく確認できます。
「2Dマッチング」の関連ステップを追加¶
1.6.0バージョンでは、次のステップを「2Dマッチング」グループに追加しました。これらのステップは、画像内の対象物の位置を取得し、画像内の検出対象物またはROIを統一位置に変換するために使用されます。
ステップ「ディープラーニングモデルパッケージを推論（DLK 2.2.0+）」を追加¶
1.6.0バージョンでは、推論モデルが組み込まれています。ディープラーニングトレーニング環境をインストールする必要はなく、プロジェクトにステップ ディープラーニングモデルパッケージを推論（Mech-DLK 2.2.0+） を追加すれば推論を実行できます。
ステップ「3D位置姿勢低精度推定（V2）」を追加¶
1.6.0バージョンでは、ステップ 3D位置姿勢低精度推定（V2） を追加しました。このステップは、点群モデルを使用して元の点群の大まかなマッチングを行うことができ、シーン内の物体の大まかな候補位置姿勢を出力することができます。
ステップ「Pythonを使用して結果を計算」を追加¶
1.6.0バージョンでは、新しく追加されたステップ「Pythonを使用して結果を計算」に対応可能なPython 3.6.8環境が組み込まれています。このステップによって呼び出されたPythonスクリプトが追加のPythonライブラリを使用する必要がある場合は、Mech-Visionソフトウェアの「python」ディレクトリにインストールする必要があります。
ちなみに
Pythonライブラリのインストール方法は次のとおりです。
「コマンドプロンプト」または「PowerShell」プログラムを起動します。
Mech-Visionソフトウェアの「python」ディレクトリに切り替えます（例えば：C:¥Mech-Mind¥Mech-Vision-1.6.x¥python）。
「 ./python -m pip install library_name 」 コマンドを実行します。
「デバッグ結果出力」を最適化¶
1.6.0バージョンでは、プロジェクトの作成と分析を簡単にするために、「デバッグ結果出力」機能を次のように最適化しました。
可視化ウィンドウは、独立したポップアップ、最大化、複数のウィンドウを並べて表示することをサポートします。
デバッグモードでない場合は、出力結果は標準の可視化ウィンドウに統合されます。
デバッグモードの場合は、ステップ間の可視化結果をすばやく表示することができます。
デバッグモードの場合は、1つまたは複数のステップの複数回の実行効果を表示することができます。
デバッグモードの場合は、特定のステップの実行効果の表示視点をロックすることができますので、複数回の実行結果を比較することは便利になりそうです。
「マッチングモデル・把持位置姿勢エディタ」を最適化¶
-
現在のシーンの画像を取得した後、点群モデルを直接生成できるようになりました。これは、対象物がかさばって移動しにくいシーンに適しています。
背景を除去するときは対象物のキャプチャが優先になり、実際の使用シーンにより適しています。
-
点群の選択反転の機能を追加しました。これは「削除」とよく併用され、点群モデルをすばやく作成することは便利になりそうです。
エッジモデルの生成に対応します。3D方法により点群エッジを推定することでエッジモデルの作成流れを簡略化することができます。
機能最適化¶
インターフェイスについて¶
1.6.0バージョンでは、使いやすさを向上させるためにソフトウェアのインターフェイスを次のように最適化しました。
レイアウトと配色を最適化しました。 を追加しました。
「ステップパラメータ」タブをきれいにし、UIを最適化しました。
「プロジェクトを保存」、「取り消し」、「やり直し」のボタンを「プロジェクト編集エリア」の「プロジェクト編集バー」に追加しました。
「ステップライブラリ」の検索ボックスをきれいにしました。
カメラ接続コンポーネントをきれいにし、UIを最適化しました。
カメラキャリブレーションツールのレイアウトとヒントを最適化しました。
ステップ名について¶
1.6.0バージョンでは、ステップ名を理解しやすくするために一部のステップ名を最適化しました。英語と中国語のステップ名が変更されましたが、日本語のステップ名が変更されていない場合があります。Mech-Visionを1.6.0バージョンにアップグレードした後、プロジェクト内のステップ名は自動的に新しい名前に更新されます。
注意
名前の変更は、ステップを使用した過去のプロジェクトに影響が出ません。
Mech-Vision 1.6.0より前のバージョン |
Mech-Vision 1.6.0バージョン |
箱のマスクが有効であるかどうかを検証 |
箱形状の対象物のマスクを検証 |
位置姿勢調整の集合 |
位置姿勢を一括調整 |
位置姿勢を目標方向に回転 |
位置姿勢の軸を指定方向に回転 |
任意対象物の把持位置姿勢を予測 |
把持位置姿勢を予測 |
画像二値化処理 |
画像二値化処理 |
点群個数の制限 |
点群リストの要素を削除 |
3D位置姿勢をオイラー角に変換 |
四元数位置姿勢をオイラー角に変換 |
点群ベクトルをマージ |
点群リストをマージ |
指定した層で2D輪郭を検出 |
指定した内外層で2D輪郭を検出 |
指定軸に沿った長さを計算 |
指定軸方向の点群長さを計算 |
位置姿勢の繰り返し精度を統計 |
統計データで位置姿勢の繰返し精度をチェック |
基準位置姿勢までの距離を計算 |
位置姿勢間の距離を計算 |
軌跡を平滑化 |
経路を平滑化 |
線分ベクトルをマージ |
線分リストをマージ |
正確な経路を得るまで位置姿勢を調整 |
正確な経路を得るまで目標点を調整 |
軌跡のポイントの位置姿勢を読み取って変換 |
経路点を読み取って変換 |
逆順ソート |
リストを逆順に並べる |
回転運動軌跡の時計回り方向を調整 |
経路の時計回り方向を調整 |
箱検出（最大内接長方形） |
箱検出（最大内接長方形） |
箱検出（最大内接長方形） |
箱検出（最大内接長方形・V2） |
有効なリング形状の点群を取得 |
リング形状の点群リストをフィルタリング |
長方形の軌跡を生成 |
長方形の経路を生成 |
輪郭によって経路を生成 |
輪郭から経路を生成 |
入力のZ値がしきい値を超えるかを検証 |
位置姿勢のZ値をしきい値と比較 |
リングの把持位置姿勢を校正 |
リング形状の対象物の位置姿勢を補正 |
画像変換 |
画像調整 |
指定された位置姿勢によって画像を回転 |
指定した位置姿勢によって画像を回転 |
3D ボックス内の点群を抽出 |
3D ボックス内の点群を抽出 |
平面の点群を指定方向に回転 |
平面の点群を指定平面に合わせる |
ローカル座標系で位置姿勢をカスタマイズ回転 |
対象物座標系で四元数ベクトルによって位置姿勢を回転 |
ローカル座標系で位置姿勢をカスタマイズ変換 |
対象物座標系で行列によって位置姿勢を変換 |
位置姿勢を目標方向に回転（対称性あり） |
対称性制約で位置姿勢を指定方向に回転 |
基準点にクイック指向 |
位置姿勢を基準点にクイック指向 |
ベクトルの元素を置き換える |
リスト内の元素を置き換える |
軌跡のポイントを保存 |
経路点を保存 |
エンドポイントを挿入して運動パラメータを送信 |
終了点を挿入して移動パラメータを送信 |
2D軌跡を読み込む |
2D経路を読み込む |
螺旋軌跡を生成 |
螺旋状経路を生成 |
深度画像に基づいて軌跡を生成 |
深度画像から経路を生成 |
Z型の軌跡を生成 |
ジグザグ経路を生成 |
経路を自動生成 |
2D経路を抽出 |
障害物に応じて位置姿勢を調整 |
障害物に応じて目標点を調整 |
軌跡のポイントのマッチング |
経路点のマッチング |
障害物に応じて位置姿勢を調整（V2） |
障害物に応じて目標点を調整（V2） |
2D位置姿勢がマスクにあるかを検証 |
マスクによって2D位置姿勢を検証 |
法線ベクトルの領域を変換 |
法線ベクトルの偏差が大きい領域を抽出 |
マスクのゼロでない領域を抽出 |
マスクによって画像領域を抽出 |
ディープラーニングモデルを推論 |
ディープラーニングモデルを推論（DLK2.1.0/2.0.0） |
「ステップの組合せのパラメータを編集」機能について¶
1.6.0バージョンでは、「ステップの組合せのパラメータを編集」機能を次のように最適化しました。
ステップの組合せの表示パラメータを編集 機能を追加しました。これにより、ステップの組合せのパラメータ名、グループ、および様々なプロンプトがカスタマイズできるようになりました。
マッピングパラメータをカスタマイズ 機能を追加しました。JSスクリプトを介してステップの組合せのパラメータとその内部ステップパラメータのマッピング関係が編集できるようになりました。
レシピパラメータをカスタマイズ 機能を追加しました。単一または複数ステップのパラメータをレシピパラメータとして組み合わせるために使用します。
パラメータ「モデル選択」について¶
1.6.0バージョンでは、パラメータ「モデル設定」をステップ 3D位置姿勢低精度推定 と 3D位置姿勢高精度推定 に追加しました。これは、モデルライブラリの呼び出しに使用され、各ステップはモデルライブラリにすでに保存されているモデルを選択して使用することができます。
ステップ「統計データで位置姿勢の繰返し精度をチェック」について¶
ステップ「統計データで位置姿勢の繰返し精度をチェック」の使いやすさを向上させるために、1.6.0バージョンのMech-Visionではこのステップを次のように最適化しました。
ステップ「位置姿勢の繰り返し精度を統計」の名前を「統計データで位置姿勢の繰返し精度をチェック」に変更しました。
エラーデータを回避するために、位置姿勢の変動範囲のしきい値設定を追加しました。
位置姿勢の統計結果をオイラー角の形式に変更しました。
カスタマイズの出力結果に小数点以下の桁数を保持することをサポートしました。
統計データテーブルのレイアウトを最適化しました。
複数の位置姿勢データの同時入力に対応し、表では複数のシートに異なる位置姿勢の結果が表示されます。
パラメータ「再開始」が自動的にリセットされない問題を修正しました。
パラメータ説明とステップのディスクリプションを最適化しました。
V4&UHPカメラに対応¶
1.6.0バージョンでは、V4&UHPカメラで画像撮影とハンド・アイ・キャリブレーションを行うことをサポートします。
インスタンスセグメンテーションのパフォーマンス向上¶
1.6.0バージョンでは、ステップ ディープラーニングモデルパッケージを推論（Mech-DLK 2.2.0+） を追加しました。このステップを使用したインスタンスセグメンテーションは、古いバージョンのステップ「インスタンスセグメンテーション」よりパフォーマンスがある程度向上します。