対象物・箱セグメンテーションモジュールの使用例
対象物・箱セグメンテーション汎用モデル（ダウンロード先）に基づき、対象物・箱セグメンテーションモジュールを使用してモデルをトレーニングし、対象のワークと容器の箱を分割する方法を説明します。
全体的な流れは、事前準備、データのラベル付け、モデルトレーニング、モデル検証、モデルエクスポートの5つのステップで構成されます。
| また、お手元のデータも使用できます。ラベル付けの段階が若干異なりますが、全体的な使用手順はほぼ同じです。 |
事前準備
-
プロジェクトを新規作成して対象物・箱セグメンテーションモジュールを追加：Mech-DLK を起動し、ホーム画面のプロジェクトを新規作成をクリックします。保存パスを選択し、プロジェクト名を入力して新しいプロジェクトを作成します。メイン画面の右上にあるモジュールバーで、入力モジュール下の + ボタンをクリックし、モジュール追加ウィンドウで対象物・箱セグメンテーションモジュールを選択します。
-
汎用モデルパッケージをインポート：表示された汎用モデルパッケージを追加ウィンドウでファイルを選択をクリックし、インポートするモデルパッケージファイルを選択してOK をクリックします。
お手元に対象物・箱セグメンテーションの汎用モデルパッケージがない場合は、ダウンロードセンターからダウンロードしてください。 
-
画像をインポート：取得した画像データをインポートします。以下の方法で画像をインポートしてください。
-
方法 1
画像またはフォルダを画像リストにドラッグします。ドラッグによるデータセットのインポートには対応していません。
-
方法 2
画像リストの上のインポート/エクスポートボタンをクリックします。データの種類に応じてインポートオプションを選択します。
-
前のモジュールからインポート：前のモジュールの画像をインポートします。
-
画像をインポート：一枚または複数枚の画像をインポートします。
-
フォルダをインポート：フォルダにある全ての画像をインポートします（サブフォルダー内の画像を除く）。
-
DLKDB 形式（.dlkd）のデータセット、すなわち Mech-DLK からエクスポートされたデータセットに対応できます。
-
-
対象物・箱セグメンテーションモジュールを使用する際は、深度画像とカラー画像を同期してインポートしてください。同期インポートを行う際は、両方の画像フォルダが同一ディレクトリ内に配置され、画像ファイルが1対1で対応し、かつ画像サイズが一致していることを確認してください。一方のカテゴリの画像をインポートすると、システムによってもう一方の対応する画像が自動的にインポートされます。
-
入力モジュールでは、深度画像とカラー画像に対してそれぞれ画像前処理を実行できます。前処理の設定はすべての画像に一括で適用されます。
インポートが成功すると、可視化エリアの右上にある深度画像とカラー画像ボタンを切り替えることで、画像の効果を確認できます。
-
-
ROI 設定：ROI ツールのアイコン
をクリックして、画像から部品箱を ROI としてドラッグで指定します。その後、ROI 枠の右下にある確定アイコン 
をクリックして適用します。ROI を選択するのは、不要な背景の情報を除去するためです。
データのラベル付け
データラベル付けルールに従ってください。
-
ラベル付けルール：対象物・箱セグメンテーションモジュールは、デフォルトで箱と対象物の2つのラベルクラスに分けられます。カスタムラベルクラスの作成はできません。
Ctrl を押したままホイールを手前に回すと画像が拡大されます。 -
データのラベル付け：事前トレーニングラベル付けツールとポリゴンツールを使用してラベル付けを行います。まず、すべてのワークをラベル付けして、その後、箱をラベル付けすることを推奨します。
-
ラベル付けツールバーのスマートラベル付けツールのアイコン
を右クリックし、事前トレーニングラベル付けツールを選択してラベル付けを開始をクリックします。
-
初期のラベル付けが完了したら、ポリゴンツールのアイコン
をクリックし、ラベル付けの結果に対して追加描画や部分的な調整を行います。
実際のシーンに応じて適切なラベル付けツールを選択してください。詳細なラベル付けツールの説明は、ラベル付けツールをご参照ください。 -
-
トレーニングセットと検証セットの振り分け：ラベル付け済みの画像をトレーニングセットに移動してトレーニングセットと検証セットを分割します。通常の場合、データの 80% をトレーニングセットに、20% を検証セットに分けることを推奨します。ソフトウェアは、ラベル付けが完了しトレーニングセットに移動された画像データを自動的に振り分けます。本モジュールのトレーニングにおいて、検証セットは必須ではありません。
モデルのトレーニング
-
モデルのトレーニング：トレーニングタブでトレーニングパラメータを設定し、トレーニングボタンをクリックしてモデルのトレーニングを開始します。通常はデフォルトのトレーニングパラメータを使用すれば十分です。パラメータを調整する必要がある場合は、パラメータ説明をご参照ください。
-
トレーニング状況確認：トレーニングパネルからモデルのトレーニング状況をリアルタイムで確認できます。
-
「トレーニングチャート」から状況確認：トレーニングタブのチャートを表示ボタンをクリックしてトレーニングチャートを表示して、曲線の変化から精度の推移を把握します。正確度曲線が全体的に上昇傾向、損失曲線が全体的に低下傾向を示すことから、現在のトレーニングプロセスが正常に進行していることがわかります。
モデルの検証
-
モデル検証：トレーニング終了・中止後、検証タブに切り替えて検証ボタンをクリックし、モデルの検証を行います。
-
トレーニングセットのモデル検証結果を確認：検証終了後、検証タブの検証統計から検証の結果を確認できます。
-
詳細レポートをクリックして詳細レポートウィンドウを開いて詳細な結果データを確認します。
-
レポートのラベル付け結果マッチングには、モデル推論（検証）の結果と手動ラベルとのマッチング関係を示します。
-
表の縦は手動で付けたラベル、横は推論の結果です。青いセルは両方が一致していることを示します。その他のセルは不一致が存在することを示しており、モデル最適化の参考になります。
-
セルのデータをクリックすると、ソフトウェアのメイン画面の画像リストに対応する画像のみが表示されます。
検証結果に見逃しや誤検出がある場合、トレーニング効果を改善する必要があります。ラベル付けをチェックしてトレーニングパラメータを調整してから再トレーニングを行ってください。 詳細レポートウィンドウの右下にあるレポートをエクスポートボタンをクリックし、サムネイルレポートまたは完全画像レポートをエクスポートすることが選択できます。
テストセット内の見逃しや誤検出がある画像を全て手動的にラベル付けしてトレーニングセットに移動する必要はありません。一部の画像を追加でラベル付けしてトレーニングセットに加えてモデルを再トレーニング・検証します。残りの画像は検証の参照として使用されます。 -
-
再トレーニング：新たにラベル付けした画像をトレーニングセットに追加した後、トレーニングボタンをクリックして、再トレーニングを開始します。
-
モデル検証結果の再チェック：再トレーニング終了後、再び検証ボタンをクリックしてモデルの検証を行い、各データセットにおけるモデルの検証結果を確認します。
-
モデルの最適化：モデルが使用要件を満たすまで上記の手順を繰り返します。
モデルのエクスポート
モデルをエクスポートをクリックします。表示されたウィンドウで保存場所を指定し、モデルをエクスポートをクリックします。
エクスポートされたモデルは Mech-Vision に使用できます。クリックして詳細な説明を確認します。