インスタンスセグメンテーション

機能のディスクリプション

ディープラーニングアルゴリズムにより、画像内の対象物を認識してピクセルレベルの位置決めを行います。

このステップとMech-VisionおよびMech-DLKバージョンとの互換性を次の表に示します。

注意

このステップは、 開発者モード でのみ使用できます。

使用シーン

このステップを使用してMech-DL KitとMech-DLKのモデルファイルを推論できます。推論の結果はトレーニングモデルのデータと密接に関連します。推論の結果は予期通りにならなかったら、以下の方法を試してください。

  1. 関心領域を設定してスケーリングした後、対象物が画像内の寸法はトレーニングデータにある画像のサイズとは近似しているかを検査してください（スーパーモデルを使用していて、かつこの方法で問題を解決できなければ、エンジニアにお問い合わせください）。

  2. 入力されるカラー画像にある物体、環境光、背景などはトレーニングデータと近似しているかを検査します。

  3. 信頼度のしきい値を調整し、一番目の入力ポートを使用して可視化の予測結果を検査します。

入力と出力

../../../../../_images/input_and_output35.png

パラメータの説明

サーバーとモデル設定

  • サーバーIPアドレス
    初期値：127.0.0.1
    調整説明：このパラメータは、ディープラーニングサーバーIPを設定するためのもので、通常は初期値を使用します。複数のインスタンスセグメンテーションのステップを使用する場合は、対応する複数のディープラーニングサーバーを起動する必要があり、ポート設定はディープラーニングサーバーのポートと1対1で対応している必要があります。
  • サーバーポート（1~65535）
    初期値：50052
    調整説明：このパラメータは、ディープラーニングサーバーポートを設定するためのもので、60000未満のポート番号を使用する必要があります。複数のインスタンスセグメンテーションのステップを使用する場合は、対応する複数のディープラーニングサーバーを起動する必要があり、ポート設定はディープラーニングサーバーのポートと1対1で対応している必要があります。
  • モデルファイル
    調整説明：ディープラーニングモデルファイルを保存する絶対パスまたは相対パスです。インスタンスセグメンテーションのディープラーニングモデルファイルは、主に.pth形式のファイルであり、Mech-DLKでモデルをトレーニングすることで取得します。
  • コンフィグファイル
    調整説明：ディープラーニングコンフィグファイルを保存する絶対パスまたは相対パスです。インスタンスセグメンテーションのディープラーニングコンフィグファイルは、主に.py形式のファイルであり、Mech-DLKでモデルをトレーニングすることで取得します。
プリロード設定
  • プロジェクトを開くとモデルを自動プリロード
    初期値：チェックを入れない
    オプション：チェックを入れる/チェックを入れない
    調整説明：チェックを入れると、プロジェクトの開始後に既存のディープラーニングモデルが自動的に読み込まれ、プロジェクトの開始後に最初のディープラーニングの実行速度が大幅に向上させます。プロジェクトのデバッグが完了した後に、このパラメータにチェックを入れることをお薦めします。
検出対象物の最大数
初期値：100
調整説明：このパラメータは、画像に表示可能な実例の最大数を設定するために使用されます。実際のニーズに応じて調整することができ、0~2000の範囲が設定可能です。
信頼度しきい値
初期値：0.7
調整説明：ディープラーニングの計算処理を通じて、信頼度がしきい値より大きい実例は、出力結果とします。実際のニーズに応じて調整することができ、0~1.0の範囲が設定可能です。
調整の例： 図2に示すように、信頼度しきい値の調整は、まず 画像で検出する対象物を描画 のパラメータを有効にし、可視化出力を使用して各インスタンスの信頼度を取得し、次に対応する信頼度しきい値を調整します。
../../../../../_images/visualize_confidence.png

図2 可視化インスタンスの信頼度

図3に示すように、現在のしきい値で実行すると、取得したインスタンスの数は少ない、または結果が良くない場合、画像の赤いデータは信頼度がしきい値より低いインスタンスであり、出力結果として使用されません。 図4に示すように、しきい値を下げて、その後に出力結果としてインスタンスの数が大幅に増加します。

../../../../../_images/confidence0.8_result.png

図3 高いしきい値のインスタンスセグメンテーション結果

../../../../../_images/confidence0.5_result.png

図4 低いしきい値のインスタンスセグメンテーション結果

信頼度しきい値を調整しても、結果があまり変化しない場合、ディープランニングモデルを変換するか、またはインスタンスセグメンテーションの対象物が選択したROI内にあるかどうかを確認できます。

フォント設定
  • カスタムフォントサイズを使用
    初期値：チェックを入れない
    オプション：チェックを入れる/チェックを入れない
    調整説明：チェックを入れると、可視化出力に表示されるフォントのサイズをカスタマイズできます。 このパラメータは、画像で検出する対象物を描画 のパラメータにチェックを入れた場合のみ、有効になります。
可視化設定
  • 画像で検出する対象物を描画
    初期値：チェックを入れない
    オプション：チェックを入れる/チェックを入れない
    調整説明：チェックを入れると、可視化出力するときにインスタンスセグメンテーションの結果が表示されますが、実行時間が長くなります。 このパラメータは、デバッグ時にチェックし、実際実行時にチェックを外すことをお薦めします。
  • 異なる対象物を可視化する方式
    初期値：Instances
    オプション：Threshold、 Instances、 Classes、CentralPoint
    調整説明：異なるパラメータを選択することで、インスタンスの塗りつぶし方法を変更できます。
    Threshold：塗りつぶされた色はインスタンスの信頼度によって決まり、信頼度が信頼度のしきい値より大きいインスタンスは緑で塗りつぶされるか、それ以外の場合は赤で塗りつぶされます。
    Instances：各インスタンスに異なる色で塗りつぶします。
    Classes：同じラベルのインスタンスに同じ色で塗りつぶします。
    CentralPoint
フィルタリング設定
  • 重複対象物のマスクをフィルタリング
    初期値：チェックを入れない
    オプション：チェックを入れる/チェックを入れない
    調整説明：チェックを入れると、重複対象物のマスクが除去されます。