ディープランニングの使用シーン

過去バージョンのマニュアルを表示しています。最新版のマニュアルを表示するには、ページの右上隅にあるバージョン番号をクリックして切り替えてください。

2D カメラ+ディープラーニング

以下では 2D カメラ+ディープラーニングの使用シーンについて説明します。シーンによって異なるモジュールを使用してください。

すばやく位置決め

対象物の姿勢を修正します。

  • 対称パーツの角度を認識して揃えます。

    quick location 1

欠陥セグメンテーション

各種類の欠陥を検出します。例えば、汚れ、気泡、キズなど表面にある欠陥。または曲げ、不規則的な形、破損などの外見欠陥。この検出は、微小な欠陥、複雑な背景、ランダムなワーク位置にも対応できます。

  • レンズ表面の気泡や接着剤のはみ出しを検出します。

    defection 1
  • パーツの曲げを検出します。

    defection 2

画像分類

ワークの表裏・向きを判別し、欠陥種類を判断し、対象物が欠落しているか、きちんと配置されているかを判断します。

  • ワークのレイアウトがきれいか乱雑かを判別します。

    classification 1
  • ワークの表と裏を判別します。

    classification 2

対象物検出

PCB の電子部品の欠落など、固定位置における部品の欠落を検出するために使用します。

  • 鉄筋をカウントします。

    detection 2

インスタンスセグメンテーション

一種または数種類の対象物を判別し、輪郭を分割します。

  • 多種類積み木をセグメンテーションします。

    instance segmentation 1
  • バラ積みトラックリンクをセグメンテーションします。

    instance segmentation 2
  • 密集している段ボールをセグメンテーションします。

    instance segmentation 3

テキスト検出

画像にあるテキスト領域を検出し、背景の干渉を軽減するために使用します。

  • 画像にあるテキスト領域を検出します。

    text detection

テキスト認識

画像にあるテキスト(英文文字、数字、一部の特殊符号)を認識します。

  • 画像のテキストを素早く認識します。

    text recognition

教師なしセグメンテーション

OK 画像だけを使用してとトレーニングし、設定したしきい値によって画像を OK、NG、Unknown と判断します。

  • 設定したしきい値によって画像は OK/NG/Unknown かを判断し、欠陥があればその欠陥の領域を大まかに表示します。

    unsupervised segmentation

3D カメラ+ディープラーニング

点群情報だけでワークを正確に認識、位置決めできない場合があります。3D カメラ+ディープラーニングを使用します。

点群のロス

下図のようなプロジェクトを例として説明します。

  1. 2D 画像:下図では反射性ワークは密集しており、数も多いです。ワークのエッジと形状がはっきり見えます。

    application scenarior 1
  2. 点群:反射性があるため点群のロスが発生しました。ワークの軸方向の点群がロスします。

    application scenarior 2

点群のロスのせいで点群のマッチングが間違い、位置姿勢のずれが発生することがあります。また、ワークの点群が密集しているためマッチングが間違う可能性が高いです。ワークの数が多くてビジョン処理の時間は長くなります。

この場合、「インスタンスセグメンテーション」モジュールを使用してモデルをトレーニングしてから、Mech-Vision でディープラーニング関連のステップを使用してワークを認識します。それからマスクの点群を抽出して位置姿勢 A を計算し、マスクにより生成した点群を使用して位置姿勢 B を生成します。位置姿勢 B を使用して元点群位置姿勢 A の X、Y を校正します。

application scenarior 3

点群に重要な特徴ロス

下図のようなプロジェクトを例として説明します。

  1. 2D 画像:下図では赤い枠はワーク A と B の正面で、青い枠はワーク A と B の裏面です。矢印は正面・裏面を判別する重要な特徴を指します。

    application scenarior 4
  2. 点群:重要な特徴が見えません。

    application scenarior 5

特徴が小さいため(点群ではほとんど見えない)、点群を使用してワークの種類判別などを実行するときに間違うことがあります。

この場合に「インスタンスセグメンテーション」モジュールを使用してモデルをトレーニングし、ワークの種類によって異なるラベルを付けます。Mech-Vision のディープラーニング関連のステップでこのモデルを使用するとワークのマスクを抽出すると同時にそのワークの種類ラベルも出力されます。

application scenarior 6

ワークの点群がなくなる

下図のようなプロジェクトを例として説明します。

  1. 2D 画像:波形スリーブは光を反射し、コンテナの中に密集しています。

    application scenarior 7
  2. 点群:点群のロスが発生し、ワークの点群がなくなることもあるます。

    application scenarior 8

特徴点群が少ないため、3D 特徴マッチングによりワークの位置決めと位置姿勢計算はできません。このような点群を使用してマッチングすると間違う可能性も高いです。

この場合に、2D 画像にワークのエッジがはっきり見えるので「インスタンスセグメンテーション」モジュールを使用してモデルをトレーニングし、Mech-Vision のディープラーニング関連のステップでこのモデルを使用します。出力したマスクによりマスクを生成し、この点群位置姿勢、つまり把持位置姿勢を再度計算します。

ワーク表面のパターンと色領域を位置決め

下図のようなプロジェクトを例として説明します。

  1. 2D 画像:アルミフレームに黄色いテープが付いています。このテープによりフレームの向きを確認できます。

    application scenarior 12
  2. 点群:ワークの点群がよく取得しましたが、テープの点群は取得できません。

    application scenarior 13

対象特徴はカラー画像には見えますが、点群としては取得できません。

この場合に、テープを位置決めすればフレームの向きがわかります。 「対象物検出」モジュールを使用してモデルをトレーニングし、Mech-Vision のディープラーニング関連のステップでこのモデルを使用してワークを位置決めします。

application scenarior 14

深いコンテナからのばら積みピッキング

下図のようなプロジェクトを例として説明します。

  1. 2D 画像:ばら積み鋼棒を処理します。その中、反射性がある鋼棒があります。鋼棒同士は積み重ねがあります。

    application scenarior 15
  2. 点群:表面が全部露出しているワークの点群をよく見えるように取得しました。積み重ねられたワークの点群をなかなかクラスタリングできません。

    application scenarior 16

ワークの姿勢が様々なので点群のマッチングは難しいです。点群のマッチングの間違いが発生すると位置姿勢の計算も間違います。また、点群のモデルだけを使用して全体のマッチングを行えばビジョン処理の時間が長くなります。

この場合、「インスタンスセグメンテーション」モジュールを使用してモデルをトレーニングし、Mech-Vision のディープラーニング関連のステップでこのモデルを使用してワークのマスクを個別に抽出します。それからワークの点群を個別に取得し、後続の点群のマッチングを行います。

application scenarior 17

密集しているワークを見分けられない

下図のようなプロジェクトを例として説明します。

  1. 2D 画像:カメラで収集した画像は暗いためワークのエッジの情報のロスが発生します。画像の輝度を上げます。するとエッジの特徴や寸法、グレースケールを取得できます。

    application scenarior 18
  2. 点群:点群をよく取得しましたが、ワーク同士が密集しているためエッジはよく見えません。

    application scenarior 19

ワーク同士の点群も密集しており、ワークごとに点群をクラスタリングできません。全体の点群でマッチングすると間違いが発生します。

この場合、「インスタンスセグメンテーション」モジュールを使用してモデルをトレーニングします。Mech-Vision のディープラーニング関連のステップでこのモデルを使用して点群を抽出します。それから点群のマッチングを行います。

application scenarior 20

多種類のワークの認識・把持

下図のようなプロジェクトを例として説明します。

  1. 2D 画像:左はばら積み配置で右はワークを見分けた画像です。2 枚とも 2D 画像として情報をよくとれました。

    application scenarior 21
  2. 点群:ワークの点群をよくとれ、ワークの形状特徴もはっきりと見えます。

    application scenarior 22

円柱形状のワークに対し、点群でマッチングすれば向きを判定できません。また、点群によりワークのカテゴリを直接に判断できません。

この場合、左図のワークに対して「インスタンスセグメンテーション」モジュールを使用してモデルをトレーニングします。それから Mech-Vision のディープラーニング関連のステップでこのモデルを使用して認識、セグメンテーションし、ワークのマスクを出力します。それで後続の点群処理を行います。

application scenarior 23

右図のワークに対して「インスタンスセグメンテーション」モジュールを使用してワークを一個ずつ認識し、ワークの形状やパターンなどによって「対象物検出」モジュールを使用してワークの向きを判断します。(下図の左はインスタンスセグメンテーションの結果で、右は対象物検出で向き判定の結果です)

application scenarior 24

Mech-Mindは、お客様のプライバシーを重視しています

このサイトでは最高の体験を提供するために Cookie を使用しています。サイトの閲覧を続ける場合、Cookie の使用に同意したことになります。「拒否する」を選択すると、このサイトを訪れた際に追跡や記憶が行われないように単独の Cookie が使用されます。