고품질 모델을 훈련시키는 방법

이 부분에서는 모델 품질에 영향을 미치는 요소 및 고품질 인스턴스 세그먼테이션 모델을 훈련시키는 방법에 대해 소개하겠습니다.

이미지의 품질을 보장하기

  1. 노출 과다, 과다 어둡과하게 어두운 경우 , 색상 왜곡, 흐릿함, 가려진 경우 등을 피하십시오. 이러한 상황은 딥 러닝 모델이 의존하는 특징의 손실로 이어지고 모델 훈련 효과에 악영향을 미칩니다.

    improve model accuracy overexposed
    improve model accuracy darker lighting
    improve model accuracy color distortion
    improve model accuracy obscure
    improve model accuracy occluded

  2. 데이터를 캡처할 때의 배경, 시각, 높이 등 요소가 실제 응용과 일치해야 합니다. 일치하지 않으면 실제 응용 시 딥 러닝의 효과에 악영향을 끼쳐 데이터를 다시 캡처해야 하는 경우도 종종 있습니다. 따라서 이미지를 캡처하기 전에 부디 실제 작업 현장의 조건을 확인해야 합니다.

    improve model accuracy background inconsistent
    improve model accuracy field mismatch
    improve model accuracy height mismatch

데이터의 품질을 보장하기

"인스턴스 세그먼테이션" 모듈은 이미지 속 물체의 특징을 학습함으로써 모델을 훈련시키고 실제 응용 시나리오에 응용합니다. 따라서 캡처/선택한 데이터 세트는 반드시 실제 응용 시와 일치해야 고품질의 모델을 훈련시킬 수 있습니다.

데이터를 캡처하기

이미지를 캡처할 때 구체적인 요구 사항에 따라 다양한 배치 방식을 고려하여 합리적인 수량의 이미지를 캡처해야 합니다. 예를 들어, 실제 생산 시 물체가 수평적으로 혹은 수직적으로 들어올 수 있지만 수평적으로 들어온 물체의 데이터만 캡처하고 훈련시키면 수직적으로 들어온 물체에 대한 분류 효과를 보장할 수 없습니다. 따라서 데이터를 수집할 때 *실제 생산 시 다양한 응용 시나리오*의 데이터를 수집해야 하며 다음과 같은 사항을 고려해야 합니다:

  • 실제 응용에서 나타날 수 있는 물체의 방향 을 고려해야 합니다.

  • 실제 응용에서 나타날 수 있는 물체의 위치 을 고려해야 합니다.

  • 실제 응용에서 나타날 수 있는 물체 사이의 관계 을 고려해야 합니다.

어떤 상황에 대한 이미지를 캡처하지 않았다면 딥 러닝 모델을 훈련할 때 해당 상황에 대해 학습하지 못하게 되어 모델은 해당 상황을 식별하기 어려울 수도 있습니다. 따라서 실제 상황에 따라 데이터 샘플을 늘려 오차를 낮춰야 합니다.

물체의 방향

improve model accuracy different towards

물체의 위치

improve model accuracy different situations
improve model accuracy different layers

물체 사이의 관계

improve model accuracy positions
improve model accuracy different positions

캡처된 데이터의 예시

  1. 금속 부품, 단일 유형의 물체이므로 50장을 캡처합니다. 물체 방향 측면에서 평평하게 눕거나 옆으로 서 있을 수 있으므로 이미지를 캡처할 때 모두 고려해야 합니다. 물체 위치 측면에서 빈의 가운데, 주변, 모서리 및 다양한 높이에 위치할 수 있으므로 다양한 가능성을 고려할 필요가 있습니다. 물체 사이의 관계 측면에서 적재되는 경우와 소량 물체가 나란히 배열되는 경우를 모두 고려해야 합니다. 실제로 캡처한 이미지는 다음과 같습니다:

    improve model accuracy metal part placement status
    improve model accuracy metal part poses

  2. 7가지 종류의 생활용품이 혼재되어 분류가 필요하는 프로젝트인 경우, 물체 특성을 전면적으로 반영하기 위해 데이터를 캡처할 때 “단일 물체를 다양한 방향으로 배치하는 경우”와 “다양한 종류의 물체를 혼재하는 경우”를 모두 고려해야 합니다. 물체 종류가 단일한 경우, 이미지의 캡처 수량 = 5 * 종류 수량. 다양한 물체가 혼재되는 경우, 이미지의 캡처 수량 = 20 * 종류 수량. 물체 방향 측면에서 평평하게 눕거나 옆으로 서 있을 수 있거나 기울어질 수 있으므로 이미지를 캡처할 때 모두 고려해야 합니다. 물체 위치 측면에서 빈의 가운데, 주변, 모서리에 위치할 수 있으므로 다양한 가능성을 고려할 필요가 있습니다. 물체 사이의 관계 측면에서 적재되는 경우 외에도 나란히 배열되거나 밀착하게 붙어 있는 경우도 고려해야 합니다. 실제로 캡처한 이미지는 다음과 같습니다:

    • 단일 물체가 따로 배치될 때

      improve model accuracy singel class subject positions

    • 다양한 물체가 섞여서 배치될 때

      improve model accuracy mix classes subject positions

  3. 트랙슈 프로젝트의 경우 물체에 여러 모델이 있으므로 (30 * 모델 수량) 장을 캡처해야 합니다. 물체의 방향 측면에서 앞면이 위를 가리키는 상황만 고려하면 됩니다. 물체의 위치 측면에서 배치 방식은 단일하지만 디양한 높이(상, 중 ,하)의 시야각을 고려하여 이미지를 캡처해야 합니다. 물체 사이의 관계 측면에서 정렬되어 있으며 밀착하게 붙어 있는 상황에 특히 주의해야 합니다. 실제로 캡처한 이미지는 다음과 같습니다:

    improve model accuracy different layer

  4. 한 층에만 평평하게 배치되는 금속 부품 프로젝트의 경우, 50장을 수집합니다. 물체의 방향 측면에서 한 층에만 평평하게 배치되므로 앞면이 위를 가리키는 상황만 고려하면 됩니다. 물체의 위치 측면에서 빈의 가운데, 주변, 모서리에 위치할 수 있으므로 다양한 가능성을 고려할 필요가 있습니다. 물체 사이의 관계 측면에서 밀착하게 배치되는 경우를 고려할 필요가 있습니다. 실제로 캡처한 이미지는 다음과 같습니다:

    improve model accuracy different situation

  5. 여러 층으로 깔끔하게 쌓인 금속 부품 프로젝트의 경우 30장을 캡처합니다. 물체의 방향 측면에서 앞면이 위를 가리키는 상황만 고려하면 됩니다. 물체 위치 측면에서 빈의 가운데, 주변, 모서리 및 다양한 높이에 위치할 수 있으므로 다양한 가능성을 고려할 필요가 있습니다. 물체 사이의 관계 측면에서 밀착하게 배치되는 경우를 고려할 필요가 있습니다. 실제로 캡처한 이미지는 다음과 같습니다:

    improve model accuracy different layers positions

올바른 데이터를 선택하기

  1. 훈련 세트의 수량이 적당해야 함

    처음에 "인스턴스 세그먼테이션" 모듈을 사용하여 모델을 만들 때 이미지 30~50 장을 선택하여 훈련 세트로 사용하는 것이 좋습니다. 이미지의 수가 많으면 많을수록 효과가 더욱 좋은 것이 아닙니다. 초기 단계에 잘못된 데이터가 많으면 이후 모델 반복에 도움이 되지 않으며 모델 훈련 시간이 길어집니다.

  2. 대표적인 데이터를 선택해야 함

    데이터에 있는 이미지에는 대상 물체의 모든 조명, 색상, 크기 조건을 모두 포함해야 합니다.

    • 조명: 실제로 조명 조건이 변하게 되면 데이터에 조명이 없는 경우의 이미지를 포함해야 합니다.

    • 색상: 부품들의 색상이 다르면 데이터에 모든 색생의 이미지를 포함해야 합니다.

    • 치수: 부품들의 치수가 다르면 데이터에 모든 치수의 이미지를 포함해야 합니다.

      실제 작업 현장에 작업물이 회전, 크기 조정 등으로 인해 해당 이미지 데이터를 수집할 수 없는 경우가 나타날 수 있는데 이때 데이터 증강 훈련 파라미터를 조절함으로써 데이터 세트를 보완하여 현장의 모든 조건이 훈련 세트에 포함되도록 할 수 있습니다.

  3. 데이터의 비율이 균형을 이뤄야 함

    훈련 세트에 물체 종류가 서로 다른 이미지 비율은 균형을 이루어야 합니다. 그렇지 않으면 모델의 효과에 악영향을 끼칩니다. 한 물체의 이미지는 20장, 다른 물체의 이미지는 3장만 캡처하는 것은 금지되어 있습니다.

  4. 데이터는 실제 응용 시나리오와 일치해야 함

    이미지를 수집할 때의 조명 조건, 작업물 특징, 배경, 시야 크기 등 요소가 모델의 실제 응용 시나리오와 일치해야 합니다.

레이블링 품질을 보장하기

레이블링 방식을 확인하기

  1. 윗면의 윤곽에 대해 레이블링하기: 종이 상자, 약 케이스 및 직사각형 작업물 등 평평하게 배치되고 모양이 규칙적인 물체에 적합합니다. 윗면의 윤곽을 통해 픽 포인트를 계산하려면 사용자는 윗면의 직사각형 프레임에만 레이블링하면 됩니다.

    improve model accuracy 2 label upper surface

  2. 외윤곽 천제에 대해 레이블링하기: 마대, 각종 작업물 등에 적용됩니다. 이 방식은 일반적인 레이블링 방식입니다.

    improve model accuracy 3 label outer contour

  3. 특별한 경우: 클램프 또는 피킹 방식에 맞춰서 레이블링을 해야 하는 특별한 경우에 적용됩니다.

    • 빨판이 병 입구에 완벽하게 맞도록 해야 하며(높은 정밀도가 요구됨) 병 입구의 윤곽만 표기하면 됩니다.

      improve model accuracy 4 label bottle mouth

    • 로터를 피킹할 때 방향을 구분해야 하므로 방향을 명확하게 구분할 수 있는 중간 부분만 표기하며 되고 양쪽 부분을 표기할 필요가 없습니다.

      improve model accuracy 5 label the middle part of the rotor

    • 빨판으로 피킹하는 위치가 금속 부품의 중간에 있도록 해야 하므로 작업물 중간에 있는 금속 부분만 표기하고 양쪽 끝을 표기할 필요는 없습니다.

      improve model accuracy 6 label the middle part

레이블링 품질을 검사하기

레이블링 품질은 완전성, 정확성,일관성, 정밀성 등 측면에서 고려해야 합니다:

  1. 완전성: 모든 물체에 레이블을 지정하고 누락된 물체가 있으면 안됩니다.

    improve model accuracy contour missed

  2. 정확성: 물체와 해당 레이블이 서로 대응해야 합니다.

    improve model accuracy label name not correspond

  3. 일관성: 모든 데이터는 동일한 레이블링 규칙을 준수해야 합니다. 예를 들어 레이블링 규칙에서 전체 노출량의 85% 이상인 물체만 레이블링하도록 규정하는 경우, 해당 규칙을 만족하는 모든 물체를 레이블링해야 하며 특정 물체에 대해 레이블링하고 다른 유사한 물체에 대해 레이블링하지 않는 상황을 방지해야 합니다.

    improve model accuracy contour inconsistent

  4. 정밀성:레이블의 외곽선은 대상 물체의 가장자리에 최대한 밀착시켜야 하며 누락된 부분이 있거나 불필요한 영역도 레이블링을 하면 안됩니다.

    improve model accuracy contour incomplete over