훈련에 필요한 데이터를 수집하기

주의

데이터 수집은 딥러닝 프로젝트의 가장 핵심적인 부분이라고 할 수 있습니다. 모델의 최종 효과는 훈련 용 데이터의 질에 크게 의존하며 질이 높은 데이터가 모델 훈련의 효과 및 예측 정확성을 향상시킬 수 있습니다.

데이터 수집하는 환경은 구체적인 요구에 반드시 부합해야 함

  1. 촬영할 때 필름이 빛에 과다하게 노출된 경우, 조명이 과하게 어두운 경우,색상 왜곡, 뚜렷하게 보이지 못하는 경우 또는 주변에 차단물이 있는 경우 등을 피하세요. 이런 경우에 딥러닝 모델이 필요한 물체 특징을 반영할 수 없기 때문에 모델 사용 효과에 영향을 미칠 수도 있습니다.

    ../../../_images/1_overexposed1.png
    ../../../_images/2_darker_lighting.png
    ../../../_images/3_color_distortion.png
    ../../../_images/4_obscure.png
    ../../../_images/5_occluded.png
  2. 데이터를 수집할 때의 배경、시각、높이 등 요소가 반드시 실제 응용 시나리오와 일치해야 합니다. 불일치가 있을 경우 실제 응용 시 딥러닝의 효과가 떨어지며 필요한 경우 데이터를 다시 수집해야 합니다. 따라서 미리 실제 응용 상황을 확인해야 합니다.

    ../../../_images/6_background_inconsistent.png
    ../../../_images/7_field_mismatch.png
    ../../../_images/8_height_mismatch.png

데이터 수집 수량(이미지 캡처 수량)

  • 타겟 물체가 단일하면 이미지 약 50 장을 캡처하면 됩니다.

  • 타겟 물체의 종류가 다양하면 한 종류씩 약 30 장을 캡처하면 되고 캡처할 총수 = 30 * 물체 종류별 입니다.

  • 이것은 일반적인 캡처 수량이고 전형적인 프로젝트를 실행 시 요구가 더 세분됩니다. 자세한 정보는 전형적인 프로젝트 데이터 수집 양상 을 참고하세요.

주의

훈련 용 데이터가 매우 적은 경우에는 모델에게 제공할 수 있는 샘플이 부족해서 커브 피팅을 통해 얻은 데이터를 사용하면 딥러닝 모델이 효율적으로 훈련될 수 없고 테스트할 때의 오류율이 매우 높을 수도 있습니다. 반면에 데이터가 매우 많은 경우에는 훈련 속도를 크게 낮출 수 있으니 합리적으로 데이터를 수집하기 바랍니다.

이미지 캡처 시 물체의 배치 방식

요구에 따라 모든 가능한 배치 상황에 대해 합리적인 수량의 데이터를 수집해야 합니다. 예를 들어 실제 생산 시 물체가 가로 배치된 것과 세로 배치된 것이 다 있는 경우에 가로 배치된 물체의 이미지만 캡처해서 훈련시키면 세로 배치된 물체에 대해 인식하지 못할 수도 있습니다. 또한 실제 상황에서 물체들이 무작정 배치되고 서로 가리는 경우에는 단일한 물체의 이미지만 캡처하면 쌓여 있는 물체에 대해 인식하지 못할 수도 있습니다. 따라서 데이터를 수집할 때 실제 생산 현장의 모든 시나리오를 고려해야 합니다 . 구체적으로 다음과 같습니다:

  • 수집한 데이터에 실제로 모든 가능한 물체 방향 을 포함해야 합니다.

  • 수집한 데이터에 실제로 모든 가능한 물체 위치 를 포함해야 합니다.

  • 수집한 데이터에 실제로 모든 가능한 물체 간 관계 를 포함해야 합니다.

주의

어떤 가능한 상황이 빠지면 딥러닝 모델은 해당 상황에 대해 학습하지 못하게 되어 이 상황 아래에 유효하게 인식할 수 없습니다. 따라서 실제 상황에 따라 샘플을 추가하여 오류율을 낮춰야 합니다.

  1. 물체 방향

    ../../../_images/9_different_towards.png

    물체가 위로 향하는 면이 다른 경우

  2. 물체 위치

    ../../../_images/10_different_situations.png

    물체가 피킹 용기의 가운데 & 사방 & 모서리에 있는 경우

    ../../../_images/11_different_layers.png

    물체가 다른 층에 있는 경우

  3. 물체 간 관계

    ../../../_images/12_different_positions.png

    물체를 평평하게 펴거나 서로 쌓여 있는 경우

    ../../../_images/13_different_positions.png

    물체들이 서로 밀착하게 붙이는 경우

Mech-Vision을 통해 데이터를 수집하기

위에 언급한 캡처 환경, 수량 및 배치 방식 등 요소를 모두 확인한 뒤 Mech-Vision을 통해 다음과 같은 스텝 세트를 사용하여 데이터를 수집할 수 있습니다. 자세한 정보는 capture_images_from_camera 를 참고하세요.

../../../_images/step_combination.png

기존 프로젝트 데이터 수집 양상

  1. 금속 부품 프로젝트에 타겟 물체가 단일하여 약 50 장을 캡처하면 됩니다. 물체 방향 방면에 누워 있거나 서 있을 수 있으니 이미지를 캡처할 때 두 가지 가능성을 모두 고려해야 합니다. 물체 배치 방식 방면에 물체가 피킹 용기의 가운데, 사방 혹은 모서리에 있는 상황과 높이가 다른 상황을 고려해야 합니다. 물체 간 관계 방면에 서로 쌓여 있는 경우 이외에도 소량의 물체가 나란히 배치된 경우도 고려해야 합니다. 실제로 캡처한 이미지는 아래와 같습니다:

    ../../../_images/14_metal_part_placement_status.png

    소량 물체가 어지럽게 흩어지는 경우(왼쪽 상단) & 집중적으로 어지럽게 흩어지는 경우(오른쪽 상단) & 쌓여 있는 경우(왼쪽 하단) & 집중적으로 어지럽게 흩어지는 경우(오른쪽 하단)

    ../../../_images/15_metal_part_poses.png

    평평하게 펴는 경우 & 서 있는 경우 & 쌓여 있는 경우 & 나란히 배치되는 경우

  2. 어떤 일용품 프로젝트에 7 가지의 물체들이 썪어서 배치되어 있으므로 분류해야 합니다. 이미지를 캡처할 때 물체 특징을 전면적으로 획득할 수 있도록 《단일 물체 다양한 방향으로 배치되는 경우》 및 《다종의 물체 혼합되어 배치되는 경우》를 고려해야 합니다. 단일 물체 다양한 방향으로 배치되는 경우에 캡처 수량은 5 * 종류별이고 다종의 물체 혼합되어 배치되는 경우에 캡처 수량은 20 * 종류별입니다. 물체 방향 방면에 물체가 평평하게 눕거나 옆으로 서거나 기울일 수 있으며 수집 시 각종 가능성을 고려해야 합니다. 물체 위치 방면에는 물체가 피킹 용기의 가운데, 사방, 모서리 등 위치를 ​​고려할 필요가 있습니다. 물체 간 관계 방면에는 쌓여 있는 상황 외에 나란히 배치되는 상황과 밀착하게 붙여 있는 상황을 고려해야 합니다. 실제로 캡처한 이미지는 다음과 같습니다:

    단일 물체 배치:

    ../../../_images/16_singel_class_subject_positions.png

    피킹 용기 모서리에 배치되는 경우(왼쪽 상단) & 긴밀하게 이어지는 경우(오른쪽 상단) & 밀착하게 붙여 있는 경우(왼쪽 하단) & 소량 물체가 어지럽게 흩어지는 경우(오른쪽 하단)

    혼합 물체 배치:

    ../../../_images/17_mix_classes_subject_positions.png

    밀착하게 붙여 있는 경우 & 피킹 용기 모서리에 있는 경우 & 어지럽게 쌓여 있는 경우

  3. 트랙슈 프로젝트에 트랙슈의 종류가 다양해서(30*종류별)장의 이미지를 캡처해야 합니다. 물체 방향 방면에 앞면이 위를 향하는 상황만 고려하면 됩니다. 물체 위치 방면에 배치 방식은 단일하지만 높은 층, 중간 층 및 낮은 층 등 다양한 높이의 데이터를 수집해야 합니다. 물체 간 관계 방면에 질서정연하게 쌓아두는 물체들이 밀착하게 붙여 있는지를 주의해야 합니다. 실제로 캡처한 이미지는 다음과 같습니다:

    ../../../_images/18_different_layers.png

    높은 층 & 중간 층 & 낮은 층에서 보는 시야

  4. 금속 부품 프로젝트에 한 층에만 평평하게 펴 있으므로 50장의 이미지가 필요합니다. 물체 방향 방면에 한 층에만 평평하게 펴 있으므로 앞면이 위를 향하는 상황만 고려하면 됩니다. 물체 위치 방면에는 물체가 피킹 용기의 가운데, 사방 및 모서리 등 위치를 ​​고려할 필요가 있습니다. 물체 간 관계 방면에는 밀착하게 붙여 있는 상황을 고려해야 합니다. 실제로 캡처한 이미지는 다음과 같습니다:

    ../../../_images/19_different_situations.png

    한 층에 빈틈없이 펼쳐져 있는 경우 & 피킹 용기의 사방에 있는 경우 & 피킹 용기의 모서리에 있는 경우

  5. 금속 부품 프로젝트에 여러 층에 가지런히 쌓인 경우에 30장의 이미지의 이미지를 캡처해야 합니다. 물체 방향 방면에 앞면이 위를 향하는 상황만 고려하면 됩니다. 물체 위치 방면에는 물체가 피킹 용기의 가운데, 사방 및 모서리 등 위치 및 다양한 높이를 고려할 필요가 있습니다. 물체 간 관계 방면에는 밀착하게 붙여 있는 상황을 고려해야 합니다. 실제로 캡처된 이미지는 다음과 같습니다:

    ../../../_images/20_different_layers_positions.png

    높은 층에 배치되는 경우 (왼족 상단) & 높은 층에 소량의 물체가 배치되는 경우(오른쪽 상단) & 낮은 층에 빈틈없이 배치되는 경우(왼쪽 하단) & 낮은 층 피킹 용기 사방에 배치되는 경우(오른쪽 하단)