3D 비전 가이던스에서 인스턴스 세그먼테이션 모델 사용
인스턴스 세그먼테이션 모델은 3D 비전 가이던스 애플리케이션에서 물체를 인식하고 위치를 파악하는 데 사용될 수 있습니다. 본 섹션에서는 Mech-Vision을 사용한 비전 가이던스 애플리케이션에서 인스턴스 세그먼테이션 모델을 활용하는 방법을 설명합니다.
현재 Mech-Vision은 다음 두 가지 방식을 사용하여 딥 러닝 모델 패키지를 가져올 수 있습니다.
-
딥 러닝 모델 패키지 추론 스텝을 통해 가져오기
-
3D 대상 물체 인식 스텝의 딥 러닝으로 인식 지원 기능을 사용하여 모델 패키지 로드하기
일반적으로 두 번째 방식을 권장합니다. 딥 러닝 기반 분할과 3D 매칭을 함께 사용하면 프로젝트를 보다 효율적으로 처리할 수 있습니다. 이 섹션에서는 두 번째 방식을 사용하여 Mech-Vision에서 인스턴스 세그먼테이션 모델을 적용하는 방법을 소개합니다.
이 프로세스는 딥 러닝 모델 패키지 가져오기, 2D ROI 검사, 신뢰도 임계값 설정, 팽창 파라미터 조정의 네 단계로 구성됩니다.
딥 러닝 모델 패키지 가져오기
-
Mech-Vision 프로젝트를 열고 3D 대상 물체 인식 스텝에서 구성 마법사 버튼을 클릭하여 오퍼레이터 인터페이스를 엽니다.
-
대상 물체 선택 및 인식 페이지로 이동하여 딥 러닝으로 인식 지원 옵션을 활성화합니다. 모델 패키지 관리 도구를 클릭합니다. 딥 러닝 모델 패키지 관리 창에서 모델 패키지 도입하기 버튼을 클릭한 후, 훈련된 딥 러닝 모델 패키지를 선택합니다.
-
'딥 러닝 사용' 패널에서 사용할 모델 패키지를 선택합니다.
2D ROI 설정
인식 정확도를 높이려면 2D ROI를 설정해야 합니다. 이 ROI는 Mech-DLK에서 모델 훈련 시 설정된 ROI범위와 기본적으로 동일합니다. 대상 물체가 ROI 범위 밖에 있다면 상황에 맞게 조정할 수 있습니다. 단, 조정된 ROI가 훈련 시 범위와 지나치게 다를 경우 모델 효율성에 영향을 줄 수 있으므로, 이 경우에는 훈련 단계에서 ROI를 다시 설정하는 것이 필요합니다.
신뢰도 임계값 설정
딥 러닝 결과 탭으로 전환한 후, 추론 구성 버튼을 클릭합니다. 추론 구성 창에서 인스턴스 세그먼테이션의 신뢰도 임계값을 설정하여, 신뢰도가 낮거나 최적화되지 않은 분할 결과를 필터링할 수 있습니다. 조정 결과, 약 0.6의 신뢰도 임계값이 가장 우수한 마스크 성능을 제공하는 것으로 확인되었습니다.
스텝 실행을 통해 결과를 확인해 보세요.
팽창 파라미터 설정
팽창 파라미터는 딥 러닝 모델이 완전한 에지 마스크 정보를 생성하여, 물체의 전체 포인트 클라우드 데이터를 확보할 수 있도록 설정하는 데 사용됩니다. 사용하기 전에 인식 결과 탭으로 전환하여 현재의 포인트 클라우드를 볼 수 있습니다. 이 시나리오에서는 에지 포인트 클라우드가 완전하기에 팽창 파라미터를 조정할 필요가 없습니다.
이것으로 Mech-Vision 프로젝트에 인스턴스 세그먼테이션 모델 패키지의 가져오기 및 구성이 완료되었습니다. 이제 Mech-Vision 프로젝트를 실행하여 물체를 식별할 수 있습니다.
추가 Tip : 최적화 방법
인식 결과가 만족스럽지 않은 경우, 먼저 카메라에서 이미지 캡처하기 스텝을 실행하여 이미지 상태를 확인할 수 있습니다. 이미지가 충분히 선명하지 않거나 가장자리가 흐릿한 경우, 이미지 휘도 및 컬러 밸런서 스텝을 사용하여 대비를 조정합니다. 이 스텝은 색상과 밝기의 균형을 맞춰, 가장자리 감지 및 물체 인식 정확도를 높이는 데 도움이 됩니다.
해당 스텝을 거치면 이미지 품질이 눈에 띄게 개선되는 것을 확인할 수 있습니다.
이미지 품질이 충분히 향상되었음에도 불구하고 인식 결과가 여전히 만족스럽지 않다면, 오인식된 이미지를 훈련 데이터로 사용해 딥 러닝 모델을 반복 훈련시켜야 합니다. 이를 통해 더 나은 성능의 새로운 모델을 얻을 수 있습니다.