딥 러닝 응용 시나리오

물체의 자세를 수정합니다.

다양한 유형의 결함을 감지합니다. 땟국, 기포 결함, 긁힘 등 표면 결함 및 구부러짐, 비정상적인 형태, 누락과 같은 위치 결함 등을 검출할 수 있습니다. 결함이 작은 경우, 배경이 복잡한 경우 및 작업물 위치가 고정되지 않은 경우와 같은 복잡한 상황에서 여전히 사용할 수 있습니다.

작업물의 앞/뒷면, 방향을 구분하고 물체 결함의 유형을 판단하며 물체가 누락되었는지와 정렬되어 있는지를 판단하는 데 사용됩니다.

PCB의 누락된 구성 요소와 같이 고정된 위치에 배치된 작업물의 누락 여부를 감지하는 데 사용되며 물체 수량을 계산하는 데에도 사용할 수 있습니다.

단일 또는 다중 종류의 체를 구분하고 해당 윤곽선을 분할합니다.

아래 그림에 표시된 작업물을 예로 들어 보겠습니다.

작업물의 축 방향에서 포인트 클라우드가 누락되면 포인트 클라우드 매칭 오배치가 발생하여 포즈 편차가 크며 작업물이 서로 가깝고 포인트 클라우드를 분리할 수 없으며 오정렬이 발생합니다. 또한 작업물이 크고 비전 처리의 사이클 타임이 매우 깁니다.

이러한 경우, “인스턴스 세그먼테이션” 모듈을 사용하여 해당 모델을 훈련시켜 Mech-Vision에서 딥 러닝 관련 스텝을 통해 작업물을 인식합니다. 다음으로 마스크와 대응한 포인트 클라우드를 추출하고 매칭을 수행하며 포즈A를 계산합니다. 마스크를 사용하여 대응한 포인트 클라우드를 생성하여 포즈B를 계산한 후 포즈B를 통해 원시 포인트 클라우드의 포즈A의 X,Y에 대해 교정을 수행합니다.

아래 그림에 표시된 작업물을 예로 들어 보겠습니다.

작업물 종류를 구분하는 데 사용되는 특징점은 매우 작기 때문에(심지어 포인트 클라우드에서 이미 완전히 손실됨) 작업물 종류를 구분하기 위해 포인트 클라우드 매칭을 사용하면 잘못 매칭되어 분류 오류가 발생합니다.

이러한 경우에 "인스턴스 세그먼테이션" 모듈을 사용하여 모델을 훈련시키고 다른 종류의 작업물에 대해 서로 다른 분류 레이블을 지정할 수 있습니다. Mech-Vision 딥 러닝 관련 스텝에 이 모델을 사용하면 단일 작업물의 마스크를 추출하는 동시에 해당 작업물의 분류 레이블도 함께 출력합니다.

아래 그림에 표시된 작업물을 예로 들어 보겠습니다.

포인트 클라우드의 특징점이 부족하여 3D 매칭 특징 포인트 클라우드의 손실로 인해 작업물의 위치 및 포즈 계산에 포인트 클라우드 매칭을 사용할 수 없습니다. 포인트 클라우드 매칭을 직접 사용하면 빈 바닥 면으로 잘못된 매칭할 수도 있습니다.

이러한 경우에 작업물은 빛반사 부품이지만 2D 맵에서 작업물의 에지 정보는 매우 명확하므로 "인스턴스 세그먼테이션" 모듈을 사용하여 해당 모델을 훈련시킬 수 있습니다. 이 모델을 Mech-Vision 딥 러닝 관련 스텝에서 사용하며 출력된 마스크를 통해 포인트 클라우드를 생성한 다음 피킹 포즈인 포인트 클라우드 포즈를 다시 계산합니다.

아래 그림에 표시된 작업물을 예로 들어 보겠습니다.

대상 특징 영역은 컬러 맵에만 존재하므로 포인트 클라우드로 구분할 수 없습니다.

이러한 경우에 노란색 테이프의 대략적인 위치를 찾은 다음 알루미늄 프레임의 방향을 확인하기만 하면 됩니다. “물체 검출” 모듈을 사용하여 모델을 훈련시키고 Mech-Vision 딥 러닝 관련 스텝에서 이 모델을 통해 작업물의 위치를 지정합니다.

아래 그림에 표시된 작업물을 예로 들어 보겠습니다.

포인트 클라우드 클러스터링은 단일 작업물을 안정적으로 클러스터링할 수 없으며, 작업물의 포즈가 다르기 때문에 포인트 클라우드 매칭을 위한 모델 선택이 어렵고, 포인트 클라우드 매칭은 매칭 오류 및 불일치를 유발하여 포즈 계산이 매우 부정확합니다. 포인트 클라우드 모델을 사용하여 전역 매칭을 수행하면 비전 처리의 사이클 타임이 너무 길어집니다.

이러한 경우에 “인스턴스 세그먼테이션” 모듈을 사용하여 모델을 훈련시키고 Mech-Vision 딥 러닝 관련 스텝에서 이 모델을 통해 단일 작업물의 마스크를 추출한 다음에 마스크와 대응하는 단일 작업물의 포인트 클라우드를 획득하며 후속 단일 작업물의 포인트 클라우드 매칭을 수행합니다.

아래 그림에 표시된 작업물을 예로 들어 보겠습니다.

작업물의 포인트 클라우드는 매우 양호하지만 포인트 클라우드는 서로 접착되어 단일 작업물을 클러스터링 할 수 없습니다. 전역 포인트 클라우드 매칭을 사용하면 불일치 및 불일치가 발생할 수 도 있으며 심지어 빈에 매칭되는 경우도 있습니다.

이러한 경우에 "인스턴스 세그먼테이션" 모듈을 사용하여 해당 모델을 훈련시킬 수 있습니다. Mech-Vision 딥 러닝 관련 스텝에서 이 모델을 통해 대응하는 포인트 클라우드를 추출하고 포인트 클라우드 매칭을 수행합니다.

아래 그림에 표시된 작업물을 예로 들어 보겠습니다.

원통 모양의 작업물의 경우, 포인트 클라우드에 방향 특징이 반영되지 못하기 때문에 포인트 클라우드 매칭을 사용하여 작업물의 방향을 구분할 수 없습니다. 또한 포인트 클라우드를 통해 작업물의 종류를 직접 구분하기가 어렵습니다.

이러한 경우에, 왼쪽 워크스테이션에서 “인스턴스 세그먼테이션” 모듈을 사용하여 모델을 훈련시키고 Mech-Vision 딥 러닝 관련 스텝에서 이 모델을 통해 작업물을 인식하고 분할하며 대응하는 작업물 마스크를 출력한 다음에 후속 포인트 클라우드의 처리 프로세스를 수행합니다.

오른쪽 워크스테이션에서 “인스턴스 세그먼테이션” 모듈을 사용하여 단일 작업물을 인식하고 이 작업물의 모양, 표면 패턴 등 특징을 기반으로 하여 “물체 검출” 모듈을 통해 작업물의 방향을 판단합니다. (아래 왼쪽 그림은 인스턴스 세그먼테이션의 결과이며 오른쪽 그림은 물체 검출의 결과입니다.)