프로젝트 상세 설명

응용 시나리오

소형 비 평면 부품에 적용된 작업물은 다음과 같은 요구 사항을 충족합니다. 작업물의 수는 비교적 많고 부피는 비교적 작은 특징이 있습니다. 작업물의 특징이 많지만 겹치는 부분이 있어 특징 인식에 영향을 미칩니다. 그리고 작업물에는 평면 작업물과 달리 앞면과 뒷면을 구별해야 하는 특성이 있습니다.

프로젝트 구축

작업물 수량이 비교적 많으면 적층이 발생하기 쉽기에 딥 러닝을 사용해 인스턴스 세그멘테이션 및 3D 매칭을 진행해야 합니다. 소형 비 평면 부품 프로젝트 프로세스는 다음 그림과 같습니다.

비전 처리 프로세스 및 상세 설명

다음은 프로젝트의 스크린샷입니다. 아래에서 각 부분에 대해 자세히 설명합니다.

포인트 클라우드 사전 처리

소형 비 평면 부품 프로젝트에서는 먼저 뎁스 맵과 컬러 맵을 통해 포인트 클라우드를 생성하고 포인트 클라우드에 대해 법선 벡터 계산, 필터링 및 관심 영역 설정을 수행하여 포인트 클라우드로 3D 매칭을 위한 후속 준비를 합니다. 그 결과는 아래 그림과 같으며, 자세한 내용은 스텝 프로시저 포인트 클라우드 사전 처리 를 참조하세요.

인스턴스 세그멘테이션(컬러 맵)

소형 비 평면 부품 프로젝트에서 딥 러닝 알고리즘으로 대상 작업물을 인스턴스 세그멘테이션하고 작업물의 평면 투영을 찾고 마스크를 생성하여 작업물 포인트 클라우드의 후속 생성을 준비합니다. 결과는 아래 그림과 같습니다. 자세한 내용은 스텝 프로시저 인스턴스 세그멘테이션(컬러맵) 을 참조하십시오.

마스크안에 대응하는 포인트 클라우드를 추출하기

마스크 이미지와 포인트 클라우드를 통해 마스크 아래의 포인트 클라우드를 얻은 후, 작업물의 포인트 클라우드 모델을 구합니다. 그 결과는 아래 그림과 같으며, 자세한 내용은 스텝 프로시저 마스크안에 대응하는 포인트 클라우드를 추출하기 를 참조하십시오.

포인트 수가 제한을 초과하는 포인트 클라우드를 제거하기

포인트 클라우드가 생성된 후 포인트 클라우드에 대해 필터링합니다. 3D 매칭에 영향을 미치는 포인트 클라우드를 필터링하여 매칭 정밀도를 향상시킵니다. 결과는 아래 그림에서 표시한 바와 같습니다. 자세한 내용은 스텝 프로시저 포인트 수가 제한을 초과하는 포인트 클라우드를 제거하기 를 참조하세요.

3D 매칭

포인트 클라우드를 필터링한 후, 작업물에 대해 3D 매칭을 진행하여 픽 포인트를 획득합니다. 3D 매칭 결과는 아래 그림과 같으며, 자세한 내용은 스텝 프로시저 3D 매칭 을 참고하세요.

픽 포인트 순서 배열

픽 포인트를 찾은 후, 픽 포인트에 대해 좌표계를 변환, 배열, 여러 픽 포인트로 매핑 등 일련의 작업을 수행합니다. 구체적인 내용은 픽 포인트 순서 배열 을 참조하십시오.