일반적인 매칭 방안의 Mech-Vision 프로젝트 구축 정리

일반적인 매칭 방안은 크게 단순 매칭 방식과 딥 러닝+매칭 방식 두 가지로 나뉘는데, 차이는 매칭 전 포인트 클라우드 영역을 선택하는 방식입니다.

• 단순 매칭 방식의 포인트 클라우드 영역 선택은 일반적으로 포인트 클라우드 처리를 기반으로 선택란 것입니다.

• 딥 러닝+매칭 방식의 포인트 클라우드 영역 선택은 딥 러닝 인식으로 도출한 Mask를 기반으로 선택한 것입니다.

그림1 일반적인 매칭 방안의 Mech-Vision 프로젝트 구조

그림1에서 볼 수 있듯이 일반적인 매칭 방안의 Mech-Vision 프로젝트 구조는 다음과 같은 부분으로 구성됩니다.

• 카메라에서 이미지를 캡처하기 ：카메라 데이터를 획득하는 것입니다. 컬러 이미지(RGB), 뎁스 맵(Depth)을 포함하여 실제 상황에 따라 해당 카메라 속성을 선택하거나 작성하시면 됩니다.

• 포인트 클라우드 사전 처리 ：뎁스 맵을 포인트 클라우드로 전환하고 포인트 클라우드 법선 벡터를 계산하여 ROI에서 필터링된 포인트 클라우드를 추출합니다.

• 发送点云到外部服务 ：뎁스 맵에서 전환된 포인트 클라우드(XYZ-RGB)를 Mech-Viz 소프트웨어로 전송하여 시각화를 진행합니다.

• 根据深度图获取RGB图像 ：뎁스 맵 ROI의 최상위 레이어에 의해 RGB 이미지를 획득하고 다른 영역이 후속 딥 러닝 인식에 줄 간섭을 제거합니다.

• 딥 러닝 인식으로 Mask 도출: 입력된 이미지에서 타겟 물체를 감지하여 인식하고, 이미지에서 타겟 물체의 정확한 위치(Mask)를 도출합니다. 实例分割组合 을 참고하세요.

• 过滤操作 、레이블 처리: 过滤操作 는 포인트 클라우드, 포즈, 레이블 등을 필요에 따라 필터링을 수행합니다. 레이블 처리는 디자인 프로세스 중 레이블의 사용, 매핑 등이 포함됩니다.

• 포인트 클라우드 처리: 포인트 클라우드가 매칭의 요구 사항을 충족할 수 있도록 포인트 클라우드를 최적화합니다.

• 匹配 ：단일/가장자리 모델 매칭, 단일/전체 모델 매칭, 다중/가장자리 모델 매칭, 다중/전체 모델 매칭 이 네 가지 방법이 포함됩니다. 다양한 응용 시나리오에 따라 활용할 수 있습니다.

• 포즈 스텝 편집기 에서 포즈를 편집하기: 매칭이 출력한 결과는 Mech-Viz에 직접 보내 작업시킬 수 없습니다. 좌표계 변환, 포즈 조정과 정렬 등 처리가 필요합니다. 포즈 스텝 편집기 를 통해 빠르게 포즈를 편집할 수 있습니다.

• 출력 ：Mech-Vision의 결과를 Mech-Viz에 출력합니다.

주의

根据深度图获取RGB图像 은 실제 상황, 예를 들어 모델 데이터를 컷아웃으로 교육되는 상황, 주변 환경이 감지할 타겟을 간섭하는 상황 등에 따라 사용해야 합니다. 나머지 상황에은 根据深度图获取RGB图像 를 추가하지 않은 딥 러닝 인식 결과와 대비하여 사용합니다.