실용 가이드

이 프로젝트의 기본 프로세스는 아래 그림과 같습니다.

../../../../../_images/overall_process.png

전형적인 응용 프로젝트를 새로 만들기

프로젝트를 만들기

메인 인터페이스 상단의 메뉴 바에서 전형적인 응용 ‣ 전형적인 응용 프로젝트를 새로 만들기 를 클릭하여 다음 인터페이스로 들어가거나, 툴바에서 전형적인 응용 프로젝트를 새로 만들기 를 클릭하여 다음과 같은 화면으로 들어갈 수 있습니다.

../../../../../_images/select_scene_4.png
  1. 소형 비 평면 부품 을 선택하세요.

  2. 자체 정의한 프로젝트 명칭을 입력하세요.

  3. icon_selectfilepath_deploymentguidance 를 클릭하여 프로젝트 파일의 저장 경로(빈 폴더를 만드는 것 권장함)를 선택하고 프로젝트를 만들기 를 클릭하세요.

사전 준비

카메라 캘리브레이션

카메라 캘리브레이션의 목적은 카메라의 파라미터 파일을 생성하여 로봇과 카메라 간의 위치 관계를 확인하기 위해서입니다.

툴바에 있는 카메라 캘리브레이션(표준) 을 클릭하여 카메라 캘리브레이션을 하세요.

../../../../../_images/standard_calibration.png

카메라 도우미 ‣ 카메라 캘리브레이션 ‣ 표준 을 클릭하여 캘리브레이션합니다.

../../../../../_images/standard_calibration_1.png

의문이 있으면 카메라 캘리브레이션 표준 모드 내용을 참고하세요.

카메라 구성

카메라를 사용하여 이미지를 캡처하기 전에 실제 상황에 따라 카메라의 번호, 파라미터 그룹, IP주소 등에 대해 정확하게 구성해야 합니다. 카메라에서 이미지를 캡처하기 내용을 참고하여 카메라를 구성하세요.

../../../../../_images/camera_configuration.png

2D ROI 및 3D ROI를 설정하기

프로시저에 있는 인스턴스 세그먼테이션 스텝을 더블 클릭하여 다음 페이지로 들어가고 나서 2D ROI 내 이미지의 크기를 조정하기 를 클릭하여 2D ROI를 설정하세요.

아래 그림과 같이 2D ROI를 설정하는 것은 이미지의 ROI 범위를 축소하고 딥 러닝 사전 처리 속도를 높이기 위해서입니다.

../../../../../_images/2d_roi.gif

또한 포인트 클라우드 사전 처리 프로시저에 있는 뎁스 맵을 포인트 클라우드로 전환하기 스텝도 2D ROI를 설정해야 하며 구체적인 방법은 위와 같습니다.

프로시저에 있는 포인트 클라우드 사전 처리 스텝을 더블 클릭하여 다음 페이지로 들어가고 나서 3D ROI내의 포인트 클라우드를 추출하기 를 클릭하여 3D ROI를 설정하세요.

아래 그림과 같이 3D ROI를 설정하는 것은 3D 공간의 ROI를 설정하여 원시 포인트 클라우드안의 대상 포인트 클라우드만 추출하고 배경 및 노이즈를 필터링하기 위해서입니다.

../../../../../_images/3d_roi.gif

ROI 설정 을 참고하여 2D ROI 및 3D ROI에 대해 설정하세요.

일반적으로 상자에는 소형 비 평면 부품이 무작위로 적층되어 있어 3D ROI 프레임 방식을 사용하여 상자와 작업물을 구별하기 어렵기 때문에 시나리오 포인트 클라우드를 효과적으로 필터링하기 어렵습니다. 이때 고정 배경을 설정하여 노이즈를 제거하기 는 상자와 같은 배경 간섭 정보를 더 잘 필터링할 수 있습니다.

인스턴스 세그먼테이션

참고

슈퍼 모델이 이미 있는 경우 이 스텝을 뛰어 넘어 인스턴스 세그먼테이션의 모델 파일 및 구성 파일의 경로를 설정하기 를 직접 수행하세요.

인스턴스 세그먼테이션의 목적은 카메라가 대상 물체의 유형, 모양 및 윤곽에 관한 정보를 획득하는 것입니다. 효과는 아래 그림과 같습니다.

../../../../../_images/segmentation_contrast.png

자세한 내용은 모델 훈련 을 참조하여 모델 훈련을 통해 모델 훈련 파일을 획득합니다.

포인트 클라우드 모델 생성

매칭 모델 및 픽 포인트 편집기 를 통해 대상 물체의 포인트 클라우드 모델을 생성하여 프로젝트 실행 시 인식된 물체의 포인트 클라우드와 이 모델과 비교함으로써 실제 픽 포인트를 생성합니다.

매칭 모델 및 픽 포인트 편집기를 사용하여 생성된 픽 포인트는 아래 그림과 같습니다.

../../../../../_images/generate_point_cloud_model_and_pick_point.png

생성된 모델 파일은 프로젝트 폴더에 저장될 것입니다.

프로젝트 구성

프로젝트 구성은 주로 각 스텝 모듈에 해당 파라미터를 설정하여 이전에 생성된 구성 파일을 해당 스텝으로 추가하여 프로젝트에 대해 구성하고 프로젝트 실행을 위해 준비하는 것입니다.

인스턴스 세그먼테이션의 모델 파일 및 구성 파일의 경로를 설정하기

  • 인스턴스 세그먼테이션 을 더블 클릭하여 다음 페이지로 이동합니다.

  • 여기서 인스턴스 세그먼테이션 을 클릭하고 오른쪽의 파라미터 리스트에 있는 서버 및 모델 구성 구역의 아이콘 icon_selectmodel 을 클릭하여 모델 파일을 추가합니다.

../../../../../_images/add_model_file.png

3D 매칭의 모델 파일 및 기하학적 중심점 파일의 경로를 설정하기

  • 3D 매칭 프로시저를 더블 클릭하여 다음 페이지로 이동합니다.

  • 여기서 3D 근사 매칭 을 클릭하고 오른쪽의 파라미터 리스트에 있는 모델 및 픽 포인트 설정에서의 아이콘 icon_selectmodel 을 클릭하여 모델 파일 및 기하학적 중심 파일을 추가합니다. 아래 그림과 같습니다.

../../../../../_images/add_template_file.png
  • 3D 상세 매칭 에서 모델 파일 및 기하학적 중심 파일의 경로의 설정 방법은 3D 근사 매칭 과 동일합니다.

참고

각 파일에 대한 설명은 아래 그림과 같습니다. 그 중에 ①은 포인트 클라우드 모델 파일이고 ②는 기하학적 중심 파일입니다.

../../../../../_images/document_describing1.png

여러 개 픽 포인트의 포즈 파일의 경로를 구성하기

많은 픽 포인트에 매핑하기 스텝을 클릭하여 오른쪽 파라미터 리스트에 있는 아이콘 icon_selectmodel 을 클릭하여 포즈 파일의 경로 및 포즈의 레이블 파일을 추가합니다.

../../../../../_images/multi_capture_points.png

참고

각 파일에 대한 설명은 아래 그림과 같습니다. 그 중에 ①은 기하학적 중심점의 포즈 파일이고 ②는 피킹 포즈 파일 및 배치 포즈 파일이며 ③은 포즈의 레이블 파일입니다.

../../../../../_images/document_describing2.png

실행 및 디버그

프로젝트를 구성한 다음에 icon_run_button 을 클릭하여 프로젝트를 실행합니다.


프로젝트 디버깅이 완료되어 성공적으로 실행된 후, 사용자가 현장 데이터를 수집하여 후속 문제를 쉽게 피드백하거나, 프로젝트 중 어느 한 단계의 수행 효과가 좋지 않은 것을 발견하여 현장 환경이 아닌 곳에서 스텝이나 파라미터를 더 좋게 조정하고 싶을 때 데이터 저장데이터 재생 도구를 사용하면 이러한 목적을 달성할 수 있습니다.

데이터 재생 도구를 사용하는 전제:

  1. 프로젝트 파일(프로젝트가 완전하게 실행되며 오류가 없음).

  2. 프로젝트 실행 중에 수집된 풀타임 라이브 데이터 소스는 2D 컬러 맵, 뎁스 맵, 카메라 파라미터 파일을 포함하며 저장 방법은 데이터 저장 을 참고할 수 있습니다.