프로젝트 구축 방안 소개
이 부분에서는 간단한 Mech-Vision 작업물 텐딩 프로젝트를 예로 들어 프로젝트 구축의 맥락와 방법을 소개합니다.
이번에 구축된 프로젝트는 매칭 알고리즘을 사용하여 작업물 픽 포인트의 계산을 실현합니다.
프로젝트 프레임워크
이 프로젝트는 카메라에서 이미지를 캡처하기, 포인트 클라우드를 생성하기, 포인트 클라우드 법선 벡터를 계산하기, 포인트 클라우드 근사 매칭, 포인트 클라우드 상세 매칭, 포즈 전환 및 출력 스텝으로 구성됩니다.
그 중 3D 매칭은 프로젝트의 가장 핵심적인 부분이며 목적은 물체 픽 포인트를 얻는 것입니다.
프로젝트 생성 및 저장
프로젝트 생성 및 저장 내용을 참조하십시오.
스텝 추가
프로젝트 프레임워크를 이해하고 프로젝트를 만든 후에는 프로젝트를 구축하는 스텝을 추가할 수 있습니다.
-
“카메라에서 이미지를 캡처하기” 스텝을 추가합니다. 이 스텝은 카메라가 사진을 캡처하도록 트리거 한 후 컬러 맵과 뎁스 맵을 획득하는 데 사용됩니다.
이 스텝을 추가하기 전에 카메라가 설치되어 있는지 확인하십시오. 그리고 IPC와 연결되었으며 이미지 캡처 테스트와 로봇 핸드-아이 캘리브레이션이 완료되어야 합니다.
이 스텝이 추가된 후 이 스텝을 선택한 다음 스텝 파라미터를 클릭하여 스텝 파라미터 인터페이스에서 카메라 관련 파라미터를 구성하고 카메라 유형, 카메라 번호, 캘리브레이션 파라미터 그룹을 선택하고 IP 주소를 입력합니다.
-
“뎁스 맵을 포인트 클라우드로 전환하기” 스텝을 추가합니다. 이 스텝은 카메라에서 캡처한 뎁스 맵을 포인트 클라우드 데이터로 전환할 수 있습니다. 이 스텝을 “카메라에서 이미지를 캡처하기” 스텝 아래에 놓고 “카메라에서 이미지를 캡처하기” 스텝의 카메라 뎁스 맵 출력 포트를 “뎁스 맵을 포인트 클라우드로 전환하기” 스텝의 카메라 뎁스 맵 입력 포트에 연결합니다.
마찬가지로 이 두 스텝의 컬러 맵 출력 및 입력 포트를 연결합니다. 프로젝트를 실행할 때 이 스텝에서는 기본 파라미터를 사용할 수 있습니다.
위의 그림과 같이 "뎁스 맵을 포인트 클라우드로 전환하기" 스텝의 추가와 필요한 데이터의 입력은 이 시점에서 완료되었습니다.
이 스텝을 추가한 후 불필요한 포인트 클라우드가 후속 스텝에 끼치는 영향을 줄이고 후속 스텝의 처리 시간을 단축하기 위해 2D ROI를 선택해야 합니다. 먼저 스텝을 선택한 다음 스텝 파라미터를 클릭하고 마지막으로 2D 관심 영역(ROI) 설정을 클릭합니다. 2D ROI 설정 방법은 ROI 설정 내용을 참조하십시오.
-
"포인트 클라우드의 법선 벡터를 계산하고 필터링하기" 스텝을 추가합니다. 이 스텝은 입력된 포인트 클라우드에서 각 포인트의 법선 벡터를 계산할 수 있어 원래 위치 정보만 있는 포인트 클라우드 데이터를 법선 벡터 정보가 있는 포인트 클라우드 데이터로 변환할 수 있습니다. 이 스텝을 “뎁스 맵을 포인트 클라우드로 전환하기” 스텝 아래에 놓고 “뎁스 맵을 포인트 클라우드로 전환하기” 스텝의 포인트 클라우드 출력 포트를 “포인트 클라우드의 법선 벡터를 계산하고 필터링하기” 스텝의 포인트 클라우드 입력 포트에 연결합니다.
법선 방향의 포인트 클라우드를 얻은 후 다음으로 포인트 클라우드 매칭("3D 근사 매칭", "3D 상세 매칭")을 수행할 수 있습니다.
-
"3D 근사 매칭" 스텝을 추가합니다. 이 스텝은 미리 만들어진 포인트 클라우드 모델을 입력한 법선 방향을 갖춘 포인트 클라우드와 대략적인 특징 매칭을 진행할 수 있습니다. 매칭 결과를 얻은 후 모델과 매칭된 위치에 따라 해당 기하학적 중심점 또는 물체의 픽 포인트가 생성됩니다. 이 스텝을 “포인트 클라우드의 법선 벡터를 계산하고 필터링하기” 스텝 아래에 놓고 “포인트 클라우드의 법선 벡터를 계산하고 필터링하기” 스텝의 법선 방향을 갖춘 포인트 클라우드의 출력 포트를 “3D 근사 매칭” 스텝의 법선 방향을 갖춘 포인트 클라우드의 입력 포트에 연결합니다.
연결이 완료되면 미리 만들어둔 모델 파일과 기하학적 중심점 파일을 도입해야 합니다. 먼저 "3D 근사 매칭" 스텝을 선택한 다음 스텝 파라미터를 클릭하고 마지막으로 을 클릭하여 무델 파일과 기하학적 중심점 파일을 선택하고 도입합니다.
모델 파일 및 기하학적 중심점 파일을 만드는 방법은 매칭 모델 및 픽 포인트 편집기를 참조하십시오.
-
“3D 상세 매칭” 스텝을 추가하면 “3D 근사 매칭”의 매칭 결과에 대해 보다 정확한 매칭 계산을 수행하고, 더 높은 정밀도로 매칭 결과를 얻고, 해당하는 고정밀도 기하학적 중심점 또는 픽 포인트를 생성할 수 있습니다. 이 스텝을 "3D 근사 매칭" 스텝 아래에 놓고 "포인트 클라우드의 법선 벡터를 계산하고 필터링하기" 스텝에서 법선 방향을 갖춘 포인트 클라우드의 출력 포트를 “3D 상세 매칭” 스텝의 법선 방향을 갖춘 포인트 클라우드의 입력 포트에 연결합니다. 그다음 "3D 근사 매칭" 스텝에서 초기 후보 포즈 출력 포트를 "3D 상세 매칭" 스텝의 초기 후보 포즈 입력 포트에 연결합니다.
"3D 상세 매칭"을 통해 정확한 포즈를 획득한 다음 획득한 포즈를 변환해야 합니다.
"3D 상세 매칭" 스텝 중 모델 파일 및 기하학적 중심점 파일의 구성 방법은 "3D 근사 매칭"과 같습니다.
-
“포즈 전환” 스텝을 추가합니다. 이 스텝은 입력한 카메라 좌표계의 포즈를 로봇 좌표계의 포즈로 변환할 수 있습니다. 이 스텝을 "3D 상세 매칭" 스텝 아래에 놓고 "3D 상세 매칭" 스텝의 픽 포인트 포즈 출력 포트를 "포즈 전환" 스텝의 원시 포즈 입력 포트에 연결합니다. 프로젝트를 실행할 때 이 스텝에서는 기본 파라미터를 사용할 수 있습니다.
-
"출력" 스텝을 추가합니다. 이 스텝은 입력한 데이터를 Mech-Center에 보내고 Mech-Center에서 후속 이 데이터를 사용하는 소프트웨어 및 하드웨어에 보냅니다. 이 스텝을 "포즈 전환" 스텝 아래에 놓고 "포즈 전환" 스텝의 변환된 포즈 출력 포트를 “출력” 스텝의 가장 왼쪽의 Abstract Poses 입력 포트에 연결합니다. 연결되면 포트 이름이 PoseList poses로 됩니다. 연결 전과 후의 비교는 아래 그림과 같습니다. 1은 연결 전이고 2는 연결 후입니다.
이로써 간단한 매칭 프로젝트의 구성이 완료됩니다. 프로젝트는 바로 가기 키 Ctrl + S 또는 메뉴 바에서
를 클릭하여 저장할 수 있습니다.
스텝을 추가한 후 데이터 전송 관계를 보다 직관적으로 만들기 위해 스텝을 배치할 수 있습니다. 세 가지 스텝 배치 방법은 다음과 같습니다.
|
프로젝트가 구축된 후 프로젝트를 실행하고 디버그하기를 할 수 있습니다.