비전 프로젝트 구성
이 튜토리얼 내용을 읽기 전에 로봇 통신 구성 단계에서 ‘질서정연하게 배열된 공작물 로딩’ 샘플 프로젝트를 사용하여 솔루션을 생성해야 합니다.
이 튜토리얼에서는 먼저 프로젝트 작업 흐름을 소개한 다음, 작업물의 포즈를 인식하고 비전 결과를 출력하도록 스텝 파라미터를 조정하여 프로젝트를 배포하는 방법에 대해 설명하겠습니다.
프로젝트 작업 흐름 소개
이 튜토리얼에서 사용자가 Mech-Vision 소프트웨어를 사용하여 비전 프로젝트을 구성해야 합니다. 비전 프로젝트를 구성하는 방법의 프로세스는 아래 그림과 같습니다.
비전 프로젝트 구성의 각각 단계 설명은 다음과 같습니다.
| 단계 | 사용하는 소프트웨어 | 설명 |
|---|---|---|
카메라 연결 및 이미지 캡처하기 |
Mech-Vision |
이미지를 캡처하기 위해 Mech-Vision의 ‘카메라에서 이미지를 캡처하기’ 스텝을 수행합니다. |
대상 물체 인식 |
Mech-Vision |
대상 물체의 신속한 인식을 위해 Mech-Vision의 ‘3D 대상 물체 인식’ 스텝을 통해 이미지 데이터에 대해 일련의 비전 처리(포인트 클라우드 사전 처리, 3D 매칭 등)을 진행합니다. |
포즈 조정 |
Mech-Vision |
Mech-Vision의 ‘포즈 V2 조정’ 스텝을 통해 ‘3D 대상 물체 인식’ 스텝에서 출력된 포즈에 대해 좌표계 전환, 포즈 조정, 포즈 정렬, 포즈 필터링 등 작업을 수행할 수 있습니다. |
로봇 경로 계획 |
Mech-Vision |
Mech-Vision 소프트웨어의 ‘경로 계획’ 스텝은 이전 단계에서 조정된 대상 물체 포즈를 기반으로 충돌 없는 로봇 이동 경로를 동적으로 계획합니다. |
계획 경로 출력 |
Mech-Vision |
로봇(이 튜토리얼에서 사용)이나 PLC에서 표준 인터페이스 명령을 받으면 Mech-Vision의 '출력' 스텝은 충돌 없는 계획된 로봇 이동 경로를 반환합니다.
|
스텝 파라미터 조정
이 부분에서는 각 스텝의 파라미터를 조정하여 프로젝트를 배포하는 프로세스를 소개합니다.
| 이 부분의 프로젝트는 ‘질서정연하게 배열된 공작물 로딩’ 솔루션에서의 ‘Vis_Target_Objects_Recognition’ 프로젝트입니다. |
카메라에서 이미지를 캡처하기
스텝 이름 |
카메라에서 이미지를 캡처하기 |
|---|---|
단계 |
카메라 연결 및 이미지 캡처하기 |
예시 그림 |
|
설명 |
실제 카메라에 연결하고 관련 파라미터를 구성하여 카메라가 정상적으로 이미지를 캡처할 수 있도록 합니다. |
-
Mech-Vision 프로젝트 편집 영역에서 카메라에서 이미지를 캡처하기 스텝을 선택하고 오른쪽 하단의 스텝 파라미터 탭에서카메라 선택 버튼을 클릭합니다.
-
사용할 카메라 및 캘리브레이션 파라미터 그룹 선택 창이 나타나면 카메라 일련번호 오른쪽에 있는
아이콘을 클릭합니다. 카메라가 성공적으로 연결되면 이 아이콘이 
로 변경됩니다.
카메라가 연결된 후, 파라미터 그룹 선택 버튼을 클릭하여 캘리브레이션된 파라미터 그룹(ETH/EIH와 날짜 정보가 표시됨)을 선택합니다.
여기서 선택된 캘리브레이션 파라미터 그룹은 핸드-아이 캘리브레이션이 완료된 후 생성된 것입니다. -
카메라를 연결하고 캘리브레이션 파라미터 그룹을 설정하면 카메라 캘리브레이션 파라미터 그룹, IP 주소 및 포트와 같은 파라미터가 자동으로 획득됩니다. 파라미터 그룹 구성 파라미터가 이미 'Reflective’로 설정되어 있는지 확인하세요.
-
카메라에서 이미지를 캡처하기 스텝의 단번 실행 버튼을 클릭하여 이미지 캡처를 트리거하고, 스텝의 '카메라 뎁스 맵' 및 '카메라 컬러 이미지' 데이터 스트림을 두번 클릭하고 디버그 출력 창에서 카메라에서 이미지가 성공적으로 캡처되었는지 확인합니다.
-
디버그 출력 창에서 일반적인 뎁스 맵과 컬러 이미지가 보이면 Mech-Vision 소프트웨어가 실제 카메라에 성공적으로 연결되어 정상적으로 이미지를 캡처할 수 있습니다.
3D 대상 물체 인식
스텝 이름 |
3D 대상 물체 인식 |
|---|---|
단계 |
대상 물체 인식 |
예시 그림 |
|
설명 |
포인트 클라우드의 사전 처리 파라미터 설정, 대상 물체 편집기에서 대상 물체 모델 제작 및 대상 물체 선택, 인식 파라미터 설정, 출력 포트 구성이 필요합니다. |
‘3D 대상 물체 인식’ 스텝에서 내부 시각화된 3D 대상 물체 인식 도구를 제공하며 구성 마법사를 통해 3가지 스텝만으로 쉽게 대상 물체의 포즈를 인식할 수 있습니다.
다음 방식으로든 다 3D 대상 물체 인식 구도 페이지로 들어가 파라미터를 조절할 수 있습니다.
-
프로젝트의 편집 구역에서 스텝의 구성 마법사 버튼을 클릭하여 파라미터를 조정하기 시작합니다.
-
스텝 파라미터 옵션에 있는 구성 마법사 버튼을 클릭합니다.
포인트 클라우드의 사전 처리
포인트 클라우드 사전 처리는 획득한 이미지 데이터를 포인트 클라우드로 전환시켜 유효한 포인트 클라우드 인식 영역을 설정하며 가장자리 포인트 클라우드를 감지하여 요구 사항을 충족하지 않는 포인트 클라우드를 필터링합니다. 이 프로세스는 후속 프로세스의 인식 효율를 향상시키는 데 도움이 될 수 있습니다.
이 스텝에서 사용자가 유효한 인식 구역을 설정할 것입니다. 이로써 간섭 요소를 해당 영역 외부에서 차단함으로써, 인식 효율을 높일 수 있습니다. 인식 영역은 파렛트와 그 위의 대상 물체를 덮어야 합니다. 파렛트 배치의 작은 변화에 따른 효과를 수용하기 위해 너비가 20~30mm여야 합니다.
일반적으로 다른 사전 처리 파라미터의 기본값을 유지하면 됩니다. 만약 시나리오에는 많은 노이즈가 있으면 관련 파라미터를 조정하십시오. 상세 내용은 포인트 클라우드 사전 처리 부분을 참조하십시오.
| 파라미터 조정이 완료된 후 사전 처리 결과 미리 보기 구역에서 스텝 실행 버튼을 클릭하여 시각화 구역에서 사전 처리 효과가 예상치를 충족하는지 확인할 수 있습니다. |
대상 물체 선택 및 인식
|
대상 물체 모델을 만들기
이 튜토리얼에서는 로봇을 조깅하여 픽 포인트를 설정하고 획득한 포인트 클라우드를 기반으로 포인트 클라우드 모델을 생성하기 내용을 참조하여 대상 물체에 대한 포인트 클라우드 매칭 모델을 만드세요.
|
시뮬레이션 목적으로만 다음 포즈를 티칭으로 설정된 픽 포인트 포즈로 사용할 수 있습니다.
픽 포인트의 포즈를 설정할 때, '오일러 각도’를 선택합니다. |
주의 사항:
-
티칭을 통해 포인트 클라우드 모델을 만들 때, 출력 매칭 포즈와 포인트 클라우드 모델 간의 각도 편차를 최소화하는 것이 필요합니다. 대상 물체 편집기의 3 모델 편집 탭의 포인트 클라우드 모델 구성 영역에서 포인트 클라우드 모델 구성 옵션을 활성화하고 잘못된 매칭 방지 파라미터를 '매칭에 실패할 포즈를 자동으로 계산하기’로 설정합니다.
대상 물체 모델이 만들어진 후 대상 물체 편집기 창을 닫고 3D 대상 물체 인식 도구 인터페이스로 돌아가 대상 물체 업데이트 버튼을 클릭합니다. 만약에 이 솔루션의 대상 물체 편집기에는 단 하나만의 대상 물체 모델이 있으면 도구는 자동으로 이 대상 물체를 선택합니다. 만약에 이 솔루션 대상 물체 편집기에 대상 물체 여러 개가 있으면 사용할 대상 물체 모델을 선택하십시오.
매칭 파라미터 설정
-
대상 물체 인식 영역에서 매칭 모드는자동으로 매칭 모델 설정 기능을 사용합니다.
-
Advanced 모드에서 추가 상세 매칭 모드를 활성화합니다.
-
잘못된 매칭 방지 설정을 추가합니다. 필터링 범위를 45°로 설정합니다. 이 설정은 모델 각도 편차가 45° 이상인 매칭 포즈를 제거합니다.
-
신뢰도 임계값을 수정합니다. 신뢰도 임계값은 0.6으로 설정하여 잘못된 매칭 결과를 삭제합니다.
-
실제 수요에 따라 최대 출력 결과 수를 설정합니다.(예: 10) 경로 계획의 수요를 충족한다는 전제 조건으로 최대한으로 출력 결과 수를 감소하여 매칭 시간을 줄입니다.
포즈 조정 V2
스텝 이름 |
포즈 조정 V2 |
|---|---|
단계 |
포즈 조정 |
예시 그림 |
|
설명 |
포즈 변환, 포즈 조정, 포즈 정렬 그리고 포즈 필터링을 위해 파라미터를 구성해야 합니다. |
대상 물체 포즈를 받은 후 포즈를 조정해야 합니다. 구체적인 처리 프로세스는 다음과 같습니다.
Mech-Vision에는 포즈 조정 도구가 있습니다. 사용자가 이 도구를 사용하여 쉽게 물체 포즈를 조정하고 피킹 순서를 최적화할 수 있습니다. 다음 어떤 방식으로든 포즈 조정 페이지로 들어가 파라미터를 조절할 수 있습니다.
-
프로젝트의 편집 구역에서 스텝의 구성 마법사 버튼을 클릭하여 파라미터를 조정하기 시작합니다.
-
스텝 파라미터 옵션에 있는 구성 마법사 버튼을 클릭합니다.
다음 스텝을 수행하여 파라미터를 조절하십시오.
-
포즈 변환: 포즈 조정 탭에서 포즈를 카메라 좌표계에서 로봇 좌표계로 전환합니다.
-
포즈 조정: 포즈 조정 탭에서 방향을 '자동 정렬’로 설정하고 Z축 정렬 시나리오를 선택합니다. 이 작업은 포즈의 Z축 방향을 로봇 기준 좌표계의 양의 방향과 최대한 일치시킵니다.
-
포즈 정렬: 포즈 규칙 탭에서 'Sort by Z shape on plane' 정렬 유형을 선택합니다.
-
각도 필터링: 포트 규칙 탭에서 포즈 Z 축의 방향에 따라 현저히 피킹 불가능한 포즈를 필터링하여 '경로 계획' 스텝의 경로 계획 시간을 줄립니다.
-
ROI 밖의 포즈 필터링: 포트 규칙 탭에서 ROI을 설정하고 포즈가 ROI에 있는지를 판단하여 ROI에 있는 포즈만 보류합니다.
이 부분의 ROI(3d_roi)는 로봇 좌표계에 있습니다. 잘못된 필터링 문제가 발생하지 않도록 실제 외부 파라미터에 따라 다시 ROI를 설정해야 합니다.
