공작물 인식

이 튜토리얼 내용을 읽기 전에 로봇 통신 구성 단계에서 일반 공작물 인식 샘플 프로젝트를 사용하여 Mech-Vision 솔루션을 생성해야 합니다.

이 튜토리얼에서는 먼저 프로젝트 작업 흐름을 소개한 다음, 작업물의 포즈를 인식하고 비전 결과를 출력하도록 스텝 파라미터를 조정하여 프로젝트를 배포하는 방법을 설명하겠습니다.

비디오 튜토리얼: 공작물 인식
Mech-Vision 프로젝트가 실행될 때마다 하나의 비전 포인트가 출력됩니다.

프로젝트 작업 흐름 소개

프로젝트의 각 스텝의 기능은 아래 표와 같습니다.

번호 단계 스텝 예시 그림 설명

1

이미지 캡처

카메라에서 이미지를 캡처하기

project build understand step function 1

카메라와 연결하고 이미지를 캡처합니다.

2

공작물 인식

3D 공작물 인식

project build understand step function 2

3D 매칭 알고리즘을 통해 공작물의 포즈(픽 포인트로 사용됨)를 계산합니다.

3

포즈 조정

포즈 조정

project build understand step function 3

픽 포인트를 카메라 좌표계에서 로봇 좌표계로 변환합니다.

4

비전 결과 출력

출력

project build understand step function 4

공작물의 포즈를 출력하여 로봇 피킹에 사용합니다.

5

시나리오 포인트 클라우드 전송

포인트 클라우드를 외부 서비스로 보내기

project build understand step function 5

시나리오 포인트 클라우드를 Mech-Viz에 보내고 Mech-Viz와 결합하여 공작물 피킹 및 배치를 실현합니다.

픽 포인트는 로봇이 공작물의 표면에서 피킹할 수 있는 지점을 말합니다.

스텝 파라미터 조정

이 부분에서는 각 스텝의 파라미터를 조정하여 프로젝트를 배포하는 프로세스를 소개합니다.

카메라에서 이미지를 캡처하기

“카메라에서 이미지를 캡처하기” 스텝의 파라미터를 조정하고 카메라를 연결해야 합니다.

  1. "카메라에서 이미지를 캡처하기" 스텝을 선택하고 인터페이스의 오른쪽 하단에 있는 “스텝 파라미터” 패널에서 카메라 선택 버튼을 클릭합니다.

    project build click select camera

  2. 팝업 창에서 카메라 번호 오른쪽의 이미지 아이콘을 클릭하면 카메라와 연결됩니다. 카메라가 성공적으로 연결되면 image 아이콘이 image로 변경됩니다.

    이미지

    카메라 연결 후 파라미터 그룹을 선택해야 합니다. 파라미터 그룹 선택 버튼을 클릭하여 캘리브레이션된 파라미터 그룹(ETH/EIH와 날짜 정보가 표시됨)을 선택합니다.

    이미지

  3. 카메라를 연결하고 파라미터 그룹을 설정하면 카메라 캘리브레이션 파라미터 그룹, IP 주소 및 포트와 같은 파라미터가 자동으로 획득되며 나머지 파라미터는 기본값으로 유지하면 됩니다.

    이미지

이때 카메라가 성공적으로 연결됩니다.

3D 공작물 인식

"3D 공작물 인식" 스텝에는 3D 공작물 인식 시각화 구성 도구가 내장되어 있어 공작물에 포인트 클라우드 사전 처리 및 모델 매칭을 수행하고 공작물의 포즈(픽 포인트)를 계산할 수 있습니다.

"3D 공작물 인식" 스텝을 선택하고 인터페이스의 오른쪽 하단 모서리에 있는 스텝 파라미터에서 편집기 열기 버튼을 클릭합니다.

project build open 3d workpiece recognition visual configuration tool

3D 공작물 인식 시각화 구성 도구의 인터페이스는 아래 그림과 같습니다.

project build check tool interface

다음 작업 프로세스에 따라 공작물을 식별할 수 있습니다.

project build 3d workpiece recognition workflow

공작물 선택

3D 공작물 인식 시각화 구성 도구창에서 인식할 공작물의 포인트 클라우드 모델을 생성해야 합니다.

  1. 모델 편집기를 엽니다.

    3D 공작물 인식 시각화 구성 도구 인터페이스의 오른쪽 상단 모서리에 있는 작업물 선택 버튼을 클릭합니다.

    project build click select workpiece

    팝업한 작업물 라이브러리 창에서 모델 편집기 버튼을 클릭합니다.

    project build click model editor

    모델 편집기 인터페이스는 아래 그림과 같습니다.

    project build model editor interface

  2. 포인트 클라우드를 캡처하여 포인트 클라우드 모을 생성합니다.

    1. 물체의 뎁스 맵을 캡처합니다.

      이 툴의 기본 화면에서 포인트 클라우드 캡처하기 버튼을 단번 클릭하여 나오는 화면에서 포인트 클라우드 캡처 버튼을 클릭합니다.

      project build generate point cloud model 1

      체인 링크의 복잡한 표면 특징으로 인해 이 공작물에 대한 표면 포인트 클라우드 모델을 생성하는 것이 좋습니다. 따라서 소프트웨어에서 에지 포인트 클라우드 사용 옵션을 선택 취소해야 합니다. 다음으로 물체 캡처 버튼을 클리하여 대상 물체의 뎁스 맵을 캡처합니다.

      project build generate point cloud model 2

      캡처 완료 후에 대상 물체의 뎁스 맵은 아래 그림과 같습니다.

      project build generate point cloud model 3

    2. 배경 이미지를 캡처합니다.

      화면 오른쪽 상단에서 배경 제거 버튼을 클릭합니다.

      project build generate point cloud model 4

      다음에 물체를 카메라의 시야 밖으로 옮기고 배경 캡처 버튼을 클릭하여 배경을 캡처합니다.

      project build generate point cloud model 5

      배경 캡처 완료되면 아래 그림과 같습니다. 화면 오른쪽 상단의 다음 버튼을 클릭합니다.

      project build generate point cloud model 7

    3. 배경을 제거합니다.

      이 창에서 배경 제거 버튼을 클릭하면 배경이 제거된 후의 물체 포인트 클라우드를 얻을 수 있습니다. 이때 오른쪽 상단의 완료 버튼을 클릭하면 배경이 제거된 후의 물체를 매칭 모델 및 픽 포인트 편집기로 도입할 수 있습니다.

      project build generate point cloud model 8

  3. 포인트 클라우드 모델을 편집합니다.

    생성한 포인트 클라우드 모델이 실제 수요를 충족할 수 없을 수도 있으므로 수요에 따라 노이즈 제거 또는 포인트 클라우드 다운 샘플링 등 편집 작업을 해야 합니다.

    1. 노이즈 제거

      project build edit point cloud model select icon 아이콘을 클릭하여 제거해야 할 노이즈를 선택한 후, project build edit point cloud model delete icon 아이콘을 클릭하면 선택한 노이즈를 제거할 수 있습니다.

      위 그림과 같이 선택한 점은 불필요한 점(노이즈)이므로 이 단계에 따라 제거할 수 있습니다.

      project build edit point cloud model delete point

    2. 포인트 클라우드 다운 샘플링

      포인트 클라우드 다운 샘플링은 포인트 클라우드 모델의 포인트 수를 줄여 모델 매칭 효율성을 높이는 것을 목표로 합니다.

      project build edit point cloud model down sample icon 아이콘을 클릭하여 팝업 창에서 샘플링 간격을 설정합니다.

      project build edit point cloud model down sample

      아래 그림에서 왼쪽 이미지는 다운 샘플링 전 포인트 클라우드 모델이고, 오른쪽 이미지는 샘플링 간격 3mm로 다운 샘플링한 후의 이미지입니다.

      project build edit point cloud model down sample result

  4. 픽 포인트를 추가합니다.

    툴 바에서 project build add pose icon 아이콘을 클릭하여 공작물 포인트 클라우드 모델에 포즈를 추가하여 픽 포인트로 합니다.

    project build click add pose

    추가된 픽 포인트는 아래 그림과 같습니다.

    project build check pose

  5. 모델과 픽 포인트를 저장합니다.

    모델 편집기를 닫고 팝업 창에서 예(Y) 버튼을 클릭합니다.

    project build save model and pose

  6. 작업물 라이브러리에서 작업물을 선택합니다.

    모델 편집기를 종료한 후 작업물 라이브러리에 저장된 작업물 포인트 클라우드 모델을 선택하고 확인 버튼을 클릭합니다.

    project build select workpiece

    이어서 인식할 대상 공작물이 3D 공작물 인식 시각화 구성 도구의 오른쪽 상단 모서리에 표시됩니다.

    project build workpiece select result

이로써 공작물 선택이 완료되고 3D 공작물 인식 시각화 구성 도구 하단의 다음 버튼을 클릭하여 사전 처리 과정으로 들어갑니다.

project build click next step 1

사전 처리

사전 처리의 목적은 인식 영역을 설정하여 불필요한 포인트 클라우드를 제거하고 공작물의 포인트 클라우드만 보류하여 프로젝트 작업의 효율성을 향상시키는 것입니다.

사전 처리 인터페이스는 아래 그림과 같습니다.

project build preprocess interface

  1. 인식 영역을 설정합니다.

    설정 버튼을 클릭합니다.

    project build click set 3d roi

    인식 영역 설정 인터페이스에서 3D 인식 영역을 설정합니다. Ctrl 키를 누른 상태에서 3D ROI 창의 꼭짓점을 마우스 왼쪽 버튼으로 누른 상태에서 3D 창을 적절한 크기로 드래그합니다. 3D 인식 영역 설정을 완성하면 아래 그림과 같습니다.

    project build set 3d roi

  2. 인식 영역 저장합니다.

    저장 및 적용 버튼을 클릭하여 인식 영역을 저장합니다.

    project build click save and use

이로써 사전 처리 과정이 완료되었으며 3D 공작물 인식 시각화 구성 도구 하단의 다음을 클릭하여 공작물 인식 프로세스를 시작합니다.

project build click next step 2

공작물 인식

이 과정에서 3D 매칭의 관련 파라미터를 시각화 방식으로 조정할 수 있고 공작물의 포즈를 출력할 수 있습니다.

공작물 인식 인터페이스는 아래 그림과 같습니다.

project build recognize workpiece interface

  1. 이 튜토리얼에서 로봇은 반환된 비전 결과를 기반으로 하나의 공작물을 피킹하고 배치해야 하므로 이 프로젝트에서는 출력 횟수 상한 파라미터의 값을 1로 변경해야 합니다.

    project build set output number

  2. 시각화 출력 결과 확인합니다.

    스텝 실행(Shift+R) 버튼을 클릭합니다.

    project build click run step

    시각화 출력 결과는 시각화 영역에 표시됩니다. 아래 그림에 표시된 바와 같이 하나의 공작물 포즈가 출력됩니다.

    project build check recognize workpiece result

  3. 구성을 저장합니다.

    3D 공작물 인식 시각화 구성 도구 하단에 있는 완료 버튼을 클릭합니다.

    project build click finish

    다음 팝업 창에서 저장 버튼을 클릭합니다.

    project build click save

    이제 공작물 인식이 완료되고 픽 포인트가 계산됩니다.

포즈 조정 V2

"3D 공작물 인식" 스텝에서 출력되는 픽 포인트는 카메라 좌표계에 위치하며, 로봇이 쉽게 피킹할 수 있도록 공작물 포즈를 조정해야 하며, 포즈를 카메라 좌표계에서 로봇 좌표계로 변환해야 합니다.

  1. 포즈 조정 도구를 엽니다.

    "포즈 조정 V2" 스텝을 선택하고 스텝 파라미터에서 포즈 편집 도구 열기 버튼을 클릭합니다.

    project build click open pose editor

    포즈 조정 인터페이스는 아래 그림과 같습니다.

    project build pose editor interface

  2. 좌표계 변환 유형을 조정합니다.

    포즈 조정 도구 화면의 오른쪽 상단에서 좌표계 설정을 포즈를 로봇 좌표계로 전환 옵션으로 선택합니다.

    project build set transform type

  3. 좌표계 변환 효과를 확인합니다.

    포즈 조정 도구 화면의 오른쪽 하단에서 다음 버튼을 클릭합니다.

    포즈 조정 도구의 시나리오 뷰에서 변환된 픽 포인트를 확인할 수 있습니다.

    project build transform pose

  4. 구성을 저장합니다.

    포즈 조정 도구를 닫고 팝업 창에서 저장하기 버튼을 클릭합니다.

    project build save pose editor set

이로써 픽 포인트의 좌표계 변환이 완료됩니다.

출력

“출력” 스텝은 현재 프로젝트의 출력 결과를 백그라운드 서비스로 보낼 수 있습니다.

포인트 클라우드를 외부 서비스로 보내기

“포인트 클라우드를 외부 서비스로 보내기” 스텝은 포인트 클라우드를 Mech-Viz로 전송하여 프로젝트 디버깅 또는 실제 효과 확인에 사용될 수 있습니다.

이로써 Mech-Vision 프로젝트 배포를 완료했습니다.

저희는 귀하의 개인 정보를 소중하게 생각합니다.

당사 웹사이트는 귀하에게 최상의 경험을 제공하기 위해 쿠키를 사용합니다. "모두 수락"을 클릭하시는 경우, 귀하는 사의 쿠키 사용에 동의하게 됩니다. "모두 거부"를 클릭하시는 경우, 귀하가 이 웹사이트를 방문할 때 추적되거나 기억되지 않도록 하기 위해 단일 쿠키가 사용됩니다.

  • Preference
  • 모두 수락
  • 모두 거부