3D 공작물 인식(반사율이 높은 공작물)
이 튜토리얼에서는 반사율이 높은 공작물이 깔끔하게 정렬된 시나리오에서 대상 물체 포즈를 정확하게 인식하는 방법을 소개하고 '3D 공작물 인식(반사율이 높은 공작물)' 실천 사례 프로젝트를 예로 들어 3D 대상 물체 인식 스텝의 파라미터 조정 방법을 소개합니다. 마지막으로 실제로 적용할 때의 주의사항을 소개하겠습니다.
응용 시나리오 |
인식 효과 |
|
|
이제 이 예시 프로젝트를 바탕으로, 실제 응용 시의 작업 가이드와 주의 사항에 대해 설명하겠습니다.
응용 가이드
3D 공작물 인식(반사율이 높은 공작물) 프로젝트는 Mech-Vision 솔루션 라이브러리에서 제공됩니다. '실천 사례' - '3D 위치 지정' 카테고리에서 이 프로젝트를 다운로드하고 구축할 수 있습니다. 프로젝트가 생성된 후, 3D 대상 물체 인식 스텝을 클릭하고 구성 마법사 버튼을 클릭하여 3D 대상 물체 인식 도구를 열어 파라미터 조정 방법을 확인하세요. 이 과정은 포인트 클라우드 사전 처리, 대상 물체 선택 및 인식, 그리고 일반 설정 등 세 가지 단계로 이루어져 있습니다.
-
포인트 클라우드 사전 처리: 획득한 이미지 데이터를 포인트 클라우드로 변환하고 유효한 인식 영역을 설정하며 가장자리 포인트 클라우드를 감지하여 요구 사항을 충족하지 않는 포인트 클라우드를 필터링합니다. 이 프로세스는 후속 프로세스의 인식 정확도를 향상시키는 데 도움이 될 수 있습니다.
-
대상 물체 선택 및 인식: 대상 물체 모델과 픽 포인트를 만든 후, 사용한 비전 인식 전략에 따라 딥 러닝 모델 패키지를 구성하고 대상 물체 인식 파라미터를 조정할지 여부를 결정합니다. 구성된 파라미터가 작업의 정확도 요구 사항을 충족하는지 확인하여, 물체 인식 솔루션이 대상 물체를 안정적이고 정확하게 인식할 수 있도록 합니다.
-
일반 설정: 이 프로세스를 사용하여 출력 포트를 구성합니다. 후속 피킹 작업의 필요에 따라 픽 포인트 또는 물체 중심점에 대한 데이터를 출력하도록 선택할 수 있습니다.
아래에서는 각 프로세스에서 조정해야 할 주요 파라미터를 소개합니다.
포인트 클라우드 사전 처리
-
인식 영역(3D ROI)을 설정합니다. 이 영역은 대상 물체를 완전히 포함해야 하며, 물체 주변에 약간의 여유 공간도 확보되어야 합니다.
-
일반적으로 이 카테고리의 파라미터는 기본값을 사용하는 것이 적합합니다. 다만, 시나리오의 포인트 클라우드에 노이즈가 많을 경우 관련 파라미터를 조정해 노이즈를 제거할 수 있습니다.
이 예시 프로젝트에서는 다른 파라미터를 수정할 필요가 없으므로, 인식 영역만 설정한 후 다음 버튼을 클릭하여 '대상 물체 선택 및 인식' 화면으로 이동합니다.
대상 물체 선택 및 인식
포인트 클라우드 사전 처리 후에는 대상 물체 편집기에서 대상 물체의 포인트 클라우드 모델을 생성한 다음, 포인트 클라우드 모델 매칭을 위한 매칭 파라미터를 설정해야 합니다.
-
대상 물체 모델을 만듭니다.
대상 물체 편집기를 열기 버튼을 클릭하여 대상 물체 편집기 화면을 엽니다. 이후, 일반 3D shapes를 생성하여 포인트 클라우드 모델을 생성하고 픽 포인트를 수동으로 구성합니다. 완료 후, 저장 버튼을 클릭하여 '3D 대상 물체 인식' 도구 화면으로 돌아간 다음, 대상 물체 업데이트 버튼을 클릭하여 이미 생성된 대상 물체 모델을 선택하고 대상 물체 포즈 인식에 사용합니다.
대상 물체의 치수를 미리 측정해야 합니다. 일반적인 3D shapes를 기반으로 포인트 클라우드 모델을 생성할 때, 팝업된 대상 물체 추가 창에서 기하학적 파라미터 설정 패널에 대상 물체의 반경과 높이를 입력해야 합니다. -
딥 러닝 모델 패키지를 가져와서 선택하고(이 링크를 클릭하면 다운로드 할 수 있음) ROI를 설정하며 추론 구성 창에서 인스턴스 세그먼테이션의 신뢰도 임계값을 0.30으로 설정하세요. 이를 통해 신뢰도가 낮거나 성능이 부족한 인스턴스는 필터링되며, 설정된 임계값을 초과하는 인스턴스는 유지됩니다.
ROI를 설정할 때, 딥 러닝 인식의 정확도를 높이고 재료 위치 변동을 방지하기 위해 트레이 주변에 일정한 여유 공간을 확보해야 합니다. -
다음 파라미터 조정 가이드는 참조용일 뿐입니다. 각 파라미터는 현장 상황에 따라 조정해 주세요. -
대상 물체 인식 버튼 오른쪽의 고급 모드를 활성화합니다.
-
매칭 모드 설정: 이 프로젝트의 경우, 매칭 모드 자동 설정 옵션이 활성화되면 인식 정확도가 현장 요구 사항을 충족하지 못할 수도 있습니다. 따라서 해당 옵션을 비활성화하고, 관련 파라미터를 수동으로 조정하는 것이 더 바람직합니다.
만약 가장자리 포인트 클라우드의 변동이 크거나 기타 이유로 매칭 정확도가 기대에 미치지 못할 경우, 근사 매칭 모드와 상세 매칭 모드를 모두표면 매칭으로 설정하세요.
매칭 모드 자동 설정
관련 파라미터 수동 조정
-
상세 매칭 설정 조정: 인식 정확도를 더 향상시키기 위해 실행 모드를 고정확도로 설정하고 편차 보정 능력을 Medium으로 설정하는 것이 적합합니다.
-
신뢰도 임계값 설정: 가장 상단에 있는 물체를 인식할 수 있도록 신뢰도 임계값을 설정해야 합니다. 이 프로젝트에서는 신뢰도 전략을 Auto로 설정했을 때 인식 성능이 실제 현장 요구를 충족하므로, 해당 파라미터를 Auto로 설정하고 신뢰도 임계값(기본값: 0.3000)을 적용하면 됩니다.
왼쪽 시각화 창 하단의 인식 결과 표시 영역에서 첫 번째 드롭다운 메뉴에서 출력 결과를 선택합니다. 표면 매칭 신뢰도 값이 모두 설정된 임계값을 초과하는 대상 물체는 유지됩니다. 작업 현장의 실제 상황에 따라 인식 결과를 확인하세요. 잘못 인식하거나 누락된 대상 물체가 있는 경우, 이 임계값을 높이거나 낮춰주세요. -
출력 - 최대 출력: 이 파라미터의 값을 완전히 쌓았을 때의 대상 물체 수로 설정합니다. 이 프로젝트에서는 최대 출력 값을 14개로 설정되었습니다.
-
위 작업을 완료하면 다음 버튼을 클릭하여 '일반 설정' 화면으로 들어가 출력 포트 관련 구성을 진행하세요.
일반 설정
대상 물체를 인식 후, 비전 인식 이외의 보조 기능을 설정할 수 있습니다. 현재는 포트 출력 구성만 지원되며, 이를 통해 후속 스텝에 대한 비전 결과와 포인트 클라우드를 제공할 수 있습니다.
로봇이 물체를 성공적으로 피킹할 수 있도록 하려면 대상 물체의 중심점을 조정하여 Z축이 상자 중앙을 가리키도록 해야 합니다. 포트 선택 아래에서 물체 중심점 관련 포트를 선택하고 카메라로 획득한 원시 포인트 클라우드 및 사전 처리 후의 포인트 클라우드 옵션을 선택하세요. 이렇게 하면 출력된 포인트 클라우드 정보는 각각 경로 계획 시 충돌 감지와 빈 위치 지정에 사용됩니다.
| 작업 현장의 실제 수요에 따라 관련 출력 포트를 구성해 주세요. |
이로써 관련 파라미터 조정 방법을 설명했습니다. 파라미터의 설정 사항을 저장하려면 저장 버튼을 클릭하세요.
주의 사항
실제 응용 시나리오에서는 다음 사항을 이해하고 고려해야 하며, 그런 다음 프로젝트에 3D 대상 물체 인식 스텝을 추가하고 데이터 포트를 연결하여 대상 물체의 포즈를 빠르고 정확하게 인식해야 합니다.
-
'3D 대상 물체 인식' 스텝은 일반적으로 카메라에서 이미지를 캡처하기 스텝과 함께 사용되며, 금속 공작물 텐딩 시나리오에 적합하며 배치된 단일 공작물, 질서성연하게 배치된 단층 공작물, 질서성연하게 배치된 다층 공작물 및 무질서하게 쌓인 공작물과 같은 다양한 모양 및 배치 방식의 공작물을 인식할 수 있습니다.
-
'3D 대상 물체 인식' 스텝 뒤에는 일반적으로 포즈 조정 V2 스텝이 이어집니다.
이 예시 프로젝트는 깔끔하게 정렬된 대상 물체의 포즈를 정확하게 인식하는 방법을 보여주기 위한 것이며, 포즈 조정 과정을 생략합니다.