3D 공작물 인식(무질서하게 쌓인 물체)
이 튜토리얼에서는 공작물이 무작위로 쌓인 시나리오에서 대상 물체 포즈를 정확하게 인식하는 방법을 소개하고 '3D 공작물 인식(무질서하게 쌓인 물체)' 실천 사례 프로젝트를 예로 들어 3D 대상 물체 인식 스텝의 파라미터 조정 방법을 소개합니다. 마지막으로 실제로 적용할 때의 주의사항을 소개하겠습니다.
| 응용 시나리오 | 인식 효과 |
|---|---|
|
|
이제 이 예시 프로젝트를 바탕으로, 실제 응용 시의 작업 가이드와 주의 사항에 대해 설명하겠습니다.
응용 가이드
3D 공작물 인식(무작위로 쌓인 물체) 프로젝트는 Mech-Vision 솔루션 라이브러리에서 제공됩니다. '실천 사례' - '3D 위치 지정' 카테고리에서 이 프로젝트를 다운로드하고 구축할 수 있습니다. 프로젝트가 생성된 후, 3D 대상 물체 인식 스텝을 클릭하고 구성 마법사 버튼을 클릭하여 3D 대상 물체 인식 도구를 열어 파라미터 조정 방법을 확인하세요. 이 과정은 포인트 클라우드 사전 처리, 대상 물체 선택 및 인식, 그리고 일반 설정 등 세 가지 단계로 이루어져 있습니다.
-
포인트 클라우드 사전 처리: 획득한 이미지 데이터를 포인트 클라우드로 변환하고 유효한 인식 영역을 설정하며 가장자리 포인트 클라우드를 감지하여 요구 사항을 충족하지 않는 포인트 클라우드를 필터링합니다. 이 프로세스는 후속 프로세스의 인식 정확도를 향상시키는 데 도움이 될 수 있습니다.
-
대상 물체 선택 및 인식: 대상 물체 모델과 픽 포인트를 만든 후, 사용한 비전 인식 전략에 따라 딥 러닝 모델 패키지를 구성하고 대상 물체 인식 파라미터를 조정할지 여부를 결정합니다. 구성된 파라미터가 작업의 정확도 요구 사항을 충족하는지 확인하여, 물체 인식 솔루션이 대상 물체를 안정적이고 정확하게 인식할 수 있도록 합니다.
-
일반 설정: 이 프로세스를 사용하여 출력 포트를 구성합니다. 후속 피킹 작업의 필요에 따라 픽 포인트 또는 물체 중심점에 대한 데이터를 출력하도록 선택할 수 있습니다.
아래에서는 각 프로세스에서 조정해야 할 주요 파라미터를 소개합니다.
포인트 클라우드 사전 처리
-
인식 영역(3D ROI)을 설정합니다. 이 영역은 대상 물체를 완전히 포함해야 하며, 물체 주변에 약간의 여유 공간도 확보되어야 합니다.
-
일반적으로 이 카테고리의 파라미터는 기본값을 사용하는 것이 적합합니다. 다만, 시나리오의 포인트 클라우드에 노이즈가 많을 경우 관련 파라미터를 조정해 노이즈를 제거할 수 있습니다.
이 예시 프로젝트에서는 다른 파라미터를 수정할 필요가 없으므로, 인식 영역만 설정한 후 다음 버튼을 클릭하여 '대상 물체 선택 및 인식' 화면으로 이동합니다.
대상 물체 선택 및 인식
포인트 클라우드 사전 처리 후에는 대상 물체 편집기에서 대상 물체의 포인트 클라우드 모델을 생성한 다음, 포인트 클라우드 모델 매칭을 위한 매칭 파라미터를 설정해야 합니다.
-
공작물 모델을 만듭니다.
대상 물체 편집기를 열기 버튼을 클릭하여 대상 물체 편집기 화면을 엽니다. 이후, STL 파일을 가져와 포인트 클라우드 모델을 생성하고 픽 포인트를 수동으로 구성합니다. 완료 후, 저장 버튼을 클릭하여 '3D 대상 물체 인식' 도구 화면으로 돌아간 다음, 대상 물체 업데이트 버튼을 클릭하여 이미 생성된 대상 물체 모델을 선택하고 대상 물체 포즈 인식에 사용합니다.
이 링크를 클릭하면 STL 파일을 다운로드할 수 있습니다. -
다음 파라미터 조정 가이드는 참조용일 뿐입니다. 각 파라미터는 현장 상황에 따라 조정해 주세요. -
대상 물체 인식 버튼 오른쪽의 고급 모드를 활성화합니다.
-
매칭 모드 설정: 이 프로젝트의 경우, 매칭 모드 자동 설정 옵션이 활성화되면 인식 정확도가 현장 요구 사항을 충족하지 못할 수도 있습니다. 따라서 해당 옵션을 비활성화하고, 관련 파라미터를 수동으로 조정하는 것이 더 바람직합니다.
일반적으로 근사 매칭은 일정 수준의 매칭 오차를 허용하므로, 근사 매칭 모드를 가장자리 매칭으로 설정합니다. 만약 가장자리 포인트 클라우드의 변동이 크거나 기타 이유로 매칭 정확도가 기대에 미치지 못할 경우, 상세 매칭 모드를 표면 매칭으로 설정하여 인식 정확도를 향상시킬 수 있습니다.
매칭 모드 자동 설정
관련 파라미터 수동 조정
-
신뢰도 설정 조정: 가장 높은 층에 정상적으로 배치된 튜브들이 모두 정확하게 인식되도록 신뢰도 설정을 조정해야 합니다. 이 프로젝트에서 신뢰도 전략이 Auto로 설정된 경우, 잘못된 인식 결과를 효과적으로 제거하기 어려우므로 이 파라미터를 Manual로 설정하고 다음 파라미터를 조정하는 것이 좋습니다.
-
공동 채점 전략을 표면과 가장자리 모두 고려로 설정합니다.
-
시나리오 포인트 클라우드와 포인트 클라우드 모델 사이에 많은 일치하는 포인트가 있으므로 더 정확한 매칭 결과를 얻으려면 작은 검색 반경을 선택해야 합니다. 표면 매칭 결과 검증 레벨을 High로 설정하고 표면 매칭 신뢰도 임계값을 0.9000으로 설정하세요.
-
대상 물체 모델의 가장자리 포인트 클라우드는 크게 변동하므로 인식 시 더 정확한 매칭 결과를 위해 큰 검색 반경을 선택해야 합니다. 가장자리 매칭 결과 검증 레벨을 Standard로 설정하고 가장자리 매칭 신뢰도 임계값을 0.5000으로 설정하세요.
매칭 모드 자동 설정
관련 파라미터 수동 조정
-
왼쪽 시각화 창 하단의 인식 결과 표시 영역에서 첫 번째 드롭다운 메뉴에서 출력 결과를 선택합니다. 표면 매칭 신뢰도와 가장자리 매칭 신뢰도 값이 모두 설정된 임계값을 초과하는 대상 물체는 유지됩니다. 작업 현장의 실제 상황에 따라 인식 결과를 확인하세요. 잘못 인식하거나 누락된 대상 물체가 있는 경우, 해당 임계값을 높이거나 낮춰주세요.
-
신뢰도 전략 파라미터를 조정할 때는 먼저 Auto로 설정된 인식 결과를 확인합니다. 신뢰도 임계값을 조정한 후에도 인식 결과가 여전히 현장 요구 사항을 충족하지 못하고 시각화 창 하단에 표시된 표면 매칭 신뢰도 임계값과가장자리 매칭 신뢰도 임계값 사이에 상당한 불일치가 있는 경우 신뢰도 전략을 Manual로 설정하고 관련 파라미터를 조정하는 것이 좋습니다.
-
-
-
출력 - 최대 출력: 이 파라미터의 값을 가장 높은 층이 완전히 노출될 때의 대상 물체 수로 설정합니다. 이 프로젝트에서는 최대 출력 값을 15개로 설정되었습니다.
-
위 작업을 완료하면 다음 버튼을 클릭하여 '일반 설정' 화면으로 들어가 출력 포트 관련 구성을 진행하세요.
일반 설정
대상 물체를 인식 후, 비전 인식 이외의 보조 기능을 설정할 수 있습니다. 현재는 포트 출력 구성만 지원되며, 이를 통해 후속 스텝에 대한 비전 결과와 포인트 클라우드를 제공할 수 있습니다.
로봇이 물체를 성공적으로 피킹할 수 있도록 하려면 대상 물체의 중심점을 조정하여 Z축이 상자 중앙을 가리키도록 해야 합니다. 포트 선택 아래에서 물체 중심점 관련 포트를 선택하고 카메라로 획득한 원시 포인트 클라우드 옵션을 선택하세요. 이렇게 하면 출력된 포인트 클라우드 정보는 경로 계획 시 충돌 감지에 사용됩니다.
| 작업 현장의 실제 수요에 따라 관련 출력 포트를 구성해 주세요. |
이로써 관련 파라미터 조정 방법을 설명했습니다. 파라미터의 설정 사항을 저장하려면 저장 버튼을 클릭하세요.
주의 사항
실제 응용 시나리오에서는 다음 사항을 이해하고 고려해야 하며, 그런 다음 프로젝트에 3D 대상 물체 인식 스텝을 추가하고 데이터 포트를 연결하여 대상 물체의 포즈를 빠르고 정확하게 인식해야 합니다.
-
'3D 대상 물체 인식' 스텝은 일반적으로 카메라에서 이미지를 캡처하기 스텝과 함께 사용되며, 금속 공작물 텐딩 시나리오에 적합하며 배치된 단일 공작물, 질서성연하게 배치된 단층 공작물, 질서성연하게 배치된 다층 공작물 및 무질서하게 쌓인 공작물과 같은 다양한 모양 및 배치 방식의 공작물을 인식할 수 있습니다.
-
'3D 대상 물체 인식' 스텝 뒤에는 일반적으로 포즈 조정 V2 스텝이 이어집니다.
이 예시 프로젝트는 깔끔하게 정렬된 대상 물체의 포즈를 정확하게 인식하는 방법을 보여주기 위한 것이며, 포즈 조정 과정을 생략합니다.