3D 상세 매칭(멀티 모델)¶
기능 설명
멀티 모델을 사용하여 시나리오에 있는 물체에 대해 상세 매칭을 진행하여 대상 물체의 더욱 정확한 픽 포인트를 출력합니다.
응용 시나리오
이 스텝은 3D 근사 매칭(멀티 모델) 에서 출력된 초기 후보 포즈를 기반으로 더 정확한 매칭을 진행하여 대상 물체의 더 정확한 포즈를 출력합니다.
입력 및 출력
참고
가중치 모델을 설정해야 하는 경우 3D 상세 매칭 을 사용해야 합니다. 현재 이 스텝은 가중치 모델의 관련 설정을 지원하지 않습니다.
파라미터 리스트 |
조정 설명 |
|---|---|
모델 및 픽 포인트 설정 |
모델 파일, 기하학적 중심 파일, 모델 레이블 파일 선택 |
포인트 클라우드 중 포인트가 위치하는 평면의 법선 방향의 계산 |
포인트가 위치한 평면의 법선 방향의 계산 방식 선택 및 선택된 인접 포인트 수 설정 |
GMM 매칭 방법 |
매칭 모드 및 편차 관련 설정 |
nearest-neighbor 매칭 방법 |
반복 설정 및 점쌍 설정 제거 |
샘플링 설정 |
샘플링 간격 및 검색 포인트 수 설정 |
대칭성 설정 |
대칭성 관련 설정 |
검증 시의 모델 가중치 |
모델 가중치 파일 및 가중치 관련 설정 로딩 |
결과 검증 설정 |
신뢰 역치, 검색 반경 설정 |
출력 설정 |
단일 포인트 클라우드에 대한 출력 결과 수 설정 |
결과 시각화 |
모델, 시나리오 포인트 클라우드 및 매칭 결과 표시 여부 |
파라미터 설명
파라미터 조정 레벨
기본 파라미터 조정
여기에서는 기본 파라미터 설정 모드(Basic)에서의 조정 가능한 파라미터를 소개할 것입니다. 이 파라미터들은 고급 파라미터 조정 모드 에서도 설정할 수 있습니다.
모델 및 픽 포인트 설정
- 모델 파일 (필수)
- 기본값: model.ply설명: ply 형식의 모델 포인트 클라우드. 여러 파일 경로를 입력 할 수 있으며 서로 다른 파일은 쌍반점으로 구분합니다.
- 기하학적 중심 파일 (필수)
- 설명: json 형식의 기하학적 중심 파일입니다. 여러 파일 경로를 입력할 수 있으며 서로 다른 파일은 쌍반점으로 구분합니다.
- 모델 레이블 파일（필수）
- 설명: json 형식의 모델 레이블 파일, 여러 파일 경로를 입력할 수 있으며 서로 다른 파일은 쌍반점으로 구분합니다.예시: 각 파라미터 아래에 입력된 파일이 동일한 순서로 되어 있는지 확인하십시오. 만약 모델 레이블 파일 중 먼저 입력한 것은 모델 정면의 파일 경로이면 모델 파일 및 기하학적 중심 중에도 먼저 모델 정면의 파일 경로 (positive) 를 먼저 입력해야 합니다. 그림1 과 같습니다.
그림1 모델 및 픽 포인트 설정 조정 예시¶
설정이 완료된 후 출력한 포인트 클라우드 이미지는 그림2와 같습니다. 물체의 정면 및 후면 모델 모두 시나리오 포인트 클라우드와 잘 매칭할 수 있습니다.
그림2 멀티 모델 3D 상세 매칭 결과 시각화¶
포인트 클라우드 중 포인트 방향의 계산
- 포인트가 위치한 평면의 법선 방향의 계산 방법
- 기본값: Origin설명: 포인트 클라우드의 포인트가 위치한 평면의 법선 방향을 계산하는 방법은 총 4가지가 있습니다. 프로젝트의 실제 상황에 따라 선택하세요.
값 리스트 |
조정 설명 |
|---|---|
Origin |
입력 포인트 클라우드의 원시 법선 방향을 직접 사용； |
StandardMode |
CPU를 사용하여 입력된 포인트 클라우드의 법선 방향을 재계산 하는 것은 모델에 법선 벡터가 없는 경우에 사용하는 것을 권장합니다. 목표 포인트 근처에서 목표 포인트과 가장 가까운 k 개 포인트를 검색하고 PCA(주성분 분석 법) 를 사용해 최소 특징 벡터를 구하여 이 포인트의 법선 벡터로 간주합니다. |
EdgeTangent |
이 점의 접선 방향을 법선 방향으로 사용하여 입력된 에지 포인트 클라우드의 접선을 계산합니다. 외부 윤곽이 서로의 거울 이미지인 다른 물체를 구별할 수 있습니다. 평면 물체의 에지 포인트 클라우드를 매칭시킬 때 사용하는 것이 좋습니다. 아래와 같이 두 가지 응용 시나리오가 있습니다. |
정면과 반면을 구별합니다. 3D 상세 매칭(멀티 모델) 스텝을 사용할 수 있으며 모델 포인트 클라우드는 물체의 정반면 모델입니다. |
|
정면과 반면을 구분하지 않습니다. 3D 상세 매칭 (단일 모델) 스텝을 사용하세요. |
|
EdgeNormal |
입력된 에지 포인트 클라우드의 법선 벡터를 계산합니다. 평면 물체의 에지 포인트 클라우드를 매칭 시킬 때 사용할 것을 권장합니다. |
참고
EdgeTangent 혹은 EdgeNormal 방법을 사용할 때 각 에지 포인트 클라우드에 여러 물체가 포함되어 있지 않은지, 즉 각 물체 포인트 클라우드가 분할되었는지 확인하십시오.
- 선택된 인접 점의 수
- 기본값: 10설명: 포인트가 위치한 평면의 법선 방향의 인접 포인트 수를 계산하는 데 사용되며 최소 값은 1입니다.
- 해당 설정
- 기본값: GMM값 리스트: GMM, nearest-neighbor설명: 이 파라미터는 일부 구역의 매칭 방법을 선택하는 데 사용됩니다. 모델 포인트 클라우드와 시나리오 포인트 클라우드를 매칭 시키면 모델 포인트 클라우드는 설정한 범위에 따라 이동과 회전을 진행하여 이전 스텝에서 얻은 시나리오 중의 포인트 클라우드와 매칭을 진행합니다.예시: 대부분의 시나리오에서 GMM 은 간섭을 더 효과적으로 방지할 수 있고 매칭 속도가 더 빠르므로 이 모드를 사용하는 것을 추천합니다. 드문 경우지만(GMM이 요구 사항을 충족할 수 없는 경우) ICP ( nearest-neighbor) 모드를 사용할 수 있습니다.
GMM 모드 파라미터 설정
- 매칭 모드
- 기본값: Standard값 리스트: HighSpeed, Standard, HighPrecision설명: 매칭 모드는 세 가지가 있으며 프로젝트 요구 사항에 따라 적절한 모드를 선택하십시오.HighSpeed：속도가 가장 빠르지만 정확도가 비교적 낮은 모드.Standard：비교적 안정적인 모드.HighPrecision：정확도가 가장 높지만 속도가 비교적 느린 모드입니다.
- 반복 횟수
- 기본값: 30설명: 반복은 조건이 충족될 때까지 특정 명령을 반복하는 프로세스입니다. 반복횟수는 이 과정에서 명령어가 반복되는 횟수를 말하며, 여기서 설정한 파라미터는 반복횟수의 상한선이며, 값이 클수록 매칭하는 계산 횟수가 많아지고 실행시간이 길어지지만 해당 매칭 정확도가 향상됩니다.
- 표준 편차
- 표준 편차 감쇠 업데이트 스텝 수
- 기본값: 3설명: 매칭 과정에서 표준 편차 는 최소 표준 편차 에서 설정한 값에 도달할 때까지 점점 작아집니다. 이 프로세스 동안 표준 편차가 감소하는 횟수가 즉 이 파라미터의 값입니다. 표준 오차가 큰 일부 경우에는 감쇠 횟수가 많을수록 전체 감쇠 프로세스가 더 안정적입니다. 일반적인 상황에서는 이 파라미터를 조정할 필요가 없습니다.
- 최소 표준 편차
- 기본값: 0.001설명: 가장 작은 표준 편차 값, 즉 감쇠 후 도달한 최소값입니다.
- 반복에 가중치를 적용하기
- 기본값: False값 리스트: True，False설명: 선택하면 모델의 가중치가 알고리즘 반복에 사용되므로 가중치 모델과 더 잘 매칭할 가능성이 높습니다.
nearest-neighbour 모드의 파라미터 설정
반복 설정
- 반복 횟수
- 기본값: 30설명: 반복은 조건이 충족될 때까지 특정 명령을 반복하는 프로세스입니다. 반복 횟수 는 해당 프로세스에서 명령어가 반복되는 횟수를 의미하며, ICP 모드에서 계산이 알고리즘의 정확도 요구 사항을 충족하면 반복이 중지됩니다. 여기에 설정한 파라미터는 반복 횟수의 상한선이며 값이 클수록 매칭하는 계산 횟수가 많아지고 실행 시간이 길어지지만 해당 매칭 정확도가 향상됩니다.
- 가장 가까운 포인트 검색 반경
- 기본값: 0.01설명: 이 파라미터는 가장 가까운 포인트의 검색 반경을 조정하는 데 사용되며, 단위는 m이며, 값의 설정은 입력된 초기 포즈 편차와 일치해야 합니다. 입력한 초기 포즈의 편차가 클 때, 즉 시나리오 포인트 클라우드와 모델 포인트 클라우드 간의 편차가 클 때, 가장 가까운 포인트의 검색 반경을 증가시키기 위해 이 파라미터의 값을 증가시킬 필요가 있으며, 이는 모든 포인트가 가장 가까운 인접 점을 찾을 수 있도록 하기 위한 것입니다. 초기 포즈 편차가 매우 작을 때 이 파라미터를 더 작게 조정할 수 있습니다. 이 파라미터에 설정할 수 있는 최소값은 ``0.001``이며 이 하한보다 작을 경우 드문 분포를 가진 일부 포인트가 가장 가까운 포인트를 찾지 못해 출력 결과에 영향을 줄 수 있습니다.
그림3 가장 가까운 포인트 검색 반경의 매칭 결과 비교¶
- 평균 제곱 오차 역치
- 기본값: 0.001설명: 이 파라미터는 평균 제곱 오차의 크기를 조정하는 데 사용됩니다. 이 값은 각 반복 후에 기록되고 후속 반복 스텝에서 비교하는 데 사용됩니다. 만약 반복의 평균 제곱 오차가 설정값보다 작으면 반복 효과가 요구 사항에 도달한 것으로 간주하여 반복을 종료합니다.
- 창 크기
- 기본값: 10설명: 이 파라미터는 반복 최적화 과정에서 오차 변동이 작은 연속 반복 횟수를 나타내며 최소값은 3입니다. 이 파라미터가 너무 작으면 일부 최적 솔루션이 나타나 최종 매칭 정확도에 영향을 줄 수 있습니다. 예를 들어, 창에는 세 번의 연속 반복 결과의 오차만 포함되므로 오차 변화 추세는 세 번의 반복 오차를 비교해야만 얻을 수 있으며, 이는 일부 최적 솔루션(두 번째 반복의 오차는 첫번째, 세번째 반복보다 작음)으로 이어질 수 있으며 전부 최적 솔루션(반복 횟수의 권장값을 기준으로 전부 30회 반복이 포함되며, 이후에 더 큰 오차 감소를 갖는 반복이 발생할 수 있음) 이 아닙니다.
- 해당 포인트 표시
- 기본값: False값 리스트: True，False설명:
True를 선택하면 해당 포인트가 각 반복에 표시됩니다. - 복잡한 물체인지 판단하기
- 기본값: False값 리스트: True，False설명: 대상 물체가 복잡한 모양의 물체(단순한 기하학적 모양이 아님)이고 반복 점쌍 가중치의 자동 계산 기능을 사용해야 하는 경우 ``True``를 선택해야 합니다.
- 반복된 점쌍의 가중치를 자동으로 계산하기
- 기본값: False값 리스트: True，False설명: ``True``를 선택하면 반복 점쌍의 가중치를 자동으로 계산하는 기능을 사용하게 되며, 매칭 결과가 좋지 않은 대상에게 이 기능을 사용하는 것을 권장합니다.
점쌍 제거 설정
- 문제가 있는 점쌍을 제거하기
- 기본값: False값 리스트: True，False설명: 가장 가까운 점을 찾는 과정에서 여러 점쌍이 있으므로 이 기능을 사용하여 점쌍을 필터링할 수 있습니다. ``True``를 선택하면 이 기능을 사용하게 됩니다. 다음 점쌍 제거에 사용되는 sigma 배수 역치 및 점쌍 각도 차이 역치 파라미터를 통해 문제가 있는 점쌍을 제거하는 데 사용됩니다. 선택을 하지 않으면 이 두 속성은 효력이 발생되지 않을 것입니다.
- 점쌍 제거에 사용되는 sigma 배수 역치
- 기본값: 1.0000설명: sigma 배수 역치는 점쌍 간의 거리 평방 편차 배수의 값을 나타내며, 이 파라미터는 점쌍 간의 거리에 따라 필터링됩니다. 만약 두 점 사이의 거리가 이 범위를 초과하면 점쌍이 제거됩니다.
- 점쌍 각도 차이 역치
- 기본값: 45°설명: 점쌍의 법선 방향 간의 각도 차가 이 값보다 크면 점쌍이 제거됩니다.
- 반복에서 가중치를 사용하기
- 중복 점쌍 제거
- 기본값: False값 리스트: True，False설명: ``True``를 선택하면 중복 점쌍을 제거하는 기능이 사용되며 중복 포인트 클라우드 유형 제거 속성이 적용됩니다. 모델 포인트 클라우드의 포인트 수가 시나리오의 단일 물체의 포인트 수보다 더 많을 때 사용하는 것이 좋습니다.
- 반복된 점쌍의 유형
- 기본값: MinDis값 리스트: MinDis，GlobalMin설명: 이 파라미터는 점쌍에서 중복을 삭제하는 해당 방법을 선택하는 데 사용되며 총 두 가지 방법을 포함합니다.MinDis 는 해당하는 중복 점쌍 사이의 거리를 계산하고 최소 거리의 점쌍을 유지하고 나머지 중복 점쌍을 삭제하는 것을 말합니다.GlobalMin 은 각 반복된 해당 점쌍 사이 거리의 평균값을 기준으로 하여 이 평균값과 가장 작은 차이를 갖는 점쌍을 찾아 보류하는 것으로 상대적으로 반복 횟수가 적은 해당 점쌍을 제거하는 것입니다.
샘플링 설정
- 샘플링 간격
- 기본값: 0.005설명: 모델 및 시나리오 포인트 클라우드를 다운샘플링하기 위한 샘플링 간격입니다. 이 값이 클수록 더 적은 수의 포인트 클라우드가 샘플링되고 모델 추정의 정확도가 떨어집니다.
그림4 샘플링 간격이 작을 때의 3D 상세 매칭 결과¶
그림5 샘플링 간격이 클 때의 3D 상세 매칭 결과¶
- 검색 포인트 수
- 기본값: 20설명: 파라미터 조정 레벨 이 Advanced인 경우 이 파라미터를 조정할 수 있습니다. 이 파라미터는 호환성을 위해 보류되며 샘플링 중 검색점 수를 조정하는 데 사용됩니다.
결과 검증 설정
- 신뢰 역치
- 기본값: 0.5유효범위: [0，+∞)설명: 결과의 검증 점수가 이 파라미터보다 크면 결과가 유효한 것으로 간주되어 출력으로 유지됩니다. 값이 클수록 매칭 정확도가 높은 결과를 유지할 가능성이 높아집니다.
- 결과 평가 검색 반경
- 기본값: 0.01 m유효범위: [0，+∞)설명: 이 파라미터는 믿음도를 계산할 때의 검색 반경으로 물체의 포인트 클라우드에 따라 설정되며 포인트 클라우드가 희박한 경우 약간 크게 설정해야 합니다.
출력 설정
- 단일 포인트 클라우드의 출력 결과 수
- 기본값: 1설명: 이 값이 클수록 매칭하는 출력 결과가 더 많아집니다.
그림6 기본 설정일 때의 포인트 클라우드 출력 결과¶
그림7 파라미터 설정 증가 시 포인트 클라우드 출력 결과¶
결과 시각화
- 매칭 결과 표시
고급 파라미터 조정
이 부분에서는 고급 파라미터 조정 모드(Advanced)에서 새로 추가된 조정 가능한 파라미터에 대해서만 소개합니다. 기본 파라미터 조정 모드(Basic)와 동일한 파라미터가 있는 경우 기본 파라미터 조정 을 참조하십시오.
대칭성 설정
식별 대기 목표물이 대칭성을 가질 때, 매칭 결과가 국부적으로 최선에 빠지지 않도록 대칭성 설정을 추가합니다. 기하학적 중심점의 한 축을 회전 축으로 지정하여 설정된 축을 중심으로 대칭 시도를 수행한 다음 최적의 결과를 선별합니다.
- 대칭성 회전축
- 기본값: ROTATE_BY_Z값 리스트: ROTATE_BY_X, ROTATE_BY_Y, ROTATE_BY_Z설명: 이 파라미터는 기하학적 중심의 회전 축을 선택하는 데 사용됩니다.
- 대칭 각도 간격
- 기본값: 360°설명: 이 파라미터는 대칭 각도의 크기를 조정하는 데 사용됩니다. 초기 포즈를 최소 회전 각 에서 최대 회전 각 으로 변경하는 각도 스텝 사이즈입니다.예시: 물체가 대칭 축을 중심으로 60° 회전하기 전과 후에 동일하게 보이는 경우 대칭 각도 간격은 60° 입니다.
- 최소 회전각
- 기본값: -180°설명: 이 파라미터는 최소 회전 각을 조정하는 데 사용됩니다.
- 최대 회전각
- 기본값: 180°설명: 이 파라미터는 최대 회전 각을 조정하는 데 사용됩니다.
- 조절 예시
아래 그림에 표시된 크랭크 축 공작물의 경우 주요 부품, 즉 상자 내부 부품은 Y축을 따라 180° 대칭입니다.
대칭성 파라미터가 설정되지 않은 경우 유사한 국부적 모양으로 인해 다음 그림과 같이 매칭 결과가 국부적으로 최선에 빠지고 매칭 오류가 발생할 수 있습니다.
오류 결과를 분석하자면 모델은 크랭크 축의 중간 부분만 매칭됐으며, 만약 매칭 과정에서 모델이 180° 회전한 후의 매칭 시도를 추가하면 전체 크랭크 축과 매칭하게 되며 그 매칭 점수는 반드시 회전하기 전의 매칭 점수보다 높아야 합니다. 그러면 올바른 결과를 얻을 수 있습니다.
대칭성 회전축을 ROTATE_BY_Y(기하학적 중심점의 Y축)로 설정하고 대칭 각도 간격을 180°로 설정하면 다음 그림과 같이 올바른 매칭 결과를 얻을 수 있습니다.
검증 시의 모델 가중치
식별할 목표물의 “주체”가 비슷하고 “국소”의 차이만 클 경우, 모델“국소”의 가중치를 높여“국소”가 매칭하는 정확한 결과를 출력해야 합니다.
- 모델 가중치 파일
- 설명: 이 파일(ply 형식)은 원본 포인트 클라우드 모델 파일의 일부 포인트 클라우드이며 이 부분의 포인트 클라우드는 비교적 높은 가중치가 있어 가중치 값 파라미터에 의해 설정됩니다. 실제 작업물에 따라 어느 부분을 선택하여 가중치 모델로 할 것인지 확인해야 합니다.
- 가중치 값
- 가중치 설정 검색 반경
- 기본값: 0.0030설명: 이 파라미터는 포인트 클라우드에 가중치를 추가하는 과정에서 검색 반경을 설정하는 데 사용됩니다. 가중치 설정은 원래 모델 포인트 클라우드에서 진행되며, 모델 포인트 클라우드는 매칭 프로세스에 사용되기 전에 다운 샘플링되어 가중치 피설정 포인트가 이동되거나 잃어버리는 경우가 발생할수 있습니다. 분실 포인트 주변의 포인트에 대해 가중치 설정을 진행하는 과정에 검색 반경의 설정이 필요한 경우 이 검색 반경은 이 파라미터로 설정합니다.
- 조절 예시
이 예시는 대칭 설정 예시를 이어서 설명하겠습니다.
식별할 크랭크 축의 “주체”가 비슷하고 “국소”의 차이만 클 경우, 모델“국소”의 가중치를 높여“국소”가 매칭하는 정확한 결과를 출력해야 합니다.
결과 검증 설정
- 점쌍 법선 방향 협각 편차를 고려한 결과 평가
- 기본값: False값 리스트: True，False설명:
True를 선택하면 포즈를 검증하는 과정에서 해당 포인트 점쌍의 법선 벡터의 각도 차이를 고려하여 출력이 자주 감소하지만 더 정확합니다. - 시나리오 포인트에서 해당 포인트의 비례로 점수를 곱하기
- 기본값: False값 리스트: True，False설명:
True로 선택하면 매칭 점수에 [시나리오 포인트에 대한 대응 포인트의 비례 계수] 를 곱합니다. 이는 하나의 포인트 클라우드에서 여러 물체의 포즈를 추정하는 데 적합하지 않습니다.
결과 시각화
- 샘플링 후 모델 포인트 클라우드를 표시하기
- 기본값: False값 리스트: True，False설명:
True를 선택하면 샘플링된 모델 포인트 클라우드가 출력한 결과에 표시되며 실제 시나리오의 필요에 따라 설정할 수 있습니다. - 샘플링 후 시나리오 포인트 클라우드를 표시하기
- 기본값: False값 리스트: True，False설명: ``True``를 선택하면 샘플링된 시나리오 포인트 클라우드가 출력한 결과에 표시되며 실제 시나리오의 필요에 따라 설정할 수 있습니다.
- 모델과 시나리오 포인트 클라우드의 대응 관계를 표시하기
- 기본값: False값 리스트: True，False설명: ``True``를 선택하면 모델과 시나리오 포인트 클라우드 간의 해당 관계가 출력한 결과에 표시되며 실제 시나리오의 필요에 따라 설정할 수 있습니다.