다중 뷰 카메라 보정의 새로운 접근법

초록

본 논문은 밀집 매칭 결과를 효율적으로 서브샘플링하고, 뷰 순서를 최적화함으로써 강한 렌즈 왜곡을 가진 다중 카메라 시스템의 자세와 내부 파라미터를 정확히 추정하는 방법을 제시한다. 실험에서 기존 VGGT 대비 2배 이상 높은 정확도를 보이며, 동물 행동 분석 및 포렌식 영상 복원에 적용 가능함을 입증한다.

상세 분석

본 연구는 기존 구조‑from‑motion(SfM) 파이프라인의 두 핵심 단계, 즉 매칭 서브샘플링과 뷰 추가 순서 선택을 재설계함으로써 견고한 다중 뷰 카메라 캘리브레이션을 구현한다. 먼저, 저자들은 RoMa와 같은 최신 밀집 매처가 제공하는 픽셀 수준의 워프 맵과 신뢰도 점수를 활용한다. 여기서 n‑사이클 거리 개념을 도입해 워프를 n번 반복했을 때 원점으로 돌아오는 매칭만을 보존한다. 2‑사이클(전·후 매핑)과 고차 사이클(n>2) 모두를 검증함으로써 잡음이 많은 매칭을 효과적으로 걸러낸다. 이후, 모든 매칭을 그대로 사용하면 매칭 밀도가 높은 영역에 편향되는 문제를 해결하기 위해 격자 기반 서브샘플링을 적용한다. 초기에는 5×5 픽셀의 미세 격자를 두고 각 셀에서 무작위 매칭을 하나 선택해 전체 매칭 수를 크게 감소시킨다. 그 다음 단계에서는 더 큰 격자를 사용해 각 셀당 점수를 기반으로 최적 매칭을 선택한다. 점수는 삼각화 각도 θ에 대한 가우시안 함수 G(θ‑α,σ)와 경계 함수 B(θ)를 결합해 정의되며, α=30°, σ=20°로 설정해 10°50° 사이의 각도가 가장 높은 점수를 갖도록 설계되었다. 이는 NASA Ames Stereo Pipeline의 실무적 경험을 반영한 것으로, 작은 삼각화 각도에서 발생하는 불안정성을 완화한다. 점수는 n‑사이클 내 모든 쌍에 대해 계산되고, 각 매칭의 최종 점수는 상위 k개의 점수 합산으로 구한다(k=03을 실험). 이러한 점수 기반 서브샘플링은 매칭의 질을 유지하면서도 계산량을 크게 줄인다.

다음으로, 증분 SfM 단계에서 초기 초점 길이를 추정하기 위해 본 논문은 Mendonca‑Cipolla 방식의 특잇값 제약을 비선형 최소제곱으로 최적화한다. 여기서 기본 행렬 Fij를 OpenCV MAGSA 구현으로 얻고, 가중치 wij는 해당 쌍에서 사용된 매칭 비율에 비례하도록 설정한다. 초점 길이 fx=fy 가정하에 각 카메라별로 독립적인 초점 파라미터를 추정한다.

뷰 순서 선택은 세 뷰 사이클 점수를 기반으로 수행된다. 초기 3개의 뷰는 점수가 가장 높은 사이클을 구성하는 노드들을 선택하고, 이후에는 새로운 뷰를 추가했을 때 발생하는 모든 3‑사이클 점수 합을 계산해 가장 큰 증가를 보이는 뷰를 선택한다. 초기 두 뷰 쌍을 결정할 때는 앞면 포인트 수와 재투영 오차를 결합한 비용 함수를 전부 평가해 최적 조합을 찾는 완전 탐색(brute‑force) 전략을 적용한다. 이러한 순서 최적화는 특히 회전 중심이 강하고 삼각화 각도가 작은 경우에도 안정적인 초기 구조를 제공한다.

마지막으로, 전역 SfM 설정에서는 VGGT를 이용해 초기 포즈를 얻은 뒤, 앞서 설계한 매칭 서브샘플링을 적용해 전역 번들 조정을 수행한다. 실험 결과는 강한 방사 왜곡을 가진 카메라(예: 어안 렌즈)에서 기존 VGGT(40.4% 정확도) 대비 79.9%의 성공률을 기록했으며, 동물 행동 데이터셋(PFERD)과 포렌식 시뮬레이션에서도 높은 재구성 품질을 확인했다. 전체 파이프라인은 매칭 전처리, 점수 기반 서브샘플링, 초점 길이 초기화, 뷰 순서 최적화, 그리고 전역 번들 조정이라는 순차적 단계로 구성돼, 각 단계가 서로 보완적으로 작용해 견고한 캘리브레이션을 달성한다. 이 접근법은 기존 SfM 파이프라인에 비해 계산 효율성은 유지하면서도 왜곡이 큰 카메라에 대한 복원 정확도를 크게 향상시킨다.