다중 카메라 시스템 자동 보정: 제한된 시야 중첩을 극복하는 다중 스케일 마커 방식

초록

본 연구는 천장에 설치한 저가형 프로젝터를 이용해 다양한 크기의 2D 패턴을 바닥에 투사함으로써, 확대 수준과 위치가 크게 다른 다중 카메라들의 제한된 시야 중첩 문제를 해결한다. 제안된 다중 스케일 마커(MSM)와 자동 검출·정합 파이프라인은 0.28 픽셀 수준의 재투영 오차를 달성하며, 기존 수동 마커 기반 보정 및 최신 SfM 방법보다 높은 견고성을 보인다.

상세 분석

3D 외과 장면 재구성(3D‑SSR)에서는 여러 카메라의 외부 파라미터가 정확히 알려져야 하지만, 실제 수술실에서는 카메라가 서로 다른 높이와 줌 레벨에 배치되어 시야 중첩이 극히 제한된다. 기존의 체스보드, ChArUco, AprilTag 등 고정형 마커는 카메라가 충분히 겹치는 영역에 마커를 직접 배치해야 하므로, 운영자의 시간과 전문 지식이 필수적이며, 특히 줌 차이가 10배 이상인 경우 검출률이 급격히 떨어진다.

저자들은 이러한 문제를 해결하기 위해 “다중 스케일 마커(MSM)”라는 개념을 도입한다. MSM은 하나의 유클리드 패턴(예: 정사각형 또는 동심원)을 여러 스케일 팩터 λ∈Λ 로 변형한 일련의 평면 호모그래피 집합 Sₚ에 따라 프로젝터가 연속적으로 투사한다. 각 스케일 변형은 마커 중심 p가 변하지 않도록 설계되어, 어떤 카메라에서든 최소 하나의 스케일이 적절히 보이게 된다. 따라서 극단적인 원거리·근거리 카메라 조합에서도 마커 중심을 정확히 추출할 수 있다.

검출 단계에서는 영상 스트림에서 패턴의 기하학적 특성(대각선 교차점 또는 원의 중심)을 이용해 마커 중심을 계산하고, 이를 2D‑2D 대응점으로 저장한다. 이렇게 얻어진 다수의 대응점은 모두 같은 3D 평면(바닥) 위에 존재하므로, 전통적인 에센셜 매트릭스 기반 초기화가 불가능하다. 대신 저자들은 RANSAC 기반의 호모그래피 추정으로 초기 카메라 쌍의 상대 자세를 복원하고, 이후 PnP와 삼각화를 통해 점진적으로 다른 카메라를 추가한다. 최종적으로는 모든 카메라와 MSM 중심 좌표를 동시에 최적화하는 번들 어드저스트먼트(BA)를 수행한다.

실험은 두 부분으로 나뉜다. 첫 번째는 6대의 원거리 카메라와 4대의 근거리 카메라를 가상 OR 환경에 배치하고, 다양한 3D 점 분포(보드 볼륨, 보드 플로어, 그리드 플로어)와 잡음 수준을 시뮬레이션하여 재투영 오차와 포즈 추정 정확도를 비교했다. 결과는 MSM 기반 방법이 보드 기반 방법과 동등하거나 더 낮은 오차를 보이며, 특히 스케일 차이가 큰 경우에도 안정적으로 작동함을 보여준다.

두 번째는 실제 모의 수술실에서 천장에 고정된 프로젝터와 여러 대의 GoPro·Canon 카메라를 이용해 데이터를 수집한 실험이다. 약 70초 동안 연속적으로 MSM을 투사한 뒤 자동 검출·정합 파이프라인을 적용했으며, 평균 재투영 오차는 0.28 픽셀, 최대 오차는 0.65 픽셀에 불과했다. 반면 ChArUco 기반 수동 보정은 일부 카메라에서 마커가 전혀 검출되지 않아 포즈 추정에 실패했고, 최신 SfM 파이프라인(Colmap, OpenMVG 등)은 텍스처가 부족한 바닥과 금속 표면 때문에 전반적으로 수렴하지 못했다.

이러한 결과는 MSM이 “스케일 불변성”과 “전역적인 점 분포”를 동시에 제공함으로써, 제한된 시야 중첩과 복잡한 재질을 가진 수술실 환경에서도 높은 정확도와 견고성을 확보한다는 점을 입증한다. 또한 프로젝터 자체의 캘리브레이션이 필요 없으며, 정적 투사이기 때문에 움직임에 의한 블러나 동기화 문제도 발생하지 않는다.

한계점으로는 프로젝터와 바닥 사이의 기하학적 왜곡을 무시하고 평면으로 가정했기 때문에, 바닥이 비평면이거나 조명이 강하게 변동하는 경우 정확도가 저하될 수 있다. 또한 현재 구현은 마커 중심만을 이용하므로, 마커 자체의 자세(회전) 정보를 활용하면 더 정밀한 보정이 가능할 것으로 기대된다. 향후 연구에서는 비평면 바닥 보정, 동적 마커(예: 움직이는 라이트 패턴) 도입, 그리고 실시간 보정 파이프라인 구축을 목표로 할 수 있다.