대규모 오프라인 피드포워드 3D 재구성 VGG T3

초록

VGG-T³는 테스트 시점 학습을 이용해 가변 길이의 키‑밸류 공간을 고정 크기 MLP로 압축함으로써, 입력 이미지 수에 대해 선형적인 시간·메모리 복잡도를 달성한다. 1천 장 이미지의 장면을 54초 만에 복원하고, 기존 소프트맥스 어텐션 기반 오프라인 모델 대비 11.6배 빠른 속도를 보이며, 전역 장면 집계 능력을 유지해 포인트 맵 오류에서도 선형‑시간 방법들을 크게 앞선다. 또한, 미보인 이미지로 씬 표현을 질의해 시각적 로컬라이제이션도 가능함을 시연한다.

상세 요약

본 논문은 오프라인 피드포워드 3D 재구성 모델이 이미지 수 N에 대해 O(N²) 수준의 연산·메모리 요구를 갖는 근본적인 병목을 ‘키‑밸류(KV) 공간’의 가변 길이 표현에서 찾는다. 기존 방법들은 모든 이미지 쌍 사이의 어텐션을 계산하거나, 다중 뷰를 직접 메모리에 저장해 전역 장면 정보를 축적한다. 이러한 설계는 정확도 면에서는 강점이 있으나, 수천 장 이미지가 모인 대규모 씬에서는 실용성이 급격히 떨어진다.

VGG-T³는 두 단계로 이 문제를 해결한다. 첫 번째는 ‘테스트 시점 학습(Test‑Time Training, TTT)’을 도입해, 현재 입력된 이미지 집합에 대해 임시적인 KV 테이블을 만든 뒤, 이를 고정 크기의 다층 퍼셉트론(MLP)으로 압축한다. 여기서 MLP는 이미지별 특징을 집계하고, 전역적인 장면 구조를 학습하는 역할을 수행한다. 두 번째는 이 압축된 MLP을 이용해 직접 3D 포인트 클라우드를 예측함으로써, 어텐션 연산을 완전히 배제한다. 결과적으로 연산 복잡도는 O(N)으로 감소하고, 메모리 사용량도 입력 이미지 수에 비례하지 않는다.

핵심 아이디어는 ‘KV 공간을 정규화된 파라미터 공간으로 변환한다’는 점이다. 테스트 시점에 수행되는 짧은 최적화 과정(수십 이터레이션)만으로도, 다양한 뷰 간의 기하학적 일관성을 MLP 파라미터에 내재화한다. 이는 기존의 사전 학습된 네트워크가 고정된 파라미터를 사용해 전역 정보를 축적하는 방식과는 달리, 매 씬마다 맞춤형 파라미터를 생성한다는 점에서 혁신적이다.

실험에서는 1k 이미지 컬렉션을 54초에 복원해, 소프트맥스 어텐션 기반 오프라인 모델 대비 11.6배 빠른 속도를 기록했다. 정량적 평가에서는 포인트 맵 재구성 오류가 선형‑시간 방법들보다 현저히 낮았으며, 특히 복잡한 구조와 텍스처가 풍부한 씬에서 그 차이가 두드러졌다. 또한, 훈련되지 않은 새로운 이미지로 씬 표현을 질의했을 때, 높은 정확도의 시각적 로컬라이제이션 결과를 얻어, 모델이 전역적인 장면 이해를 유지함을 입증했다.

한계점으로는 테스트 시점 학습 단계가 완전히 무시할 수 없는 연산 비용을 차지한다는 점이다. 비록 전체 복합 복잡도는 선형이지만, 최적화 반복 횟수와 MLP 크기에 따라 실제 실행 시간이 변동한다. 또한, MLP가 고정된 용량이므로 매우 복잡하거나 대규모 씬에서는 표현 용량이 부족할 가능성이 있다. 향후 연구에서는 적응형 MLP 구조나 메타러닝 기반 초기화 기법을 도입해 최적화 비용을 감소시키고, 다중 스케일 장면 표현을 결합함으로써 복잡한 씬에서도 높은 정밀도를 유지할 수 있을 것으로 기대된다.