다중시점 학습으로 인간 수준 3D 형태 인식 구현

초록

본 논문은 자연 장면의 다중 이미지와 그에 대응하는 카메라 위치·깊이 정보를 예측하도록 학습된 비전 트랜스포머를 제안한다. 이러한 ‘멀티뷰’ 모델을 인간 실험에서 사용된 3D 형태 구별 과제에 제로샷으로 적용했을 때, 별도 미세조정 없이도 인간과 동등한 정확도를 달성하고, 오류 패턴·반응 시간까지 인간 행동을 예측한다는 점을 보여준다.

상세 분석

이 연구는 인간이 2D 시각 입력만으로 3D 구조를 추론하는 능력을 인공 신경망에 구현하고자 하는 오래된 목표에 새로운 해법을 제시한다. 핵심 아이디어는 ‘시각‑공간 목표’를 사용해 대규모 자연 장면 데이터에서 다중 시점 이미지를 입력으로 받아, 각 이미지에 대한 카메라 위치, 깊이, 그리고 알레아토릭 불확실성(precision) 등을 동시에 예측하도록 학습하는 것이다. 이 과정에서 모델은 물체에 대한 사전 지식이나 기하학적 편향을 전혀 사용하지 않는다.

구현 측면에서 저자들은 DUST3R, MAST3R, Pi3, 그리고 VGGT‑1B와 같은 최신 멀티뷰 비전 트랜스포머를 활용한다. 특히 VGGT‑1B는 일반적인 비전 트랜스포머 구조를 그대로 사용하면서, 다중 이미지 쌍 사이의 공간적 대응 관계를 학습한다. 학습 손실은 예측된 깊이와 실제 깊이 사이의 L1 차이와, 예측된 정밀도(precision) 값을 가중치로 하는 불확실성‑가중 손실을 포함한다. 이 설계는 인간이 스테레오 시각·전정 감각을 통해 얻는 ‘공간적 일치’ 정보를 신경망이 자체적으로 습득하도록 만든다.

평가 단계에서는 인간 행동 데이터를 활용한 ‘제로샷’ 프로토콜을 설계한다. 실험 과제는 두 개의 동일 물체 이미지(A, A′)와 하나의 다른 물체 이미지(B)를 제시하고, 참가자가 비일치 물체(B)를 식별하도록 하는 oddity 판단이다. 모델은 각 이미지 쌍에 대해 추정된 불확실성(precision) 값을 이용해, 매칭 쌍(A‑A′)은 높은 신뢰도, 비매칭 쌍(A‑B, A′‑B)은 낮은 신뢰도를 보일 것으로 가정한다. 가장 낮은 평균 신뢰도를 가진 이미지를 비일치 후보로 선택해 정확도를 측정한다.

실험 결과, VGGT‑1B는 인간 평균 정확도와 거의 동일한 수준을 기록했으며, 기존 단일 이미지 기반 비전 모델(DINOv2‑L)보다 현저히 우수했다. 또한 모델이 출력한 불확실성 마진(Δ)은 인간의 정확도와 강한 상관관계를 보였고, 각 레이어별 토큰 유사도 분석을 통해 ‘솔루션 레이어’를 식별함으로써 모델 내부에서 3D 형태 판단이 언제 이루어지는지를 추정했다. 이 솔루션 레이어는 중후반 트랜스포머 블록에 위치하며, 매칭 이미지 간 코사인 유사도는 크게 증가하고 비매칭 이미지 간 유사도는 감소한다.

주목할 점은 모델이 별도 파인튜닝 없이도 인간과 동일한 오류 패턴과 반응 시간 변동을 예측한다는 것이다. 이는 모델의 불확실성 추정이 인간의 인지적 불확실성과 정량적으로 연결될 수 있음을 시사한다. 논문은 또한 멀티뷰 학습이 물체 중심의 inductive bias 없이도 3D 인식을 획득할 수 있음을 실증적으로 보여주며, 인간 시각 인지 이론에 대한 새로운 계산적 근거를 제공한다.

한계로는 현재 모델이 대규모 자연 장면 데이터에 의존한다는 점과, 실험 과제가 비교적 제한된 이미지 트리플에 국한된다는 점을 들 수 있다. 향후 연구에서는 보다 다양한 조명·텍스처 조건, 동적 장면, 그리고 행동 기반 피드백을 포함한 학습 목표를 탐색함으로써 인간 시각 시스템의 전반적인 복잡성을 더욱 포괄적으로 모델링할 수 있을 것이다.