스트리밍 시각 기반 공간 지능을 위한 테스트‑타임 트레이닝 프레임워크

초록

Spatial‑TTT는 테스트‑타임 트레이닝(TTT) 방식을 도입해 장시간 비디오 스트림에서 3D 공간 정보를 효율적으로 축적·업데이트한다. 하이브리드 구조와 대규모 청크 업데이트, 슬라이딩‑윈도우 어텐션, 그리고 3D 깊이‑와이즈 컨볼루션 기반 공간‑예측 메커니즘을 결합해 빠른 가중치(fast‑weights)를 비선형 메모리로 활용한다. 밀집된 3D 장면 설명 데이터셋을 통해 fast‑weights의 학습을 지도하고, 다양한 비디오 공간 벤치마크에서 최첨단 성능을 달성한다.

상세 분석

Spatial‑TTT는 기존 멀티모달 대형 언어 모델(MLLM)이 2D 이미지‑텍스트 쌍에만 최적화돼 3D 공간 추론에 한계를 보이는 문제를 근본적으로 해결하고자 한다. 핵심 아이디어는 테스트 시점에 파라미터를 동적으로 조정하는 테스트‑타임 트레이닝(TTT)을 시각 스트리밍에 적용해, fast‑weights라는 소규모 비선형 메모리를 구축함으로써 장시간 비디오에서 누적되는 공간 증거를 압축·보존한다.

1. 하이브리드 아키텍처: 전체 디코더 레이어 중 75%를 TTT 레이어로, 나머지 25%를 기존 셀프‑어텐션 레이어(앱스톤 레이어)로 배치한다. 이는 사전 학습된 크로스‑모달 정렬과 의미 추론 능력을 유지하면서, TTT 레이어가 제공하는 서브선형 메모리 성장 특성을 활용한다.

2. 대규모 청크 업데이트와 슬라이딩‑윈도우 어텐션: 기존 TTT 연구는 1664 토큰 정도의 작은 청크를 사용했지만, 영상 프레임 단위로는 비효율적이다. Spatial‑TTT는 여러 프레임을 포함하는 대형 청크(예: 5121024 토큰)로 업데이트를 수행해 GPU 활용도를 크게 높인다. 동시에 청크 내부의 인트라‑프레임 연관성을 보존하기 위해 슬라이딩‑윈도우 어텐션(SWA)을 병렬로 적용한다. 윈도우 크기는 청크 크기와 동등하거나 그보다 크게 설정해, 인과적 제약을 위배하지 않으면서도 청크 내부 토큰 간 완전한 상호작용을 가능하게 한다.

3. 공간‑예측 메커니즘: 기존 TTT는 Q/K/V를 선형 변환만으로 생성해 토큰 간의 이웃 구조를 무시한다. Spatial‑TTT는 여기서 3D 깊이‑와이즈 스페이시오템포럴 컨볼루션을 도입한다. 이 경량 컨볼루션은 각 토큰 주변의 시공간 이웃을 집계해, fast‑weights가 “예측 매핑”을 학습하도록 유도한다. 결과적으로 모델은 기하학적 대응 관계와 연속적인 움직임을 더 잘 포착하고, fast‑weights 업데이트 시 발생할 수 있는 불안정성을 완화한다.

4. 밀집 장면 설명 데이터셋: TTT가 효과적으로 학습되려면 fast‑weights가 장기간에 걸쳐 유용한 3D 정보를 보존하도록 지도해야 한다. 기존 공간 데이터셋은 국소적이고 희소해 gradient 신호가 약했다. 저자들은 장면 전체를 포괄하는 3D 객체, 개수, 관계 등을 서술하는 밀집 설명을 제공하는 새로운 데이터셋을 구축했다. 이 데이터는 비디오 전체에 걸친 전역적인 공간 구조를 학습하도록 fast‑weights에 풍부한 supervision을 제공한다.

5. 학습 및 최적화: TTT 업데이트는 자기‑지도 손실(L) 기반으로 수행되며, 학습률 η와 손실 설계가 중요하다. 저자는 SwiGLU‑MLP를 fast‑weights에 적용해 비선형성을 강화하고, scale‑shift 파라미터를 통해 TTT와 SWA 간의 쿼리·키 정규화를 조정한다. 또한, 대규모 청크와 병렬 연산을 활용해 메모리 사용량을 O(√T) 수준으로 감소시켰다.

6. 실험 결과: 다양한 비디오 기반 공간 벤치마크(VSI‑Bench, STI‑Bench, VSI‑Super 등)에서 기존 최첨단 방법들을 크게 앞섰다. 특히 장시간(수천 프레임) 스트리밍 상황에서 공간 관계 추론 정확도와 연속 카운팅 능력이 현저히 개선되었다. Ablation study를 통해 각 구성 요소(하이브리드 비율, 청크 크기, SWA, 3D 컨볼루션)의 기여도를 정량화하였다.

전체적으로 Spatial‑TTT는 테스트‑타임 트레이닝을 시각 스트리밍에 맞게 확장하고, 공간‑예측 컨볼루션으로 시공간 구조를 명시적으로 모델링함으로써, 장시간 비디오에서의 3D 공간 인텔리전스를 실용적인 수준으로 끌어올렸다.