효율적인 대형 뷰 합성 모델 Efficient‑LVSM: 분리형 공동 정제 어텐션으로 빠르고 저렴하게

초록

Efficient‑LVSM은 기존 LVSM의 전역 자기‑어텐션이 초래하는 O(N²) 복잡도를 입력‑뷰 수에 대해 선형(O(N))으로 낮추고, 입력과 목표 토큰을 별도 스트림으로 처리한다. 입력 뷰는 intra‑view 자체 어텐션으로 인코딩하고, 목표 뷰는 self‑then‑cross 어텐션을 통해 점진적으로 정제한다. 이 설계는 파라미터 공유를 최소화하고, KV‑cache 기반 증분 추론을 가능하게 하며, RealEstate10K에서 2 입력 뷰 기준 PSNR 29.86 dB(0.2 dB 향상)와 4.4배 빠른 추론 속도를 달성한다.

상세 분석

본 논문은 대규모 뷰 합성 모델 LVSM이 모든 입력·목표 토큰을 하나의 시퀀스로 결합해 전역 자기‑어텐션을 수행함으로써 두 가지 근본적인 문제를 야기한다는 점을 지적한다. 첫째, 입력 뷰 수 N에 대해 O(N²) 연산 복잡도가 급격히 증가해 메모리·시간 효율이 저하된다. 특히 다중 목표 뷰 M을 동시에 생성할 때 동일한 입력 토큰을 M번 복제해야 하므로 불필요한 연산이 중복된다. 둘째, 입력 토큰(이미지 + 포즈)과 목표 토큰(포즈 전용) 사이에 파라미터 공유가 강제돼 서로 다른 역할을 수행하는 토큰들의 특화된 표현 학습을 방해한다.

Efficient‑LVSM은 이러한 한계를 해소하기 위해 이중 스트림(dual‑stream) 아키텍처와 분리형 공동 정제(co‑refinement) 메커니즘을 도입한다.

1. 입력 인코더: 각 입력 뷰를 독립적인 토큰 시퀀스로 취급하고, intra‑view 자체 어텐션만 적용한다. 이는 토큰 수를 P(패치 수) 수준으로 유지하면서도 N개의 뷰를 병렬 처리해 O(N·P²) → O(N·P) 수준으로 복잡도를 낮춘다. 또한, 새로운 입력 뷰가 추가될 경우 기존 캐시를 재사용할 수 있어 증분 처리에 최적화된다.
2. 목표 디코더: 목표 토큰은 먼저 self‑attention으로 자체 구조를 정제하고, 이어서 입력 인코더의 최종 레이어(또는 중간 레이어) 출력을 key/value로 하는 cross‑attention을 수행한다. 이 self‑then‑cross 흐름은 목표 토큰이 전역 장면 정보를 획득하면서도, 입력‑뷰 특화 파라미터와 분리된 학습이 가능하도록 만든다. 실험에서는 6+6 레이어(자기+교차) 구성이 12층 순수 cross‑attention보다 품질·효율 모두에서 우수함을 보였다.
3. 다중 레이어 공동 정제: 단순히 마지막 인코더 레이어만 사용하는 전통적 encoder‑decoder와 달리, 각 디코더 레이어가 해당 레이어의 인코더 출력을 직접 참조한다. 이는 저레벨 디테일과 고레벨 의미 정보를 동시에 활용하게 하여, 정밀한 텍스처 복원과 전반적인 시멘틱 일관성을 동시에 달성한다.
4. KV‑Cache 기반 증분 추론: 입력 인코더의 key/value를 한 번 계산해 캐시하면, 이후 목표 뷰를 추가 생성할 때는 캐시만 재사용한다. 새로운 입력 뷰가 들어오면 해당 뷰만 인코딩해 캐시에 삽입하면 되므로, 실시간 인터랙티브 어플리케이션에 적합한 O(1) 수준의 추가 비용을 제공한다.

복잡도 분석(Table 1)에서 Efficient‑LVSM은 기존 LVSM(decoder‑only)의 O(N²·M) 대비 O(N·M)으로 크게 감소한다. 실제 벤치마크에서는 RealEstate10K(2 입력 뷰)에서 PSNR 29.86 dB, SSIM 0.895, LPIPS 0.102를 기록했으며, LVSM(dec‑only) 대비 0.2 dB 향상과 4.4배 빠른 추론 속도를 달성했다. 또한, 다양한 데이터셋(DepthSplat, MVSplat, GS‑LRM 등)에서 SOTA를 기록하고, 입력 뷰 수가 훈련 시와 다를 때도 강인한 zero‑shot 일반화를 보였다.

마지막으로, 사전 학습된 비전 인코더(DINOv3)와의 REP‑A(Representation‑Distillation) 기법을 결합해 입력 이미지의 시멘틱 정보를 추가로 주입했으며, 이는 특히 Efficient‑LVSM의 구조와 시너지 효과를 내어 성능을 소폭 상승시켰다. 전체적으로, 본 논문은 대규모 NVS 모델에서 연산 효율성, 파라미터 특화, 증분 추론이라는 세 축을 동시에 만족시키는 설계 원칙을 제시한다.