궤적 조건 희소 점유 세계 모델

초록

SparseWorld‑TC는 VAE 기반 토큰화와 BEV 투영을 배제하고, 이미지 특징에서 직접 다중 프레임 3D 점유를 예측하는 순수 어텐션 기반 트랜스포머 구조를 제안한다. 랜덤 3D 포인트와 앵커 피처를 이용한 희소 점유 표현과 변형 가능 어텐션을 결합해 과거 영상과 미래 궤적을 동시에 융합한다. nuScenes 1‑3초 점유 예측에서 기존 최첨단 방법들을 크게 앞서며, 궤적 조건화에서도 일관된 성능을 보인다.

상세 분석

SparseWorld‑TC는 기존 점유 기반 월드 모델이 안고 있던 두 가지 근본적 제약을 동시에 해소한다. 첫째, VAE 혹은 VQ‑VAE를 이용해 연속적인 3D 장면을 이산 토큰으로 압축하는 방식은 토큰 어휘 크기에 의해 표현 용량이 제한되고, 미세한 기하학적 디테일이 손실된다. 둘째, BEV(위에서 바라본 평면) 표현은 3D 공간을 2D 격자로 강제 투영함으로써 공간적 상호작용을 제한하고, 사전 정의된 기하학적 prior에 의존한다. 논문은 이러한 한계를 넘어, ‘앵커(anchor)’라는 개념을 도입한다. 각 앵커는 무작위로 초기화된 3D 포인트 집합과 해당 포인트들을 설명하는 피처 벡터로 구성된다. 이 피처는 두 개의 MLP를 통해 포인트 오프셋과 클래스 확률을 예측해, 점차적으로 의미 있는 점유 필드를 생성한다.

트랜스포머 코어는 순수 어텐션 메커니즘으로, self‑attention을 통해 앵커 간의 시공간 관계를 학습하고, deformable cross‑attention을 통해 과거 멀티‑뷰 이미지 피처를 앵커에 매핑한다. 변형 가능 어텐션은 각 앵커 중심을 기준으로 평균·표준편차를 이용해 샘플링 오프셋을 정의하고, 다중 카메라 뷰에서 추출된 특징을 평균합산한다. 이렇게 하면 고해상도 이미지 정보를 직접 활용하면서도, BEV와 같은 중간 표현을 거치지 않아 연산 효율과 표현 자유도가 동시에 확보된다.

궤적 조건화는 궤적 시퀀스를 위치 임베딩과 시간 임베딩으로 변환한 뒤, 선형 변환을 통해 스페이셜·템포럴 정보를 융합한 ‘스페이셜‑템포럴 임베딩’으로 구현된다. 이 임베딩은 트랜스포머 입력에 직접 결합되어, 미래 차량 움직임에 따라 점유 장면이 어떻게 변할지를 명시적으로 제어한다.

실험에서는 nuScenes 데이터셋의 1‑3초 점유 예측에서 mIoU 기준 기존 VAE‑기반 모델들을 4~6%p 상회했으며, 특히 동적 객체(차량, 보행자) 영역에서 큰 개선을 보였다. 또한 궤적을 임의로 변형한 조건에서도 일관된 성능을 유지해, 모델이 궤적 정보를 효과적으로 활용함을 입증한다.

한계점으로는 초기 랜덤 포인트의 밀도와 분포가 결과에 영향을 미칠 수 있다는 점, 그리고 현재는 카메라 이미지만을 사용해 라이다와 같은 다른 센서와의 멀티모달 확장은 추가 연구가 필요하다는 점을 들 수 있다. 전반적으로 SparseWorld‑TC는 토큰화·BEV 의존성을 탈피하고, 희소 점유와 트랜스포머를 결합한 새로운 패러다임을 제시한다.