FAR‑Drive: 프레임 자동회귀 기반 폐쇄루프 자율주행 시뮬레이션

초록

FAR‑Drive는 다중 카메라 뷰를 지원하는 프레임‑레벨 자동회귀 비디오 생성 모델로, 자율주행 시뮬레이션을 폐쇄루프 환경에서 실시간으로 수행한다. 적응형 레퍼런스 호라이즌 컨디셔닝과 블렌드‑포싱 학습을 통해 장기 일관성을 유지하고, 고압축 VAE와 캐시 메커니즘을 활용해 1 GPU당 서브초 수준의 지연 시간을 달성한다. nuScenes 실험에서 기존 방법들을 앞서며, 시각적 품질과 물리적 일관성 모두에서 최첨단 성능을 보인다.

상세 분석

FAR‑Drive는 자율주행 시뮬레이션이라는 특수한 폐쇄루프 환경에서 발생하는 세 가지 핵심 난제—장기 시간·시점 일관성, 자동회귀적 품질 저하, 저지연 추론—를 동시에 해결하도록 설계된 통합 프레임워크이다. 첫 번째 난제는 다중 카메라 뷰 간의 기하학적 정합성을 유지하면서 수십 초에 걸친 시퀀스를 생성해야 한다는 점이다. 이를 위해 저자는 멀티‑뷰 디퓨전 트랜스포머(MMDiT)를 기반으로 한 두 단계 구조, 즉 백본 MMDiT와 제어용 MMDiT를 도입하였다. 백본은 텍스트·이미지·비디오를 통합하는 TIV2V 어텐션을 사용해 각 카메라 뷰별로 독립적인 시공간 토큰을 처리하고, 이후 뷰를 합친 파노라마 토큰에 교차‑뷰 어텐션을 적용한다. 제어용 MMDiT는 3D 바운딩 박스, BEV 지도, 카메라 파라미터, 차량 변환 행렬, 텍스트 캡션 등 다양한 구조적 신호를 각각 전용 인코더로 변환한 뒤, 제로 초기화된 프로젝션 레이어를 통해 백본에 단계별로 주입한다. 이 설계는 초기 학습 단계에서 백본의 사전학습된 표현을 방해하지 않으면서, 점진적으로 제어 신호가 영상 생성에 미치는 영향을 학습하게 만든다.

두 번째 난제인 자동회귀적 품질 저하는 ‘노출 편향’이라고도 불리며, 초기 프레임의 작은 오류가 반복적인 자기‑조건화 과정에서 급격히 증폭된다. 이를 완화하기 위해 저자는 두 단계 학습 전략을 제안한다. 첫 단계인 적응형 레퍼런스 호라이즌 컨디셔닝(Adaptive Reference Horizon Conditioning)에서는 훈련 시 참조 프레임 집합 Hₜ를 동적으로 확장한다. 즉, 단일 이전 프레임이 아니라 2~3개의 프레임을 조건으로 사용해 속도·가속도 정보를 명시적으로 제공함으로써 물리적 연속성을 강화한다. 두 번째 단계인 블렌드‑포싱(Blend‑Forcing)에서는 실제 GT 프레임과 모델이 자체 생성한 프레임을 일정 비율(α)로 혼합해 입력으로 사용한다. α는 훈련 진행에 따라 점진적으로 1에 가까워지며, 이는 모델이 점점 더 자체 조건에 의존하도록 유도하면서도 초기에는 안정적인 GT 기반 학습을 유지한다. 이러한 혼합 방식은 자기‑조건화 시 발생하는 분포 이동을 완화하고, 장기 롤아웃 시 품질 붕괴를 방지한다.

세 번째 난제인 실시간 상호작용을 위한 저지연 요구는 순수한 디퓨전 샘플링만으로는 충족하기 어렵다. 저자는 시스템‑레벨 최적화를 두 축으로 전개한다. 첫째, 고압축 변분 오토인코더(VAE)를 도입해 디퓨전 과정에서 다루는 잠재 차원을 크게 축소한다. 둘째, KV‑Cache와 Control‑Cache를 활용해 이전 타임스텝의 어텐션 키·밸류와 제어 인코더 출력을 재사용함으로써 매 프레임마다 전체 트랜스포머 연산을 반복하지 않는다. 또한 디퓨전 스텝 수를 단계별로 감소시키는 스케줄링과, 학습된 디퓨전 모델을 경량화하는 디스틸레이션(Distribution Matching Distillation) 기법을 결합해 추론 비용을 5배 이상 절감한다. 결과적으로 단일 RTX 3090 GPU에서 0.8 초 이하의 평균 프레임당 지연을 달성한다.

실험은 nuScenes 데이터셋의 6개 카메라 뷰를 사용해 수행되었다. 정량 평가지표로는 FVD, LPIPS, 그리고 다중 뷰 간의 구조적 일관성을 측정하는 MV‑IoU를 채택했으며, FAR‑Drive는 기존 폐쇄루프 시뮬레이터(예: SimNet, DriveGAN) 대비 각각 18 %, 22 % 이상의 개선을 보였다. 정성 평가에서도 장거리 롤아웃 시 차량 주변 객체가 부드럽게 움직이며, 교차 뷰 간의 투시 변환이 정확히 유지되는 모습을 확인할 수 있었다. 또한, 제어 신호(가속·조향) 변화를 즉시 반영하는 실시간 인터랙션 테스트에서 지연이 0.9 초 이하로 유지돼 실제 차량 제어 루프에 적용 가능한 수준임을 입증했다.

전반적으로 FAR‑Drive는 멀티‑뷰 디퓨전 트랜스포머와 구조화된 제어 인코더, 두 단계 학습 전략, 그리고 시스템‑레벨 최적화를 결합해 폐쇄루프 자율주행 시뮬레이션의 핵심 과제를 종합적으로 해결한다. 향후 연구에서는 고해상도(>1080p) 지원, 라이다·레이다 등 추가 센서 모달리티 통합, 그리고 실제 차량에 대한 온라인 파인‑튜닝을 통해 시뮬레이션‑투‑실제 전이 효율을 높이는 방향이 기대된다.