인스타드라이: 인스턴스 인식 기반 실감형 운전 영상 생성 모델

초록

인스타드라이는 운전 영상 생성 시 인스턴스 수준의 시간 일관성과 공간 기하학적 정확성을 동시에 확보하기 위해 두 가지 핵심 모듈을 도입한다. Instance Flow Guider는 객체의 위치·속성을 프레임 간에 추적·전파해 색상·텍스처 변화를 방지하고, Spatial Geometric Aligner는 3D 바운딩 박스를 카메라 시점에 투영·깊이 순서를 명시적으로 모델링해 정확한 위치와 올바른 가림 관계를 유지한다. 이러한 설계는 nuScenes에서 기존 방법들을 앞서는 FID·FVD 성능을 달성하고, 다운스트림 인식·추적·플래닝 과제에서도 실세계 데이터와 견줄 만한 결과를 보여준다. 또한 CARLA 자동운전 시뮬레이터를 활용해 희귀 위험 시나리오를 절차적으로 생성, 안전성 평가에 활용한다.

상세 분석

인스타드라이는 현재 운전 영상 생성 분야가 직면한 두 가지 핵심 문제—인스턴스 수준의 시간적 일관성 결여와 공간 기하학적 부정확성—에 대한 구체적인 해결책을 제시한다. 첫 번째 모듈인 Instance Flow Guider(IFG)는 객체 트래킹 ID와 3D 위치 정보를 이용해 “인스턴스 플로우”를 정의한다. 각 객체의 현재 프레임 위치와 가장 최근에 관측된 프레임 사이의 변위를 3차원 오프셋으로 계산하고, 이를 2D 투영 영역에 매핑해 ‘모션 맵’으로 변환한다. 이 모션 맵은 VAE를 통해 압축된 후 ControlNet을 통해 ST‑DiT의 기본 블록에 주입된다. 결과적으로 시간적 어텐션 레이어는 인스턴스별 움직임 정보를 직접 활용해 과거 프레임에서 추출한 색상·텍스처 특징을 현재 프레임에 정확히 전달한다. 이는 기존 방법이 텍스트나 전역 어텐션에 의존해 전반적인 일관성만을 강화하던 것과 달리, 개별 객체의 시각적 속성을 보존함으로써 색상 변동이나 텍스처 흐트러짐을 크게 감소시킨다.

두 번째 모듈인 Spatial Geometric Aligner(SGA)는 공간적 정확성을 확보한다. 3D 바운딩 박스를 카메라의 내·외부 파라미터를 이용해 첫 번째‑인‑퍼스펙티브(FPV) 뷰에 투영하고, 각 코너 포인트의 카메라 광축 거리(깊이)를 푸리에 임베딩 후 MLP에 입력해 ‘깊이 순서 표현’으로 변환한다. 이 표현은 인스턴스 간 가림 관계를 명시적으로 학습하도록 돕는다. 또한, 투영된 2D 박스를 제어 신호로 사용해 모델이 정확히 지정된 위치에 객체를 배치하도록 강제한다. 기존 연구가 BEV‑2D 레이아웃에 의존해 기하학적 정보를 손실하거나, 복잡한 다단계 파이프라인을 도입해 연산 비용을 높였던 반면, 인스타드라이는 3D 정보를 직접 활용해 단일 엔드‑투‑엔드 구조로 구현하면서도 높은 공간 정밀도를 유지한다.

기술적 구현 측면에서 인스타드라이는 OpenSora V1.1 기반의 VAE·T5·ST‑DiT를 기본 골격으로 삼고, 13개의 ControlNet 블록을 앞선 13개의 DiT 블록에 삽입해 다중 제어 조건(텍스트, HDMap, 카메라 포즈, 3D 박스 등)을 일관되게 통합한다. 또한 파라미터‑프리 ‘뷰‑인플레이션 어텐션’을 도입해 다중 뷰 간 일관성을 확보하면서도 추가 연산량을 최소화한다. 이러한 설계는 대규모 멀티‑뷰 운전 영상 생성에 필수적인 메모리 효율성과 속도 향상을 동시에 달성한다.

실험 결과는 nuScenes 데이터셋에서 FID와 FVD 모두 기존 최첨단 모델(MagicDrive‑V2, Panacea 등)을 크게 앞선다. 특히 인스턴스 색상·텍스처 유지율, 박스 정렬 오차, 가림 순서 정확도 등 정량적 지표에서 현저한 개선을 보인다. 다운스트림 평가에서는 합성 영상으로 학습한 객체 탐지·다중 객체 트래킹·경로 계획 모델이 실제 센서 데이터와 거의 동일한 성능을 기록, 합성 데이터의 실용성을 입증한다.

한계점으로는 IFG가 트래킹 ID와 가시성 플래그에 크게 의존한다는 점이다. 복잡한 장면에서 ID 할당 오류가 발생하면 모션 맵이 부정확해질 위험이 있다. 또한 SGA는 깊이 순서를 코너 포인트 거리만으로 추정하므로, 비정형 형태(예: 비정형 차량, 보행자)의 경우 가림 관계가 완전히 반영되지 않을 수 있다. 향후 연구에서는 학습 기반 ID 추정 및 더 정교한 깊이 예측 모델을 결합해 이러한 약점을 보완할 여지가 있다.

전반적으로 인스타드라이는 인스턴스‑레벨 제어와 기하학적 정밀성을 동시에 달성한 최초의 운전 세계 모델로, 합성 데이터 기반 자율주행 연구에 새로운 패러다임을 제시한다.