TaCarla: 자율주행 종합 벤치마크 데이터셋

초록

TaCarla는 CARLA Leaderboard 2.0 시나리오를 기반으로 2.85 백만 프레임 이상을 수집한 대규모 데이터셋이다. 6대의 RGB 카메라, 5대 레이더, 1대 LiDAR 등 NuScenes와 동일한 센서 구성을 갖추고, 동적 객체 탐지, 차선·중심선·교통신호 인식, 예측, 계획 등 모듈형·엔드‑투‑엔드 연구에 필요한 풍부한 라벨을 제공한다. 또한 시나리오별 희소성을 정량화한 ‘희소도 점수’를 공개해 장기 꼬리 사건 탐색을 지원한다.

상세 분석

TaCarla 논문은 현재 자율주행 연구에서 가장 큰 문제점인 데이터셋의 편향성과 불완전성을 체계적으로 해결하려는 시도로 평가할 수 있다. 첫째, 기존 Bench2Drive와 PDM‑Lite가 각각 ‘전문가 정책의 진동’과 ‘센서 구성이 제한적’이라는 단점을 가지고 있음을 정확히 지적하고, 이를 보완하기 위해 PDM 모델을 전문가 정책으로 채택하면서도 NuScenes와 동일한 6카메라·5레이다·1LiDAR 구성을 적용하였다. 이는 기존 데이터셋이 제공하지 못했던 후방·측면 시야를 확보해 ‘Yield‑EmergencyVehicle’와 같은 복합 시나리오에서 필수적인 차선 변경·차량 간 상호작용을 정확히 기록한다는 점에서 큰 의미가 있다.

둘째, 데이터 규모와 다양성 측면에서 TaCarla는 2.85 백만 프레임(10 Hz)이라는 방대한 양을 제공한다. 이는 nuScenes(1 백만 프레임)와 Bench2Drive(2 백만 프레임)를 넘어서는 양이며, 특히 36개의 Leaderboard 2.0 시나리오를 모두 포함해 ‘장기 꼬리(long‑tail)’ 사건을 고르게 샘플링한다. 논문에 제시된 히트맵(그림 2)과 시나리오별 카운트(표 2)는 TaCarla가 속도·가속도·차선 변경 등 복합 행동을 더 넓은 범위에서 다루고 있음을 시각적으로 입증한다.

셋째, 라벨링 체계가 매우 포괄적이다. 3D 객체 바운딩 박스, 2D 교통신호 박스, BEV 중심선·차선 지도, 깊이·인스턴스·시멘틱 세그멘테이션, 그리고 텍스트 기반 규칙 라벨까지 제공한다. 특히 ‘시각‑언어 행동 모델’을 위한 규칙 기반 텍스트 라벨은 최신 LLM 기반 연구와 직접 연결될 수 있는 독창적인 시도다.

넷째, ‘희소도 점수’를 정규화하여 각 프레임이 데이터셋 내에서 얼마나 드문 상황인지 수치화한다. 이는 연구자가 장기 꼬리 사건을 목표로 모델을 설계하거나, 평가 시 특정 희소 구간에 대한 성능을 별도로 측정할 수 있게 한다.

마지막으로, 베이스라인 실험을 통해 다양한 모듈(3D 객체 탐지, 차선·중심선 검출, 교통신호 인식, 예측, 계획)에서 최신 SOTA 모델을 학습시킨 결과를 공개한다. 이는 TaCarla가 단순히 데이터만 제공하는 것이 아니라, 바로 활용 가능한 평가 파이프라인을 제공한다는 점에서 실용성을 높인다. 전체적으로 TaCarla는 데이터 양·다양성·라벨 풍부성·평가 인프라를 모두 갖춘 ‘원스톱’ 데이터셋으로, 향후 자율주행 연구의 표준이 될 가능성이 높다.