가상 세계를 활용한 다중 객체 추적 성능 평가와 데이터 증강

본 논문은 현대 컴퓨터 비전 연구에서 가장 큰 병목 중 하나인 대규모 고품질 라벨 데이터 확보 문제를 해결하고자, 실제 세계의 영상 데이터를 가상 세계에 복제(clone)하는 방법을 제안한다. 저자들은 먼저 KITTI 멀티‑오브젝트 트래킹(MOT) 벤치마크에서 5개의 대표 시퀀스를 선택하고, 해당 시퀀스에 포함된 RGB 영상, 라이다 포인트클라우드, GPS/IMU 기반 카메라 포즈 정보를 수집한다. 이 정보를 바탕으로 Unity3D 게임 엔진을 활용해 ‘Virtual KITTI’라는 포토리얼리스틱 가상 데이터셋을 구축한다. 가상 세계 구축 과정은 크게 다섯 단계로 구성된다. (1) 실제 시드 데이터 확보: 최소한의 실제 영상과 센서 메타데이터만 필요하다. (2) 실세계 클론: 3D 모델링 에셋과 실제 객체의 위치·방향 정보를 매핑해 가상 씬을 재현한다. 여기서는 차량 모델, 도로, 건물, 나무 등 배경 요소를 Unity Asset Store에서 다운로드받아 사용했으며, 카메라 경로와 조명 방향을 실제와 일치시키기 위해 몇 분 정도의 수동 튜닝만 수행했다. (3) 조건 변형: 스크립트를 통해 차량 수, 속도, 색상, 크기, 카메라 시점, 조명·날씨(맑음, 흐림, 안개, 폭우) 등을 자유롭게 변형한다. 이를 통해 ‘what‑if’ 분석이 가능해진다. (4) 자동 라벨 생성: Unity의 렌더링 파이프라인을 이용해 RGB 영상, 깊이 맵, 픽셀‑레벨 클래스·인스턴스 마스크, 2D 바운딩 박스 등을 동시에 출력한다. 인간 주석자의 주관적 오류와 비용을 완전히 배제한다. (5) 유용성 평가: 실제와 가상 데이터 간 전이 가능성을 정량화하고, 가상 사전학습이 실제 성능에 미치는 영향을 실험한다. 실험에서는 Fast‑RCNN 기반의 객체 검출기와 MOT 알고리즘을 사용했다. 먼저 실제 KITTI 모델을 그대로 가상 클론에 적용했을 때, MOTA와 MOTP가 각각 0.92와 0.86 수준으로 실제와 거의 동일함을 확인했다. 이는 가상 세계가 실제 영상의 시각적·기하학적 특성을 충분히 보존한다는 증거다. 이어서 가상 데이터만으로 사전학습한 뒤 실제 KITTI에 파인튜닝한 경우, 순수 실제 데이터만 학습한 모델 대비 평균 MOTA가 1.5 % 상승하고, 특히 드물게 나타나는 조명·날씨 조건에서의 성능 격차가 크게 줄어들었다. 가장 흥미로운 실험은 가상 환경에서 날씨·조명·카메라 각도를 독립적으로 변화시킨 ‘ceteris paribus’ 분석이다. 안개와 폭우를 적용했을 때, 기존 모델의 MOTA는 최대 12 %까지 감소했으며, 일몰 조명에서는 물체 경계가 흐려져 검출 정확도가 크게 떨어졌다. 카메라 시점을 좌우 15도 회전시킨 경우에도 트래킹 오류가 증가했는데, 이는 현재 MOT 시스템이 시점 변화에 취약함을 보여준다. 이러한 결과는 실제 도로 주행 환경에서 발생할 수 있는 다양한 기상·조명 변동을 고려한 데이터 증강이 필요함을 강조한다. 논문은 또한 기존 연구와의 차별점을 명확히 제시한다. 기존의 합성 데이터 활용 연구는 주로 저해상도 혹은 비현실적인 CAD 모델을 사용했으며, 라벨링 비용 절감에 초점이 맞춰졌다. 반면, 본 연구는 ‘실제‑가상 클로닝’이라는 새로운 파이프라인을 통해 소량의 실제 데이터만으로 대규모 고품질 라벨을 자동 생성하고, 실제와 가상의 성능 차이를 정량적으로 검증함으로써, 합성 데이터가 실제 연구에 직접적인 대체재가 될 수 있음을 입증한다. 결론적으로, 가상 세계는 (1) 비용 효율적인 라벨링, (2) 무한히 다양한 시나리오 생성, (3) 실제와 거의 동일한 성능 평가 환경 제공이라는 세 가지 핵심 장점을 제공한다. 앞으로는 도메인 적응 기술과 결합해 가상‑실제 간 격차를 더욱 줄이고, 자율주행·감시·로봇 등 실시간 비전 시스템의 안전성을 검증하는 표준 테스트베드로 활용될 가능성이 크다.