CARLA2Real: 시뮬레이션‑실제 격차를 줄이는 실시간 이미지 변환 도구

초록

본 논문은 오픈소스 자율주행 시뮬레이터 CARLA의 렌더링 파이프라인에서 추출한 Geometry Buffers(G‑Buffers)를 활용해, 최신 이미지‑투‑이미지 변환 모델인 Enhancing Photorealism Enhancement(EPE)를 실시간(≈13 FPS)으로 적용하는 플러그인 “CARLA2Real”을 제안한다. 변환된 프레임은 Cityscapes, KITTI, Mapillary Vistas와 같은 실제 데이터셋의 시각적 특성을 모방하도록 학습되었으며, 변환 전후의 합성 데이터로 훈련한 특징 추출 및 의미분할 모델의 성능 차이를 실험적으로 입증한다. 또한 G‑Buffers를 사용하지 않은 기존 최첨단 변환 기법(VSAI‑T)과 비교해 시각적 아티팩트 감소와 도메인 간 격차 축소 효과가 우수함을 보인다.

상세 분석

CARLA2Real은 두 가지 핵심 기술을 결합한다. 첫째, CARLA 엔진이 제공하는 G‑Buffers(Depth, Normal, Albedo, Roughness 등)를 실시간으로 캡처하고, 이를 다중 스트림 인코더에 입력해 각 객체 클래스별 특성을 보존한다. 이러한 구조는 기존 GAN 기반 변환이 겪는 “픽셀‑레벨 불일치”와 “시멘틱 손실”을 크게 완화한다. 둘째, Enhancing Photorealism Enhancement(EPE) 모델은 LPIPS 손실과 VGG‑16 기반 퍼셉추얼 디스크리미네이터를 동시에 최적화함으로써, 구조적 유사성을 유지하면서도 현실감 있는 텍스처와 조명을 재현한다. 학습 과정에서 Multi‑Domain Segmentation(MSeg) 네트워크를 활용해 실제 데이터에 대한 시멘틱 라벨을 자동 생성, 라벨 일관성을 확보한다는 점도 주목할 만하다.

성능 측면에서 저자들은 13 FPS라는 근실시간 속도를 달성했으며, 이는 멀티스레드 동기화 파이프라인과 G‑Buffer 선택적 사용(필요 최소 스트림만 활성화) 덕분이다. 실험에서는 (1) 사전 훈련된 ResNet‑152, VGG‑19, EfficientNet 등으로 추출한 특징 벡터의 코사인 유사도를 Cityscapes와 비교했을 때, 변환 전보다 평균 12 % 이상 유사도가 향상되었고, (2) DeepLabV3+ 기반 의미분할 모델을 변환된 합성 데이터로 학습했을 때 실제 KITTI 검증셋에서 mIoU가 4.3 %p 상승했다. 반면, G‑Buffers를 사용하지 않은 VSAI‑T와 비교하면 동일 조건에서 mIoU 차이가 2.7 %p 정도 낮으며, 시각적 아티팩트(왜곡, 색상 번짐) 발생 빈도도 눈에 띄게 감소한다.

한계점으로는 현재 RGB 카메라에만 적용 가능하고, 라이다·레이더 등 다른 센서 데이터에 대한 변환은 지원하지 않는다. 또한 G‑Buffer 추출이 가능한 엔진에 한정되므로, Unity 기반 시뮬레이터 등에서는 추가 구현이 필요하다. 모델 크기가 여전히 수백 MB 수준이어서 저사양 GPU에서는 프레임률 저하가 발생할 수 있다. 향후 연구에서는 경량화된 변환 네트워크와 멀티센서 통합 변환, 그리고 도메인 적응을 위한 자기지도 학습 기법을 결합해 실시간성을 유지하면서도 더 넓은 시뮬레이션 환경에 적용하는 방안을 모색할 수 있다.