결정적 특징 충실도: 합성·실제 이미지 비교를 위한 새로운 메트릭

초록

본 논문은 자율주행 시스템의 시뮬레이션‑실제 전이에서 “보이는 현실감”이 아닌, 시스템이 의사결정에 사용하는 결정적 특징의 일치를 측정하는 Decisive Feature Fidelity(DFF)를 제안한다. XAI 기반 설명과 반사실(counterfactual) 기법을 활용해 실제‑합성 이미지 쌍의 결정적 특징을 정량화하고, DFF‑guided 캘리브레이션을 통해 시뮬레이터의 메커니즘 일치를 향상시킨다. KITTI‑VirtualKITTI2 2126쌍 실험에서 DFF가 기존 출력‑레벨 충실도보다 더 미세한 도메인 차이를 드러내며, 캘리브레이션 후에도 출력‑레벨 성능을 유지함을 보였다.

상세 분석

이 연구는 자율주행 차량(AV) 검증에 있어 “시뮬레이션‑실제 전이” 문제를 기존의 픽셀‑레벨 혹은 출력‑레벨 충실도 지표만으로는 충분히 설명할 수 없다는 점을 명확히 짚는다. 저자는 시스템‑언더‑테스트(SUT)가 실제와 가상 환경에서 동일한 의사결정 근거를 사용하는지를 평가해야 한다고 주장한다. 이를 위해 제안된 Decisive Feature Fidelity(DFF)는 두 단계로 구성된다. 첫째, XAI 기법(예: Grad‑CAM, SHAP, LIME)을 이용해 SUT가 각 입력 이미지에 대해 강조하는 시각적 특징 맵을 추출한다. 둘째, 반사실(counterfactual) 설명을 적용해 “이 특징이 사라지면 출력이 어떻게 변하는가”를 정량화함으로써 특징의 결정적 기여도를 측정한다. 이렇게 얻은 특징 벡터를 코사인 유사도 혹은 Earth Mover’s Distance와 같은 거리 함수로 비교해 DFF 점수를 산출한다.

DFF는 기존 충실도 스펙트럼에 “메커니즘 일치(mechanism parity)”라는 새로운 차원을 추가한다. 즉, 시뮬레이터가 시각적으로는 사실적이지만, SUT가 내부적으로 활용하는 증거가 다르면 전이 성능이 저하될 수 있음을 수치화한다. 논문은 또한 DFF‑guided 캘리브레이션 프레임워크를 제시한다. 여기서는 DFF 점수가 낮은 영역을 식별하고, 해당 영역의 텍스처, 조명, 물리적 파라미터를 역으로 최적화한다. 최적화는 차별적 손실 함수(Loss_DFF + λ·Loss_output)를 사용해 결정적 특징 일치를 우선시하면서도 출력‑레벨 정확도는 유지한다.

실험에서는 KITTI와 VirtualKITTI2 사이의 2126쌍 매칭 데이터를 사용했으며, 객체 탐지, 거리 추정, 행동 예측 등 네 종류의 SUT에 대해 평가했다. 결과는 DFF가 기존 PSNR, SSIM, LPIPS 등 픽셀‑레벨 지표와 달리, 도메인 간 특징 불일치를 민감하게 포착함을 보여준다. 특히, DFF‑guided 캘리브레이션 후에는 평균 DFF 점수가 0.42→0.71로 크게 상승했으며, 동시에 mAP와 RMSE 같은 출력‑레벨 성능은 1% 이내 변동에 그쳤다. 이는 시뮬레이터가 “보이는 현실감”을 넘어 SUT와 동일한 증거 기반을 제공하도록 조정될 수 있음을 의미한다.

이 논문의 핵심 기여는 (1) 결정적 특징을 정량화하는 DFF 메트릭 정의, (2) 반사실 설명을 활용한 DFF 추정 방법, (3) DFF를 목표로 하는 시뮬레이터 캘리브레이션 절차, (4) 다양한 SUT에 대한 실증적 검증이다. 또한, DFF는 단순히 시각적 유사성을 넘어, 모델‑특정 메커니즘 일치를 평가함으로써 시뮬레이션 기반 검증의 신뢰성을 한 단계 끌어올린다.