포토리얼리틱 환상 도로의 3D 미라지 현상 분석 및 억제 방안

초록

본 논문은 단일 이미지 깊이 추정 모델이 평면적인 장면에 존재하는 시각적 착시(예: 거리 예술)에서 3차원 구조를 허위로 생성하는 “3D 미라지” 현상을 규명한다. 이를 위해 실제 착시 이미지와 정확한 평면 ROI 마스크를 포함한 3D‑Mirage 벤치마크를 구축하고, 라플라시안 기반의 Deviation Composite Score(DCS)와 Confusion Composite Score(CCS) 두 지표로 현상을 정량화한다. 또한, 사전 학습된 모델에 LoRA 어댑터를 삽입해 교사‑학생 자기증류 방식인 Grounded Self‑Distillation을 적용함으로써 착시 영역의 평탄성을 회복하고 배경 지식은 보존하는 파라미터 효율적 해결책을 제시한다.

상세 분석

이 연구는 기존 단일 이미지 깊이 추정(MDE) 모델이 대규모 데이터와 강력한 시맨틱 프라이어를 활용해 제로샷 일반화에 성공했음에도, 평면적인 물리 구조와 시각적으로 복합적인 텍스처가 결합된 상황에서 구조적 일관성을 상실한다는 중요한 취약점을 체계적으로 드러낸다. 먼저, 3D‑Mirage 벤치마크는 실제 거리 예술, 체스보드식 착시, 강제 원근법 등 468장의 원본 이미지를 수집하고, 각 이미지에 평면임을 보장하는 정밀 다각형 ROI 마스크를 부여한다. 이후 최소 40 % 대각선을 유지하는 제한된 시야(FOV) 크롭을 최대 네 개 생성해, 전역 컨텍스트가 차단된 상황에서도 모델이 동일한 ROI에 대해 일관된 깊이 예측을 내놓는지를 평가한다.

정량화 단계에서는 라플라시안 연산 L을 이용해 깊이 맵의 2차 미분을 추출하고, ROI 내부의 상위 10 % 응답값을 집계해 DCS를 계산한다. DCS는 “얼마나 크게 비평면적인 곡률이 나타나는가”를 측정하며, 값이 클수록 모델이 허위 3D 구조를 생성한다는 의미다. 반면, CCS는 동일 ROI에 대해 전체 이미지와 크롭 이미지 사이의 평균 깊이 차이를 L2 노름으로 측정해 “컨텍스트 의존성”을 나타낸다. 두 지표 모두 기존 MAE·RMSE와 달리 지역적 구조 오류와 전역 컨텍스트 민감도를 동시에 포착한다는 점에서 혁신적이다.

억제 메커니즘인 Grounded Self‑Distillation은 사전 학습된 교사 모델(예: Depth‑Anything V2)을 고정하고, 학생 모델에 저차원 LoRA 어댑터를 삽입한다. 학습 목표는 (1) 비평면 영역(L · ROI)에서 라플라시안 응답을 최소화해 DCS를 낮추고, (2) 전체 이미지와 크롭 이미지 사이의 깊이 차이를 최소화해 CCS를 감소시키며, (3) ROI 외부(1 − m)에서는 교사와의 출력 일치를 유지해 기존 지식을 보존한다는 세 가지 손실을 동시에 최적화한다. LoRA 기반 적응은 파라미터 수를 수십만 개 수준으로 제한하면서도 인코더의 고차원 특성을 효과적으로 재조정한다는 장점이 있다.

실험 결과, 모든 테스트 모델(Depth‑Anything V2, ZoeDepth, MiDaS, Marigold, DepthFM, 상용 Depth Pro 등)이 원본 3D‑Mirage 데이터에서 평균 DCS와 CCS가 크게 상승했으나, 제안된 Grounded Self‑Distillation을 적용한 후 DCS는 평균 42 % 감소, CCS는 평균 35 % 감소하였다. 특히, ROI 내부의 라플라시안 응답이 거의 0에 가깝게 수렴하면서도 배경 영역에서는 교사와 거의 동일한 깊이 분포를 유지해 catastrophic forgetting이 발생하지 않음을 확인했다.

이 논문은 (1) 구조적·컨텍스트적 취약성을 드러내는 새로운 벤치마크, (2) 기존 픽셀‑레벨 오류와는 독립적인 두 가지 복합 지표, (3) 파라미터 효율적인 자기증류 기반 적응 기법이라는 세 축을 통해 MDE 연구의 평가 패러다임을 전환한다는 점에서 학술적·산업적 파급력이 크다. 다만, 현재는 2D 평면 착시와 제한된 FOV 상황만을 다루며, 복합적인 동적 씬이나 다중 카메라 설정에 대한 확장성 검증이 부족하고, 라플라시안 기반 지표가 텍스처가 복잡한 실제 도로 표면에서도 오탐을 일으킬 가능성이 있다는 한계가 있다. 향후 연구에서는 다양한 조명·날씨 조건, 실시간 영상 스트림, 그리고 비전‑라이다 융합 환경에서의 3D 미라지 억제 효과를 검증할 필요가 있다.