기하와 의미를 연결한 단일 이미지 깊이 추정 모델 BriGeS

초록

**
BriGeS는 사전 학습된 깊이와 세그멘테이션 기반 파운데이션 모델을 활용해, 교차‑주의와 자체‑주의를 결합한 Bridging Gate를 통해 기하적 정보와 의미적 정보를 효율적으로 융합한다. Attention Temperature Scaling 기법으로 주의 집중을 완화하고, Gate만을 학습함으로써 연산 비용과 데이터 요구량을 크게 낮추면서도 다양한 복잡 장면에서 기존 최첨단 방법보다 우수한 제로‑샷 깊이 추정 성능을 달성한다.

**

상세 분석

**
본 논문은 단일 이미지 깊이 추정(MDE) 분야에서 ‘기하적 정보’와 ‘의미적 정보’를 동시에 활용할 수 있는 새로운 파운데이션 모델 융합 프레임워크인 BriGeS를 제안한다. 핵심 모듈인 Bridging Gate는 두 사전 학습된 인코더—DepthAnything 기반 깊이 인코더 E_d와 SegmentAnything 기반 세그멘테이션 인코더 E_s—의 출력을 받아, 깊이 피처 f_d를 쿼리(query)로, 세그멘테이션 피처 \tilde f_s를 키(key)와 밸류(value)로 사용하는 cross‑attention 블록을 먼저 적용한다. 이 단계에서 깊이 피처는 의미적 컨텍스트에 직접적으로 매핑되며, MLP를 통해 초기 융합 피처 F_c가 생성된다. 이어지는 self‑attention 블록은 F_c를 자체 쿼리·키·밸류로 사용해 전역적인 상호작용을 촉진하고, 다시 MLP를 거쳐 최종 의미‑기하 융합 피처 F_sg를 산출한다.

주의 집중 현상은 두 모달리티가 서로 다른 스케일과 구조를 가질 때 흔히 발생한다. 이를 완화하기 위해 논문은 Attention Temperature Scaling(ATS) 기법을 도입한다. ATS는 cross‑attention·self‑attention 단계에서 사용되는 스케일링 파라미터 τ (τ>1)를 도입해 Q·Kᵀ의 점곱을 τ로 나누어 소프트맥스 전의 분포를 ‘부드럽게’ 만든다. 결과적으로 주의가 특정 영역에 과도하게 몰리는 것을 방지하고, 주변 픽셀까지 고르게 고려하도록 만든다. 실험에서는 τ=2.5가 최적으로 확인되었으며, τ 값을 변화시킨 Ablation Study에서도 성능 변동이 일관되게 나타난다.

학습 전략은 매우 효율적이다. 두 인코더와 깊이 디코더 D_d는 모두 고정(frozen)하고, 오직 Bridging Gate만을 학습한다. 이렇게 하면 대규모 데이터와 연산 자원이 필요했던 기존 파운데이션 모델 학습 비용을 크게 절감하면서도, Gate가 새로운 의미 정보를 효과적으로 주입해 기존 모델의 일반화 능력을 유지한다. 실제로 DepthAnything‑V1/V2 기반 모델에 Gate만 추가했을 때, 전체 파라미터 수는 244 M(베이스)·744 M(라지) 수준에 머무르면서도 2 epoch(베이스)·1 epoch(라지) 학습만으로도 충분히 수렴한다.

성능 평가에서는 KITTI, NYUv2, ETH3D, DIODE 등 네 가지 벤치마크와 고해상도 DA‑2K 데이터셋을 대상으로 제로‑샷 상대 깊이 추정과 메트릭 깊이 추정을 모두 수행하였다. AbsRel(절대 상대 오차)와 δ₁(정밀도) 지표에서 기존 DepthAnything‑V1/V2 대비 평균 7 % 이상의 개선을 기록했으며, 특히 DIODE에서 15 %에 달하는 절대 오차 감소를 보였다. 또한, 세그멘테이션 정보를 주입함으로써 얇은 전선, 나뭇가지와 같은 미세 구조를 정확히 복원하는 정성적 결과도 확인되었다. Ablation Study에서는 Bridging Gate와 ATS 각각이 독립적으로 성능을 끌어올리며, 두 모듈을 동시에 적용했을 때 최상의 결과가 도출됨을 입증한다.

요약하면, BriGeS는 (1) 기하‑의미 융합을 위한 경량화된 교차‑주의 기반 Gate, (2) 주의 분산을 제어하는 Temperature Scaling, (3) 파운데이션 모델을 고정하고 Gate만 학습하는 효율적 학습 파이프라인이라는 세 가지 핵심 기여를 통해, 복잡한 장면에서도 높은 정확도와 세밀한 구조 복원을 동시에 달성한다. 이는 로봇, 자율주행, AR 등 실시간 깊이 인식이 요구되는 응용 분야에 바로 적용 가능한 실용적인 솔루션이라 할 수 있다.

**