공중영상에서 열린어휘 탐지기의 한계와 도전

초록

본 연구는 5개의 최신 열린어휘 객체 탐지(OVD) 모델을 LAE‑80C 공중영상 벤치마크에 대해 순수 제로샷 조건으로 평가한다. 전체 80개 클래스에 대해 전역 프롬프트를 사용했을 때 최고 모델인 OWLv2조차 F1 점수 27.6%와 69%의 높은 오탐률을 기록했으며, 클래스 수를 3.2개 수준으로 축소하면 15배 이상의 성능 향상이 관찰된다. 프롬프트 접두어와 동의어 확장 등 다양한 프롬프트 엔지니어링 기법도 실질적인 개선을 보이지 못했다. 데이터셋별 성능 편차가 크고, 도메인·어휘 격차가 주요 병목임을 확인하였다.

상세 분석

본 논문은 먼저 OVD 연구가 자연 이미지에 국한되어 왔으며, 공중영상이라는 고유한 도메인에 대한 전이 가능성을 검증하고자 한다는 연구 동기를 제시한다. 이를 위해 저자들은 LAE‑80C라는 3,592장의 이미지와 80개의 카테고리를 포함한 복합 벤치마크를 구축했으며, 이 데이터는 드론·위성·저고도 항공 등 다양한 센서와 해상도를 혼합해 도메인 다양성을 극대화하였다. 라벨 구조는 상위‑하위 관계, 속성 의존(예: 작동·비작동 굴뚝), 그리고 해양 분야의 미세 클래스 구분 등으로 이루어져 있어, 텍스트‑이미지 정렬에 큰 어려움을 제공한다.

평가에 사용된 5개 모델은 (1) Grounding DINO, (2) OWLv2, (3) YOLO‑World, (4) YOLO‑E, (5) LLMDet 로, 각각 두 단계 방식, 밀집 매칭, 실시간 경량화, 대형 언어 모델 연계 등 서로 다른 설계 철학을 갖는다. 모든 모델은 자연 이미지 기반 사전학습만 수행했으며, 공중영상에 대한 파인튜닝은 전혀 하지 않았다.

실험 설계는 세 가지 추론 모드로 구성된다. Global Inference는 80개 라벨을 한 번에 제공해 가장 현실적인 제로샷 상황을 모사한다; Oracle Inference는 이미지에 실제 존재하는 라벨만 제공해 시각적 로컬라이제이션 능력을 분리한다; Single‑Category Oracle은 라벨당 별도 추론을 수행해 텍스트 시퀀스 길이가 성능에 미치는 영향을 측정한다. 또한 “Aerial view of {class}”와 같은 도메인 접두어, 그리고 라벨별 동의어 리스트를 활용한 프롬프트 엔지니어링을 적용했지만, 정량적 개선은 미미했다.

성능 결과는 표 II와 그림 2·3에 요약된다. 전체 80클래스에 대해 OWLv2가 가장 높은 F1 = 27.6%와 Recall = 24.7%를 기록했지만, FP = 47,058건(전체 TP 대비 69%)이라는 심각한 오탐 문제를 안고 있다. 다른 모델들은 Recall이 0.03% 이하로 급격히 떨어지며, 특히 LLMDet은 텍스트‑기반 의미 강화에도 불구하고 12.5%의 F1에 그쳤다. Oracle 모드에서는 모든 모델이 Recall이 크게 상승하지만 Precision은 크게 변하지 않아, 핵심 병목이 ‘semantic confusion’임을 확인한다. 클래스 수를 3.2개 수준(80→≈3)으로 축소했을 때 F1이 15배 이상 상승한다는 점은, 라벨 간 의미적 중복이 성능 저하의 주된 원인임을 강력히 시사한다.

데이터셋 별 변동성도 눈에 띈다. DIOR에서는 F1 ≈ 0.53, FAIR1M에서는 0.12에 불과했다. 이는 이미지 해상도, 객체 밀도, 그리고 라벨 정의의 차이가 모델의 일반화 능력을 크게 좌우함을 의미한다. 또한 IoU 대신 IoA(Intersection‑over‑Area) 0.7 임계값을 사용한 것이 작은 객체에 대한 관측을 완화했음에도 불구하고, 여전히 높은 FN 비율이 관찰되었다.

결론적으로, 현재의 OVD 파운데이션 모델은 ‘도메인 격차(자연 vs. 공중)’와 ‘어휘 격차(일반 언어 vs. 전문 용어)’에 의해 크게 제한된다. 단순히 프롬프트를 변형하거나 대형 언어 모델을 결합하는 수준의 보완만으로는 충분치 않으며, 공중영상 특화 사전학습, 스케일‑인베리언트 피처 설계, 그리고 계층적 라벨 정규화와 같은 근본적인 도메인 적응 기법이 필요하다.