우주선 검출·분할을 위한 라벨‑프리 비전‑언어 모델 파이프라인

초록

본 논문은 사전 학습된 비전‑언어 모델(VLM)을 활용해 소량의 라벨이 없는 실제 우주 이미지에서 자동으로 의사 라벨을 생성하고, 테스트‑타임 증강·가중치 박스 융합으로 라벨을 정제한 뒤, 교사‑학생 지식 증류 방식을 통해 경량 학생 모델을 학습한다. SPARK‑2024, SPEED+, TANGO 데이터셋에서 제로샷 VLM 단독 사용 대비 평균 정밀도(AP)가 최대 10점 향상됨을 보이며, 라벨링 비용을 크게 절감한다.

상세 분석

이 연구는 우주 상황 인식(SSA) 분야에서 가장 큰 병목 중 하나인 고품질 라벨 확보 문제를 근본적으로 해결하려는 시도로, 기존 방법들의 한계를 명확히 짚어낸다. 첫 번째 단계인 ‘의사 라벨 생성’에서는 사전 학습된 VLM(예: Grounding‑DINO, SAM 등)에 “spacecraft”라는 고정 텍스트 프롬프트를 입력해 이미지당 하나의 바운딩 박스와 마스크를 얻는다. 우주 이미지 특성상 단일 객체가 대부분이므로 상위 예측만을 사용함으로써 연산 비용을 최소화한다. 그러나 도메인 차이와 저조도·배경 혼합 등으로 인해 초기 라벨은 노이즈가 많다.

이를 보완하기 위해 ‘테스트‑타임 증강(TTA)’과 ‘가중치 박스 융합(WBF)’을 결합한다. 다양한 기하학·색상 변환을 적용한 K개의 증강 이미지에 대해 VLM을 독립적으로 추론하고, 각 결과를 역변환 후 IoU 기반 클러스터링을 수행한다. 클러스터 내 박스는 신뢰도 가중 평균으로 융합되어 최종 박스와 신뢰도를 산출한다. 이후 사전 정의된 신뢰도 임계값 θ를 적용해 저신뢰 라벨을 제거함으로써 라벨 정밀도를 크게 향상시킨다.

정제된 라벨을 ‘교사‑학생 라벨 증류’ 단계에 투입한다. 교사 모델은 VLM이지만, 실제 학습에서는 정제된 라벨을 고정된 ‘교사 출력’으로 간주한다. 학생 모델은 경량화된 탐지·분할 네트워크(예: YOLO‑Nano, MobileSAM 등)이며, 손실 함수는 클래스 손실(L_cls)과 박스 회귀 손실(L_reg)의 가중합으로 구성된다. 저신뢰 라벨을 배제한 하드 라벨링 방식을 채택해 학습 안정성을 확보한다. 논문에서는 단일 증류 반복만 수행했지만, 반복 증류를 통해 추가적인 성능 향상이 가능함을 시사한다.

실험 결과는 세 개의 대규모 우주 데이터셋에서 일관된 개선을 보여준다. 제로샷 VLM만 사용했을 때의 AP는 각각 38.2, 41.5, 36.7점이었으나, 제안 파이프라인을 적용하면 최대 10점(≈48.9점)까지 상승한다. 특히, 경량 학생 모델은 실시간 추론이 가능하도록 FLOPs와 메모리 사용량을 크게 줄였으며, 이는 온보드 시스템에 직접 배치하기에 적합하다. 또한, 라벨링 비용을 최소화하면서도 합성 데이터에만 의존하는 기존 접근법보다 도메인 적응 효과가 뛰어나다는 점을 강조한다.

이 논문의 주요 기여는 (1) VLM을 이용한 자동 의사 라벨 생성, (2) TTA·WBF 기반 라벨 정제, (3) 교사‑학생 증류를 통한 경량 모델 학습, (4) 실제 우주 데이터셋에서의 실증적 성능 향상이다. 향후 연구에서는 다중 객체·다중 클래스 상황, 프롬프트 엔지니어링을 통한 라벨 다양성 확대, 그리고 증류 반복을 통한 지속적 성능 개선을 탐색할 여지가 있다.