SAR‑RAG: 검색·회수·생성을 결합한 SAR 영상 자동 목표 인식 시스템

초록

본 논문은 SAR 영상에 대한 자동 목표 인식(ATR) 성능을 향상시키기 위해, 멀티모달 대형 언어 모델(MLLM)과 의미 임베딩 기반 벡터 데이터베이스를 결합한 SAR‑RAG 프레임워크를 제안한다. 검색·회수·생성(RAG) 메커니즘을 통해 과거 SAR 이미지와 메타데이터를 동적으로 참조함으로써 분류 정확도와 회귀 성능이 크게 개선됨을 실험적으로 입증한다.

상세 분석

SAR‑RAG는 크게 세 가지 핵심 구성요소로 이루어진다. 첫째, SAR 전용 이미지 인코더(Qwen2‑Vision 변형)를 사용해 MSTAR 데이터셋의 SAR 칩을 레이더 특성을 보존하는 고차원 임베딩으로 변환한다. 기존의 자연영상 사전학습 모델이 SAR의 스페클 노이즈와 비등방성 산란에 취약한 점을 보완하기 위해, 저자들은 지도학습 기반의 도메인‑특화 파인튜닝을 수행하였다. 둘째, 생성된 이미지 임베딩과 차량 메타데이터(차종, 각도, 무게 등)를 Qdrant 벡터 데이터베이스에 저장하고, 텍스트·이미지 쿼리에 대해 유사도 기반 1‑shot, 5‑shot 검색을 지원한다. 이때 메타데이터와 이미지 임베딩을 연계한 하이브리드 인덱싱은 내용 기반 검색뿐 아니라 상황 인식(예: 관측 각도)까지 고려하게 한다. 셋째, 검색된 사례들을 프롬프트에 삽입해 LLaVA‑Next v1.6(Mistral‑7B) 기반 MLLM이 답변을 생성하도록 설계하였다. 이 과정에서 “retrieval‑augmented generation”이 모델의 비정형 지식(파라미터에 내재된 지식)과 외부 비정형 지식(실제 SAR 사례)을 결합함으로써, 기존 MLLM이 보이는 과도한 환각(hallucination) 현상을 크게 감소시킨다.

실험에서는 MSTAR의 14,108개 이미지(10종 차량) 중 50 %를 학습, 나머지를 검증에 사용했으며, 다중 실험을 통해 평균 성능을 보고한다. 검색 정확도는 1‑shot에서 77.7 %에 달했으며, 5‑shot 정밀도는 74.39 %로 baseline 대비 2 %p 상승했다. VQA 과제에서는 “Any Correct @5‑shot”이 93.54 %로, “All Correct @3‑shot”은 61.58 %를 기록, 무작위 대비 40 % 이상 향상되었다. 차량 분류 정확도는 99.24 %로 baseline(99.04 %)보다 미세하게 우수했으며, 무게와 치수 회귀에서는 MAE가 각각 0.428 t, 0.2639 m로 baseline 대비 19 %·20 % 감소하였다. 이러한 결과는 SAR‑RAG가 이미지 기반 기억 은행 역할을 수행하면서, 제한된 라벨 데이터와 도메인 편향을 효과적으로 보완한다는 것을 입증한다.

또한 저자들은 지속적 학습 메커니즘을 제안한다. 새로운 SAR 샘플이 수집될 때마다 벡터 데이터베이스에 인덱싱하고, 파라미터‑효율적인 어댑터를 통해 MLLM을 업데이트함으로써, 모델이 과거 지식을 유지하면서도 최신 환경에 적응할 수 있다. 이는 실전 군사 정찰에서 급변하는 센서 설정·전술 변화를 다루는 데 필수적인 특성이다.

요약하면, SAR‑RAG는 (1) SAR 특화 시각 인코더, (2) 멀티모달 벡터 데이터베이스, (3) RAG 기반 생성 모델이라는 세 축을 결합해, 기존 딥러닝 기반 ATR 파이프라인이 갖는 데이터 부족·일반화 한계를 극복한다. 향후 연구에서는 더 큰 규모의 다중 센서(예: 다중 밴드 SAR, 광학·열 영상)와 실시간 스트리밍 데이터를 연계한 온라인 업데이트, 그리고 인간 전문가와의 인터랙티브 피드백 루프를 통해 시스템 신뢰성을 한층 강화할 여지가 있다.