통합 적외선 소형 목표 탐지를 위한 물리 기반 VFM 적응 프레임워크 SPIRIT

초록

본 논문은 대규모 시각 기반 사전학습 모델(VFM)을 적외선 소형 목표 탐지(IRSTD) 분야에 적용하기 위해, 공간적·시간적 물리 정보를 삽입한 경량 플러그인인 PIFR과 PGMA를 제안한다. PIFR은 저‑랭크 배경을 억제하고 희소 목표 신호를 강조하며, PGMA는 이전 프레임의 검출 결과를 소프트 공간 사전으로 활용해 메모리‑어텐션을 제약한다. 이 구조는 영상 모드와 단일 프레임 모드 모두에서 동작하며, 실험 결과 기존 VFM 기반 베이스라인과 최신 방법들을 일관되게 능가한다.

상세 분석

SPIRIT은 기존 비전 파운데이션 모델(VFM)의 강력한 표현력을 유지하면서 적외선 영상의 특수성을 반영하기 위해 두 가지 핵심 모듈을 설계한다. 첫 번째인 Physics‑Informed Feature Refinement(PIFR)는 깊은 레이어에서 발생하는 “특징 잠식” 현상을 완화한다. 적외선 소형 목표는 픽셀 수준에서 매우 약한 스파이크 형태로 나타나며, VFM의 계층적 토큰 믹싱과 넓은 수용 영역은 이러한 미세 신호를 배경의 저‑랭크 구조와 혼합시켜 신호‑대‑잡음비(SCR)를 급격히 낮춘다. PIFR은 입력 특징 맵을 공간적으로 펼친 뒤, 고정된 저‑랭크(r=4) 프로토타입을 풀링을 통해 추정하고, 릿지 투영을 이용해 SVD 없이 저‑랭크 배경을 재구성한다. 이후 남은 잔차에 토큰‑와이즈 L2‑노름 기반 그룹 수축(group shrinkage)을 적용해 작은 크기의 목표 신호만을 남기고, 이를 소프트 게이트(m)와 곱해 원본 특징에 잔차 형태로 더한다. 이 과정은 초기 학습 단계에서 α=0으로 초기화돼 사전학습된 VFM 가중치를 그대로 보존하고, 점진적으로 물리적 사전 정보를 주입한다는 점에서 학습 안정성을 크게 향상시킨다.

두 번째 모듈인 Prior‑Guided Memory Attention(PGMA)은 영상 모드에서 시간적 연속성을 활용한다. 기존 메모리‑어텐션은 외관 유사도만을 기반으로 전 프레임의 토큰을 검색하므로, 텍스처가 거의 없는 적외선 목표에 대해 다중 클러터와 혼동하기 쉽다. PGMA는 이전 프레임 검출 결과를 가우시안 형태의 연속적인 가능성 필드(G_t‑1)로 변환하고, 이를 3×3 컨볼루션과 시그모이드 함수를 거쳐 게이트 맵(g_t‑1)으로 압축한다. 이 게이트는 메모리 토큰에 가중치 β(초기 0)와 함께 잔차 형태로 더해져, 물리적으로 타당한 위치에만 강한 메모리 응답을 허용한다. 읽기 단계에서는 쿼리‑키 내적에 λ·log(π_i+ε) 형태의 로그‑바이어스를 추가해, 가능성(π_i)이 낮은 메모리 위치에 대한 어텐션 점수를 억제한다. λ 역시 학습 가능한 파라미터이며, 초기값을 음수로 설정해 초기에는 거의 영향을 주지 않도록 설계되었다. 이렇게 하면 외관 기반 매칭의 불확실성을 물리적 제약으로 보완하면서, 메모리‑어텐션이 자연스럽게 단일 프레임 모드(메모리 비어 있음)와 영상 모드 모두에서 동일한 파이프라인을 사용하도록 만든다.

SPIRIT의 전체 파이프라인은 VFM 백본(예: SAM, DINO)에서 다중 스케일 피라미드 특징을 추출하고, 마지막 두 단계에 PIFR을 삽입한다. 정제된 특징은 PGMA를 통해 시간적 연관성을 학습하고, 최종적으로 경량 디코더(예: DEIM)로 목표 박스를 예측한다. 파라미터 효율성을 위해 PIFR과 PGMA는 각각 수천 개 정도의 가벼운 파라미터만 추가하며, 전체 모델은 사전학습된 VFM의 대규모 파라미터를 그대로 활용한다.

실험에서는 대표적인 적외선 소형 목표 데이터셋(NTUST, MFIRST, SIRST 등)에서 단일 프레임 및 멀티프레임 모두에 대해 기존 CNN/Transformer 기반 방법, 기존 VFM 파인튜닝 방법, 그리고 최신 영상 기반 접근법과 비교하였다. SPIRIT은 평균 정밀도(AP), F1-score, 그리고 SCR 향상에서 3~7%p의 절대적 이득을 보였으며, 특히 복잡한 클라우드·해양 파도 배경에서의 거짓 양성 감소가 두드러졌다. Ablation 연구를 통해 PIFR 없이 PGMA만, 혹은 그 반대 경우의 성능 저하를 확인했으며, 두 모듈이 상호 보완적으로 작용함을 입증했다.

요약하면, SPIRIT은 “대규모 시각 사전학습 모델 + 물리 기반 경량 플러그인”이라는 새로운 패러다임을 제시함으로써, 적외선 소형 목표 탐지라는 특수 도메인에서 데이터 부족 문제와 물리적 특성(희소·저‑랭크) 간의 격차를 효과적으로 메우고, 단일·다중 프레임 모두에서 일관된 고성능을 달성한다.