이중 도메인 가이드를 통한 적외선 마스크 오토인코더 개선

초록

DuGI‑MAE는 적외선 영상의 특성을 반영한 엔트로피 기반 마스킹과 주파수‑공간 정보를 결합한 Dual‑Domain Guidance 모듈을 도입해 기존 InfMAE의 한계를 극복한다. 590K 규모의 대규모 적외선 데이터셋(Inf‑590K)으로 사전학습한 뒤, 물체 검출·시맨틱 분할·소형 목표 탐지 등 다양한 다운스트림 과제에서 기존 최첨단 방법들을 크게 앞선다.

상세 분석

DuGI‑MAE는 적외선 영상이 갖는 저정보밀도, 비균일 잡음, 전역 구조 약화라는 세 가지 근본적 문제를 해결하기 위해 두 가지 핵심 설계를 제안한다. 첫 번째는 엔트로피 기반 결정적 마스킹이다. 기존 MAE의 무작위 마스킹은 적외선 이미지에서 중요한 열대상(thermal target)을 마스킹해버릴 위험이 크다. 저자들은 각 토큰(패치)의 샤논 엔트로피를 계산해 정보량이 높은 토큰을 우선 보존하고, 마스크 비율 λ=0.75로 설정해 나머지 저엔트로피 토큰을 마스킹한다. 이 과정은 “비샘플링” 방식이라 토큰이 누락되는 확률을 최소화하고, 재구성 단계에서 중요한 열신호에 집중하도록 만든다.

두 번째는 Dual‑Domain Guidance(DDG) 모듈이다. 적외선 영상은 저주파 성분에 비균일 잡음(예: 온도 드리프트)이 집중되는 경향이 있다. DDG는 Fast Fourier Transform(FFT)으로 입력을 주파수 영역으로 변환한 뒤, 학습 가능한 방사형 필터 H(u,v)=α·exp(−β·‖D(u,v)‖²) 로 저주파를 선택적으로 억제한다. α와 β는 네트워크가 데이터에 맞춰 자동 조정하므로, 잡음 억제와 동시에 고주파 열특징을 보존한다. 변조된 스펙트럼은 역 FFT(IFFT)로 다시 공간 영역으로 복귀하고, 패치 임베딩을 거쳐 Transformer 블록에 key‑value 쌍으로 제공된다. Encoder에서 추출된 spatial 토큰은 query 로 사용되며, frequency‑enhanced key‑value와의 어텐션을 통해 전역 연관성을 강화한다. 결과적으로 DDG는 (1) 전역 토큰 간 관계를 학습해 분산된 고엔트로피 토큰을 효과적으로 복원하고, (2) 비균일 잡음을 억제해 신호‑대‑잡음(SNR)을 개선한다.

데이터 측면에서 저자들은 기존 InfMAE가 300K 샘플에 머물렀던 점을 넘어, 공개 데이터와 자체 수집 데이터를 통합해 590,700장의 다양한 해상도·시나리오를 포함하는 Inf‑590K를 구축했다. 중복 제거를 위해 코사인 유사도 기반 샘플링을 적용하고, 영상 경계의 검은 패딩을 자동 크롭하는 전처리 파이프라인을 설계했다. 이렇게 풍부한 데이터는 모델이 다양한 적외선 센서와 환경에 일반화될 수 있게 만든다.

실험 결과는 세 가지 대표 다운스트림 과제에서 DuGI‑MAE가 기존 InfMAE, MAE‑Vision, 그리고 최신 감독식·자기지도식 방법들을 크게 앞선다는 것을 보여준다. 물체 검출에서는 평균 AP가 46%p 상승했고, 시맨틱 분할에서는 mIoU가 35%p 개선되었다. 특히 소형 목표 탐지와 같이 신호가 극히 약한 상황에서도 고주파 강조와 전역 어텐션 덕분에 검출률이 현저히 상승했다. Ablation study는 엔트로피 마스킹만 적용했을 때와 DDG만 적용했을 때 각각 23%p, 34%p의 성능 향상이 있음을 확인했으며, 두 요소를 결합했을 때 시너지 효과가 나타난다.

전체적으로 DuGI‑MAE는 (1) 정보 손실을 최소화하는 결정적 마스킹, (2) 주파수‑공간 융합을 통한 전역 연관성 강화 및 잡음 억제, (3) 대규모 적외선 데이터셋 기반 사전학습이라는 세 축을 통해 적외선 영상 전용 foundation model의 새로운 패러다임을 제시한다. 향후 연구에서는 DDG를 더 깊은 레이어에 다중 스케일로 삽입하거나, 적외선‑가시광 복합 입력에 확장하는 방안이 기대된다.