단일 이미지 기반 시각·의미 강화 매직퓨즈

초록

본 논문은 적외선 센서가 없는 열악한 환경에서도 가시광선 한 장만으로 다중모달 융합의 장점을 살릴 수 있는 ‘단일 이미지 융합(Single Image Fusion)’ 개념을 제안한다. 가시광선 이미지의 저품질 정보를 복원하는 intra‑spectral knowledge reinforcement(IKR)와 가시광선‑적외선 변환을 통해 적외선 스펙트럼 지식을 생성하는 cross‑spectral knowledge generation(CKG)를 각각 diffusion 모델 기반으로 구현한다. 두 흐름에서 추출된 확률적 노이즈를 다중 도메인 지식 융합(MKF) 단계에서 가중합하여 시각·의미 모두를 만족하는 ‘Magic Image’를 생성하고, 세그멘테이션 헤드를 삽입해 의미 일관성을 강화한다. 실험 결과, 단일 가시광선 입력만으로도 기존 다중모달 융합 방법과 동등하거나 우수한 성능을 달성한다.

상세 분석

MagicFuse는 기존 적외선‑가시광선 융합(IVIF) 연구가 전제하는 “쌍으로 존재하는 두 모달리티”라는 가정을 깨고, 단일 가시광선 이미지만으로도 크로스‑스펙트럼(scene representation) 정보를 복원한다는 점에서 근본적인 패러다임 전환을 시도한다. 핵심 아이디어는 ‘지식 수준(Knowledge‑level) 융합’이다. 이를 위해 두 개의 독립적인 diffusion 모델을 활용한다. 첫 번째인 intra‑spectral knowledge reinforcement(IKR) 흐름은 저조도·흐림·노이즈 등으로 손상된 가시광선 이미지의 색·텍스처·세부 정보를 복원한다. 여기서 diffusion 모델은 latent space에서 forward‑noise 과정을 거쳐 손상된 이미지의 latent z₀를 점진적으로 노이즈화하고, reverse 과정에서 노이즈 ϵ̂를 예측해 원본을 재구성한다. 두 번째인 cross‑spectral knowledge generation(CKG) 흐름은 대규모 가시‑적외선 쌍 데이터셋으로 사전 학습된 diffusion 모델을 이용해 가시광선 이미지로부터 적외선 스펙트럼의 방사 분포 패턴을 추정한다. 즉, CKG는 “가시 → 적외선” 변환을 수행하면서 적외선 도메인에 특화된 지식을 생성한다.

두 흐름에서 얻어진 시점별 노이즈 ϵψₜ와 ϵφₜ는 각각 intra‑spectral와 cross‑spectral 지식의 확률적 표현이다. MagicFuse는 이 두 노이즈를 다중 도메인 지식 융합(MKF) 단계에서 가중합 ϵ_fₜ = w·ϵψₜ + (1‑w)·ϵφₜ 로 결합한다. 가중치 w는 현재 timestep의 노이즈 품질(e_z→0)와 현재 샘플링된 표현 z_fₜ, 그리고 두 노이즈 자체를 입력으로 하는 작은 네트워크 F에 의해 동적으로 결정된다. 이렇게 함으로써 각 단계마다 어느 정도의 가시광선 복원 정보와 적외선 생성 정보를 반영할지 자동으로 조절한다.

시각‑의미 일관성을 확보하기 위해 MKF 내부에 세그멘테이션 헤드 S를 삽입한다. 세그멘테이션 헤드는 fusion network의 attention map ζ를 입력으로 받아 의미적 라벨을 예측하고, 이를 다시 가중치 w에 반영한다(방사 카테고리 맵 M을 이용한 조정). 이는 “시각‑의미 결합(Visual‑Semantic Coupling)”을 강화해, 최종 Magic Image가 인간 시각뿐 아니라 downstream 객체 검출·분할 등 기계 인식 작업에서도 유용하도록 만든다.

학습 목표는 두 단계의 손실을 동시에 최소화하는 것이다. 기본 fusion loss L_f는 diffusion 기반 재구성 손실과 가중치 최적화를 포함하고, segmentation loss L_s는 교차 엔트로피 등 표준 의미 손실을 사용한다. 최종 목적식은
min_{ω_f, ω_s} L_f(F(kψ, kφ; ω_f)) + L_s(S(ζ; ω_s)).

실험에서는 다양한 저조도·흐림·노이즈 조건 하에서 단일 가시광선 입력만을 사용했음에도 불구하고, OmniFuse, Text‑DiFuse 등 최신 다중모달 융합 모델과 비교해 PSNR/SSIM뿐 아니라 mIoU와 같은 의미 지표에서도 동등하거나 우수한 결과를 보였다. 특히, 적외선 센서가 전혀 없는 상황에서도 “열 객체”를 효과적으로 강조하는 시각적 특성을 확인할 수 있었다.

강점으로는 (1) 실제 현장에서 적외선 센서가 부재한 경우에도 활용 가능하다는 실용성, (2) diffusion 모델을 통한 확률적 지식 표현으로 복원·생성 간 균형을 동적으로 조절한다는 유연성, (3) 시각‑의미 동시 최적화를 통해 downstream 작업까지 포괄하는 통합 프레임워크를 제공한다는 점을 들 수 있다. 반면 한계점은 (1) 대규모 가시‑적외선 쌍 데이터에 대한 사전 학습이 필요해 데이터 수집 비용이 존재한다는 점, (2) diffusion 기반 샘플링이 상대적으로 연산 비용이 높아 실시간 적용에 제약이 있을 수 있다는 점, (3) 가중치 추정 네트워크 F의 설계가 비교적 단순해 복잡한 환경에서 최적의 w를 찾지 못할 가능성이 있다는 점이다. 향후 연구에서는 경량화된 diffusion 변형, 멀티‑스케일 가중치 학습, 그리고 비지도 방식으로 적외선 지식을 추출하는 방법을 탐색할 여지가 있다.