다중스펙트럼 디모자이킹을 위한 시점 등변 미세조정

초록

본 논문은 스냅샷 멀티스펙트럼 카메라의 모자이크 측정만으로도 고품질 멀티스펙트럼 복원을 가능하게 하는 PEFD(시점‑등변 미세조정) 프레임워크를 제안한다. 카메라의 투시 기하학을 이용해 풍부한 군 구조를 정의하고, 1‑3채널에 대해 사전 학습된 대형 복원 모델을 GT 없이 자체 일관성 손실과 시점‑등변 손실을 결합해 미세조정한다. 실험 결과, 의료 현장 및 자동차 주행 데이터에서 기존 무지도 방법과 클래식 보간법을 크게 능가하며, 감독 학습 수준에 근접한다.

상세 분석

PEFD는 두 가지 핵심 아이디어를 결합한다. 첫째, 카메라가 자유롭게 회전·이동하는 실제 촬영 환경을 수학적으로 모델링한 투시 변환군(G) — 동차행렬(Homography) — 을 이용해 “시점‑등변”(perspective‑equivariance) 손실을 정의한다. 기존의 시프트‑등변이나 회전‑등변은 G의 부분군에 불과해 제한된 대칭만 활용하지만, 투시 변환군은 픽셀 이동·회전·스케일·투시 왜곡을 모두 포함한다. 따라서 서로 다른 시점에서 촬영된 동일 장면을 변환(g∈G)으로 매핑하고, 변환된 이미지에 동일한 복원 네트워크 fθ를 적용했을 때 출력이 변환 전후에서 일관되도록 제약한다. 이는 측정 연산자 A가 직접 복원할 수 없는 널스페이스(N(A))의 정보를 간접적으로 탐색하게 만든다. 구체적으로, 가상 연산자 Ag = A T⁻¹g를 정의하고, 손실 L_eq = ‖Tg fθ(y) − fθ(Ag fθ(y))‖²를 최소화함으로써, 복원 결과가 투시 변환에 대해 불변하도록 강제한다.

둘째, 대규모 이미지 복원 작업(인페인팅, 디블러링, 슈퍼‑해상도 등)에서 사전 학습된 “Reconstruct Anything Model”(RAM)을 기반으로 파라미터 효율적인 미세조정을 수행한다. RAM의 32 M 파라미터를 갖는 인코더‑디코더 백본은 고차원 특징을 이미 학습했으므로, 이를 고정하고 멀티스펙트럼 채널 수(C)에 맞게 헤드와 테일을 복제·재구성한다. 이렇게 하면 GT가 전혀 없는 상황에서도 사전 지식이 충분히 전이되어, 데이터가 제한적인 의료·자동차 현장에서도 과적합 없이 안정적인 학습이 가능하다.

PEFD의 학습 파이프라인은 다음과 같다. (1) 모자이크 측정 y를 입력으로 RAM 기반 복원기 fθ에 통과시켜 초기 복원 ŷ = fθ(y) 얻음; (2) 랜덤하게 샘플링된 투시 변환 g를 적용해 변환된 이미지 Tg ŷ와 변환된 측정 Ag fθ(y)를 생성; (3) 측정 일관성 손실 L_MC = ‖A fθ(y) − y‖²와 시점‑등변 손실 L_eq을 가중치 α로 결합해 총 손실 L = L_MC + α L_eq을 최소화. α는 실험적으로 0.1~1.0 사이에서 튜닝한다. 이 과정은 배치 단위로 반복되며, 별도의 GT가 필요 없으므로 실제 현장 데이터만으로도 학습이 가능하다.

실험에서는 두 개의 실제 데이터셋을 사용했다. 첫 번째는 뇌수술 중 획득한 10 nm 대역의 8채널 MSI 데이터이며, 두 번째는 자동차 전방에 장착된 12채널 스냅샷 카메라로 수집한 주행 장면이다. 평가 지표는 PSNR, SSIM, 그리고 스펙트럼 재현성을 나타내는 SAM(Spectral Angle Mapper)이다. PEFD는 기존의 가중치‑이중선형, TV‑기반 변분 방법, 그리고 최신 자기지도 SDNet·DnCNN 기반 방법보다 평균 3 dB 이상 높은 PSNR와 0.02~0.04 높은 SSIM을 기록했으며, SAM에서도 1.5° 이하의 작은 각도 오차를 보였다. 특히 혈관과 같은 미세구조는 기존 방법이 흐릿하게 복원되는 반면, PEFD는 선명한 경계와 정확한 색상(스펙트럼) 정보를 유지한다.

한계점으로는 (1) 투시 변환을 샘플링할 때 카메라 내부 파라미터(K)가 정확히 알려져야 하는데, 실제 현장에서는 캘리브레이션 오차가 존재한다는 점; (2) 현재는 JDD(디모자이킹 + 디노이징) 확장을 실험에 포함시키지 않아 저조도·고노이즈 상황에 대한 정량적 검증이 부족하다는 점이다. 향후 연구에서는 자동 캘리브레이션 기법과 노이즈 모델링을 결합한 다중 손실을 도입해 더욱 일반화된 프레임워크를 구축할 계획이다.

요약하면, PEFD는 “투시 등변성”이라는 물리적 제약을 활용해 멀티스펙트럼 모자이크의 널스페이스를 효과적으로 복원하고, 대규모 사전 학습 모델을 GT‑free 환경에 적응시킴으로써, 실시간 의료·자동차 응용에 필요한 고품질 멀티스펙트럼 복원을 가능하게 만든 혁신적인 접근법이다.