카메라에 구애받지 않는 스펙트럼 이미지 표현 학습 CARL

초록

CARL은 RGB, 멀티스펙트럼, 하이퍼스펙트럼 등 다양한 카메라에서 촬영된 이미지의 채널 수와 파장 구성을 통합적으로 처리할 수 있는 카메라‑불변 표현 학습 프레임워크이다. 파장 위치 인코딩과 자기‑주의·교차‑주의 메커니즘을 활용한 스펙트럼 인코더와, 기존 Vision Transformer 기반의 공간 인코더를 결합하고, 스펙트럼‑특화 자체 지도 학습(CARL‑SSL)을 통해 대규모 무라벨 데이터에 대해 사전학습한다. 의료, 자율주행, 위성 영상 등 3개 도메인에서 교차‑카메라 실험을 수행했으며, 기존 카메라‑전용·채널‑불변 모델을 모두 능가하는 성능을 보였다.

상세 분석

CARL은 스펙트럼 영상의 핵심 난제인 “채널 차원과 파장 범위의 다양성”을 근본적으로 해결한다는 점에서 의미가 크다. 먼저, 입력 이미지 I∈ℝ^{H×W×C}를 패치 단위(P×P)로 분할하고, 각 채널을 공유 2D 컨볼루션으로 D 차원 임베딩으로 투영한다. 여기서 C는 카메라마다 달라질 수 있는 채널 수이며, D는 고정된 임베딩 차원이다. 파장 λ_i에 대한 위치 인코딩 PE(λ_i)∈ℝ^{D}는 사인·코사인 기반의 Fourier Features를 사용해 연속적인 파장 정보를 토큰 위치와 동일하게 취급한다. 이렇게 하면 서로 다른 카메라가 제공하는 파장 집합을 동일한 토큰 공간에 매핑할 수 있다.

스펙트럼 인코더 E_spec은 두 단계의 주의 메커니즘을 적용한다. (1) 자기‑주의(self‑attention) 블록은 전체 스펙트럼 토큰 Λ_i (i=1…C)를 상호 연관시켜 파장 간 상관관계를 학습한다. (2) 교차‑주의(cross‑attention) 블록에서는 K개의 학습 가능한 스펙트럼 대표벡터 S_j (j=1…K)가 Λ_i에 집중(attend)하도록 하여, 고차원 스펙트럼 정보를 K개의 압축된 표현으로 요약한다. 이 과정을 L번 반복함으로써 파장 다양성을 유지하면서도 효율적인 카메라‑불변 표현을 얻는다. 최종적으로 S_j들을 합산(readout)해 패치당 하나의 카메라‑불변 특징을 만든 뒤, 표준 Vision Transformer(ViT)와 같은 공간 인코더 E_spat에 전달한다.

학습 측면에서 CARL은 두 단계의 자체 지도 학습을 도입한다. 공간 부분은 기존 I‑JEPA(Assran et al., 2023)를 그대로 차용해 패치 마스킹 후 교사‑학생 구조로 학습한다. 스펙트럼 부분은 새롭게 설계된 feature‑based SSL이다. 학생 네트워크는 일부 파장 채널을 마스크하고 남은 토큰만으로 S_j를 생성한다. 교사 네트워크는 전체 채널를 입력받아 완전한 Λ_i와 S_j를 만든다. 학생은 교사의 마스크된 스펙트럼 토큰(Λ_i for i∈M)과 해당 파장 위치 인코딩을 이용해 예측하도록 학습한다. 이때 예측기는 별도의 트랜스포머 ϕ_spec이며, 마스크 토큰은 학습 가능한 임베딩을 사용한다. EMA(Exponential Moving Average)로 교사 파라미터를 업데이트함으로써 안정적인 목표를 제공한다.

CARL의 설계는 다음 네 가지 요구조건을 동시에 만족한다. ① 파장 인식(wavelength‑awareness) – 파장 위치 인코딩을 통해 서로 다른 카메라 간 채널 대응을 명시적으로 제공한다. ② 채널 차원 불변성(channel‑invariance) – K개의 고정된 스펙트럼 대표벡터가 입력 채널 수와 무관하게 작동한다. ③ 스페이소‑스펙트럼 인코딩 – 자기‑주의·교차‑주의를 통해 파장‑공간 상호작용을 동시에 모델링한다. ④ 스페이소‑스펙트럼 SSL 사전학습 – 스펙트럼‑특화 feature‑based SSL과 공간‑전용 I‑JEPA를 결합해 대규모 무라벨 데이터에서 효과적으로 사전학습한다.

실험에서는 의료 내시경(HSI+MSI), 자율주행 도로 장면(RGB+MSI), 위성 관측(HSI) 등 세 분야에서 5개 이상의 공개 데이터셋을 사용했다. 각 도메인마다 카메라‑특정·채널‑불변·기존 스펙트럼‑전용 모델을 베이스라인으로 두고, 교차‑카메라 테스트(예: 훈련은 특정 하이퍼스펙트럼 센서, 테스트는 다른 파장 구성을 가진 센서)에서 CARL은 평균 4.2%~7.8%의 mIoU·Accuracy 향상을 기록했다. 특히 파장 수가 크게 차이 나는 경우(예: 3채널 RGB vs 200채널 HSI)에도 성능 저하가 미미했으며, 이는 스펙트럼 인코더가 파장 정보를 효과적으로 일반화했기 때문이다.

한계점으로는 K와 L 같은 하이퍼파라미터 선택이 데이터 특성에 따라 민감할 수 있다는 점, 그리고 현재 구현이 패치당 독립적으로 스펙트럼 인코딩을 수행해 전역 파장‑공간 상관관계를 완전히 포착하지 못한다는 점을 들 수 있다. 향후 연구에서는 멀티‑스케일 교차‑주의와 동적 K값 조정, 그리고 실시간 추론을 위한 경량화 방안을 탐색할 여지가 있다.