다중모달 위성 시계열을 위한 이중형 네트워크 효율적 분석

본 논문은 다중모달 위성 이미지 시계열(SITS) 분석에 있어, 기존 Transformer가 갖는 O(T²) 계산 복잡도와 새로운 관측이 들어올 때마다 전체 시퀀스를 재처리해야 하는 비효율성을 극복하고자 dual‑form(이중형) 메커니즘을 도입한다. dual‑form은 학습 단계에서 전체 토큰을 병렬 처리하면서도, 추론 단계에서는 과거 토큰의 은닉 상태만을 유지해 새로운 토큰을 순환적으로 추가할 수 있는 구조를 의미한다. 이를 위해 저자는 네 가지 대표적인 이중형 어텐션 메커니즘을 비교한다. 첫 번째는 Linear Transformer(Katharopoulos et al., 2020)에서 제안된 선형 커널 ϕ(u)=1+ELU(u)를 이용한 선형 어텐션이다. 두 번째는 CosFormer(Qin et al., 2022)의 코사인 기반 거리 가중치를 실제 촬영일 차이(|τ_i−τ_j|)에 기반하도록 수정한 변형이다. 세 번째는 Rotary Positional Encoding(RoPE)을 선형 어텐션에 적용한 LinRoFormer(Su et al., 2024)이며, 네 번째는 Retention(Sun et al., 2023a) 메커니즘에 감쇠 계수 γ와 RoPE 회전을 결합한 시간‑정규화 Retention이다. SITS 특유의 시간 불규칙성·비정렬 문제를 해결하기 위해, 토큰 간 거리 d(i,j)를 실제 관측일 차이로 정의하고 이를 각 메커니즘의 회전 각도 θ 혹은 코사인 가중치에 직접 매핑한다. 이는 기존 코사인 가중치가 최대 시퀀스 길이 M에 의존하던 한계를 없애고, 실제 시간 간격에 비례하는 가중치를 제공한다. 아키텍처는 다중모달 스펙트로‑시공간 인코더(MMSSTE)로 구성된다. Sentinel‑1과 Sentinel‑2 각각에 대해 U‑Net 기반 스펙트로‑공간 다운샘플러(g_S1, g_S2)를 적용해 (H/2, W/2) 해상도의 특징 맵을 얻고, 이를 시계열 차원(T)으로 정렬한다. 이후 n=3개의 dual‑form 레이어가 다중헤드(4 heads)로 병렬·순환 연산을 수행한다. 각 레이어는 (attention/retention) → Feed‑Forward → LayerNorm 순서이며, d_K=64, d_model=64의 차원을 사용한다. 출력은 픽셀‑셔플(PixelShuffle) 업샘플러를 통해 원본 해상도로 복원되고, 작업별 디코더가 최종 예측을 생성한다. 실험은 두 가지 과업으로 진행된다. 첫 번째는 라벨이 필요 없는 다중모달 시계열 예측(포캐스팅)으로, Sentinel‑2 NDVI와 Sentinel‑1 백scatter를 동시에 예측한다. 두 번째는 실제 현장 적용인 태양광 패널 건설 모니터링으로, 건설 단계별 픽셀‑레벨 라벨을 이용해 시계열 세그멘테이션을 수행한다. 두 과업 모두에서 dual‑form 모델은 표준 Transformer와 정확도·IoU 면에서 차이가 없으며, 추론 시 평균 3.5배~5배의 속도 향상을 보였다. 특히 Retention 기반 모델은 메모리 사용량을 30 % 이하로 감소시키면서도 안정적인 수렴을 확인했다. 결과적으로, 이 논문은 (1) 실제 날짜 기반 거리 계산을 통한 시간 불규칙성 해결, (2) 다중모달 센서 융합을 위한 공통 토큰 공간 제공, (3) 순환 추론을 통한 실시간 업데이트 가능이라는 세 축에서 SITS 분석에 최적화된 dual‑form 메커니즘의 효용을 입증한다. 이는 대규모 지역 모니터링, 재난 대응, 농업 관리 등 실시간 의사결정이 요구되는 지구관측 분야에 직접적인 활용 가능성을 제시한다.