테라플로: 다중모달·다중시계열 지구관측 학습 혁신

초록

테라플로는 다중모달·다중시계열 지구관측 데이터를 위한 새로운 사전학습 프레임워크이다. 로터리 위치 인코딩과 ‘Temporal Disjoint Sampling(TDS)’이라는 마스킹 전략을 도입해 시계열 구조를 명시적으로 학습한다. SSL4EO‑S12 데이터셋을 연속 사전학습한 뒤 GEO‑Bench‑2와 재난 위험지도 예측 과제에서 기존 지구관측 파운데이션 모델을 크게 앞섰으며, F1 점수에서 최대 50 %, Brier 점수에서 24 % 개선을 기록했다.

상세 분석

테라플로는 기존의 멀티모달 지구관측 파운데이션 모델(TerraMind) 위에 시계열 학습 능력을 추가한 설계가 핵심이다. 먼저, 로터리 포지셔널 인코딩(RoPE)을 시간 차원에 적용해 토큰 간 상대적 시간 거리를 직접 모델링한다. 이는 절대 타임스탬프가 불규칙하거나 누락된 경우에도 토큰 간 상관관계를 정확히 파악하게 해준다. RoPE는 쿼리·키에만 회전 변환을 가함으로써 기존 임베딩 공간을 크게 변형하지 않으며, 기존의 공간·모달 간 상관관계를 유지한다는 장점이 있다.

두 번째 혁신은 Temporal Disjoint Sampling(TDS)이다. 일반적인 무작위 마스킹(Random Sampling)은 동일 시점의 토큰을 동시에 마스크·예측하게 하여 모델이 시계열 정보를 활용하기보다 공간적 패턴에 의존하도록 만든다. TDS는 입력 타임스탬프와 목표 타임스탬프를 서로 겹치지 않게 무작위로 분할하고, 각 타임스탬프 내에서 토큰을 Dirichlet 분포 기반으로 샘플링한다. 이렇게 하면 디코더가 반드시 다른 시점의 정보를 이용해 마스크된 토큰을 복원해야 하므로, 시계열 변화 패턴, 지속성, 동적 전이 등을 학습하게 된다.

아키텍처는 표준 트랜스포머 인코더‑디코더 구조를 사용하고, 멀티모달 입력(Optical Sentinel‑2, SAR Sentinel‑1, DEM, Land‑Cover 등)을 동일 토큰 시퀀스로 결합한다. 토큰은 픽셀 값 혹은 양자화된 토큰 형태로 제공되며, 마스크 토큰에 대해 교차 엔트로피 손실을 최소화한다. 모델 크기는 Tiny(5.5 M 파라미터)와 Base(85.5 M 파라미터) 두 가지 변형을 제공하고, 각각 TDS와 RS 두 마스킹 전략을 적용해 네 가지 변형을 사전학습한다.

데이터는 SSL4EO‑S12 v1.1을 사용했으며, 이는 10 000개 도시 주변의 4시점(2019‑2021) 멀티모달 시계열 칩을 포함한다. TerraFlow는 이 데이터만으로 사전학습했으며, 추가 데이터는 사용하지 않아 시계열 학습 전략 자체의 효과를 순수하게 평가할 수 있다.

평가에서는 GEO‑Bench‑2의 네 가지 다중시계열 태스크(Kuro Siwo 홍수 매핑, PASTIS 작물 유형 세그멘테이션, BioMassters 숲 바이오매스 회귀, DynamicEarthNet 토지 이용 변화)와 재난 위험지도 예측(홍수·산불) 두 가지 시나리오를 사용했다. 하이퍼파라미터 탐색은 16회 제한 내에서 수행했으며, 각 모델‑데이터셋 조합에 대해 5번 재현 실험을 진행했다. 결과는 모든 시계열 태스크에서 TerraFlow가 기존 파운데이션 모델을 앞섰으며, 특히 TDS를 적용한 모델이 RS 대비 평균 8‑12 %의 성능 향상을 보였다. 재난 위험지도 예측에서는 F1 점수에서 최대 50 % 상승, Brier 점수에서 24 % 감소라는 눈에 띄는 개선을 기록했다. 이는 시계열 정보를 효과적으로 활용한 것이 재난 전 단계 위험 예측에 큰 이점을 제공함을 시사한다.

한계점으로는 현재 시계열 길이가 최대 47로 제한된 데이터에 최적화돼 있어, 장기 시계열(수개월수년)이나 고빈도(일별) 데이터에 대한 일반화 성능은 아직 검증되지 않았다. 또한 RoPE는 상대 시간만을 고려하므로 절대적인 계절성이나 장기 트렌드 학습에는 추가적인 메타데이터 인코딩이 필요할 수 있다. 향후 연구에서는 보다 긴 시계열, 다양한 센서(예: 기후 모델, 기상 레이더)와의 통합, 그리고 물리 기반 모델과의 하이브리드 접근법을 탐색할 여지가 있다.