StefaLand 효율적인 지구과학 기반 모델로 동적 토지표면 예측 향상

초록

StefaLand은 정적 지형 속성과 시계열 기후 강제력을 동시에 학습하는 마스크드 오토인코더 기반의 지구과학 파운데이션 모델이다. 그룹 마스킹을 통해 도메인 간 상호작용을 강조하고, 잔차 어댑터를 이용해 다양한 하천 유량·토양 수분·토양 조성·산사태 예측 과제에 대해 뛰어난 공간 일반화 성능을 보이며, 일반적인 학계 GPU 환경에서도 학습·미세조정이 가능하다.

상세 분석

StefaLand은 기존의 이미지‑기반 지구관측 파운데이션 모델이 갖는 두 가지 한계를 극복하도록 설계되었다. 첫째, 위성 영상은 표면 색채와 구조를 잘 포착하지만, 토양 깊이·수분 저장·지하수 흐름 등 관측이 어려운 변수들을 직접적으로 반영하지 못한다. 둘째, 대규모 이미지 모델은 수천억 파라미터 규모와 수주‑수개월의 학습 시간이 요구돼, 일반 연구기관이 접근하기 힘들다. StefaLand은 이러한 문제를 ‘속성 기반(attribute‑based)’ 접근으로 해결한다. 정적 속성(고도, 토양 질감, 토양 깊이, 지질, 식생 지표 등)과 동적 강제력(강수, 기온, 일사량 등)을 테이블 형태의 변수 시퀀스로 변환하고, 이를 토큰화해 Transformer‑Encoder에 입력한다.

핵심 혁신은 **Cross‑Variable Group Masking (CVGM)**이다. 변수들을 물리·통계적 연관성에 따라 그룹화하고, 전체 그룹을 동시에 마스킹함으로써 모델이 단일 변수의 상관관계에 의존하지 않고, 그룹 간의 복합적인 인과관계를 학습하도록 유도한다. 예를 들어, ‘점토·실트·모래 비율’ 그룹을 동시에 마스크하면, 모델은 기후·지형 정보만으로 이들 토양 텍스처를 재구성해야 하므로, 토양‑기후 상호작용을 내재화한다. 마스크 복원 손실은 변수별 표준편차로 정규화해 스케일 차이를 완화한다.

학습 단계에서는 약 8,600개 유역(40년 기간) 데이터를 사용해 720 V100 GPU‑hour 정도만 소요되었다. 이는 기존 Vision‑Foundation 모델 대비 1~2% 수준의 연산량이며, 학술용 GPU 클러스터에서도 충분히 실행 가능하다.

미세조정 단계에서는 Residual Fine‑Tuning Adapters를 도입한다. 사전학습된 임베딩 (E_t)와 원시 강제력 입력 (x_t)를 얕은 Conv+Linear 블록 (f_{conv+lin}(x_t))으로 변환한 신호 (r_t)와 합산한 뒤 LSTM 디코더에 전달한다. 이 잔차 경로는 사전학습된 공간 지식과 과제‑특화된 시계열 정보를 동시에 활용해 과적합 위험을 낮추면서도 지역별 동적 변화를 반영한다. 비시계열 과제(토양 조성, 산사태 위험도)에서는 LSTM 대신 MLP·CNN 어댑터를 사용해 동일한 임베딩을 고정하고 어댑터만 학습한다.

실험 결과는 네 가지 핵심 과제(미국 CAMELS 하천 유량, 전 세계 Carav an 유량, 전 세계 현장 토양 수분, 전 세계 토양 물리·화학 특성, 오리건 주 산사태 위험도)에서 기존 LSTM‑SL, Informer, Reformer, DLinear 등 최신 시계열 모델 및 AlphaEarth와 같은 이미지‑기반 파운데이션 모델을 크게 앞섰다. 특히 공간 일반화(훈련 지역 외의 베이스라인)에서 평균 12%~18%의 RMSE 감소와 R² 향상을 기록했으며, 데이터가 희박한 아프리카·남미 지역에서도 견고한 성능을 유지했다.

전반적으로 StefaLand은 (1) 속성 기반 설계로 계산 효율성을 확보하고, (2) 그룹 마스킹으로 도메인 간 상호작용을 학습하며, (3) 잔차 어댑터로 미세조정 시 공간 지식을 보존한다는 세 가지 설계 원칙을 통해 지구과학 분야의 다중 과제에 범용적인 전이 학습 프레임워크를 제공한다. 이는 향후 데이터가 부족한 지역이나 새로운 기후 변수(예: 기후 변화 시나리오) 적용 시에도 빠른 모델 구축이 가능함을 의미한다.