서론

딥러닝의 급속한 발전으로 인해 데이터 주도형 기상 예측 방법들이 특히 레이더 에코 외삽법(REE)을 통한 고해상도 강수 당일예보에 큰 관심을 받고 있습니다. 이 접근 방식은 과거 레이더 시퀀스를 활용하여 강수 체계의 공간-시간 패턴을 모델링함으로써 전통적인 방법들을 단기 예측에서 능가합니다. 이러한 기술적 발전은 사상 최악의 기후 변화에 직면한 상황과 맞물려 있습니다: 세계 기상 기구(WMO)에 따르면 2024년이 역대 가장 더운 해로 기록되었습니다. 전통적으로 안정적인 기후 지형을 가진 지역들은 이제 예측할 수 없는 날씨 변동을 겪고 있으며, 이는 사하라 이남 아프리카에 위치한 리비아에서 2023년의 터보 속성을 가진 폭풍으로 인해 재난적인 홍수가 발생한 사건을 통해 잘 보여주었습니다. 이러한 상황은 정확하고 전범위적인 기상 예측 시스템이 필요함을 강조하며, 특히 변화하는 기후 시나리오에서 정확도를 유지할 수 있는 적응형 예측 프레임워크 개발의 중요성을 제기합니다.

전통적인 기상 예측은 수치 기상 예측(NWP)에 의존합니다. 이 접근 방식은 대기 물리 원칙을 바탕으로 미분 방정식 시스템을 구성하여 대기 운동을 모델링하고 이를 수치적으로 풀어 미래 상태를 예측합니다. NWP는 중장기 기상 추세 예측과 대규모 체계 진화 분석에 효과적이나, 초기 조건에 대한 의존도와 계산 복잡성으로 인해 시간 지연이 발생하여 소규모 기후 시스템을 해결하는 데 제한됩니다. 따라서 NWP는 단기 강수 당일예보의 요구 사항인 분 단위 업데이트 주기와 킬로미터 수준 공간 해상도를 충족시키는 데 어려움을 겪습니다.

반면, REE 방법은 레이더 데이터를 분석하여 미래 강수 필드를 추론합니다. 이 접근 방식은 짧은 시간 프레임 내에서 고해상도 당일예보를 가능하게 하며 중소규모 기후 시스템의 진화 특성을 포착할 수 있습니다. 클래식한 REE 기법에는 중심점 추적, 교차 상관, 그리고 광학 흐름 방법 등이 포함됩니다. 중심점 추적 방법은 레이더 에코 클러스터들의 중심점 위치를 계산하여 그 궤도를 추정합니다. 교차 상관 메커니즘은 연속적인 레이더 이미지 간의 공간 유사성을 측정해 최적의 이동 벡터를 결정하고, 광학 흐름 접근법은 밝기 변화 분석을 통해 픽셀 수준의 속도 필드를 추정합니다. 하지만 이러한 방법들은 레이더 에코들의 연속적이고 부드러운 움직임 패턴을 가정하고 있어, 강수 사건들이 종종 극단적인 대류 폭발, 형태 변화 및 구조 해체 등의 특성을 보일 때 전통적인 REE 패러다임에 도전합니다.

딥러닝 기술은 이러한 한계를 극복하기 위한 새로운 해결책을 제시합니다. 딥 뉴럴 네트워크의 비선형 모델링 능력을 활용하여 엔드-투-엔드 학습 메커니즘은 과거 레이더 에코 시퀀스로부터 공간-시간 진화 특징을 자동으로 추출하고 예측적 모델링에 사용할 수 있습니다. 최근 몇 년 동안 딥러닝 기반 REE 연구는 재귀신경망(RNN) 기반 모델, 주의력 강화 아키텍처, 그리고 생성형 접근법 등을 포함한 뛰어난 성과를 보여주었습니다.

이러한 모델들이 입증된 성공에도 불구하고, 이러한 모델들은 고정된 기상 시나리오 하에서 정적인 학습 패러다임을 사용하여 특정 훈련 데이터 분포 내에서 적합한 성능을 달성합니다. 하지만 실제 적용에서는 역사적 강수 기록에 제약을 받고 있어, 높은 품질의 지역 관측 자료를 획득하는 것이 여전히 어렵습니다. 이는 이러한 모델들이 다양한 기상 조건에 적응하는 능력을 방해합니다. 그림 1의 클러스터 분석 결과에서 보듯이, 각각의 지역과 다양한 강수 과정 간에는 분포상의 큰 차이가 있습니다. 이는 현재의 모델들에 다음과 같은 두 가지 중요한 제한을 가집니다:

지역 간 배포 불가능: 전통적인 모델들은 훈련 및 테스트 데이터 간 엄격한 분포 일치를 필요로 하므로, 새로운 지리적 도메인에서 배포될 때 지역별 재훈련이 필요합니다. 그러나 각 레이더 기지에 대해 별도의 모델을 학습하고 최적화하며 유지 관리는 큰 비용을 초래합니다. 또한, 역사적 강수 데이터가 부족한 지역에서는 고품질 훈련 데이터를 획득하는 것이 상당히 어렵습니다. 이로 인해 이러한 지역은 높은 해상도의 원생 강수 당일예보에 기존 기상 모델을 효과적으로 활용하기 어렵습니다.

예측할 수 없는 강수 사건 대응 불가능: 좁은 역사적 훈련 데이터셋에서 극단적인 날씨 사건을 포착하는 샘플이 부족하므로, 이러한 시나리오에 직면했을 때 모델 학습이 충분하지 않습니다. 따라서 정적인 모델들은 극단적인 날씨 사건 동안 적응력이 떨어집니다. 훈련 데이터 분포를 벗어난 날씨 패턴, 예를 들어 갑작스러운 집중 호우나 볼리 등에 대처할 때 모델 정확도가 크게 하락합니다.

이러한 문제들을 해결하기 위해 우리는 테스트 시점 학습(TTT)을 통합한 레이더 에코 외삽법(REE-TTT) 모델을 제안합니다. 정적인 모델에서 벗어나 REE-TTT는 자동화된 학습을 통해 들어오는 실시간 레이더 시퀀스에 기반해 특징 표현을 동적으로 조정합니다. 이를 통해 날씨 사건의 특성인 비정상적 공간-시간 패턴을 효과적으로 포착하고 예측할 수 없는 상황에서 적응력을 향상시킵니다. 무엇보다도, 이 패러다임 변화는 모델의 지역 간 일반화 능력을 크게 강화합니다. 주요 기여를 다음과 같이 요약합니다:

• 우리는 REE-TTT를 제안하며, 이는 TTT 층을 통합한 첫 번째 레이더 에코 외삽 모델입니다. 이를 통해 추론 중에 동적으로 파라미터를 조정하여 다양한 기상 시나리오에서 분포 변화를 처리합니다.

• 우리는 작업별 주의 메커니즘을 통합하여 특징 보기 재구성하는 주의력 강화 스페이셜-타임 TTT(ST-TTT) 블록을 설계했습니다. 이는 전통적인 TTT 층에서 사용되는 표준 선형 투영을 대체하며 효과적으로 공간-시간 의존성을 포착합니다.

• 베이징 복합 반사율 데이터셋에 대한 벤치마크 평가와 항저우 집중호우 상황에 대한 제로샷 일반화 실험을 통해 REE-TTT의 우수한 견고성과 적응성을 입증했습니다.

관련 연구

본 장에서는 우리의 작업을 지원하는 두 가지 주요 기술의 최근 발전을 검토합니다: 공간-시간 예측 신경망과 테스트 시점 학습입니다.

공간-시간 예측

딥러닝 기반 레이더 에코 외삽 작업은 일반적으로 공간-시간 예측 접근 방식을 통해 모델링되며, 주요 방법론은 각각의 강점을 활용하기 위해 컨볼루션과 재귀 아키텍처를 통합합니다. ConvLSTM은 전통적인 장단기 기억(LSTM) 네트워크에서 완전 연결 연산을 컨볼루션 계층으로 대체하여 공간-시간 의존성을 효과적으로 포착하며 레이더 에코 외삽에 우수한 성능을 보여줍니다. 이를 기반으로, PredRNN 및 그 개선된 변형은 재귀 구조 내에서 수직 은닉 상태 전환을 도입하여 장기 시퀀스 예측 능력을 크게 향상시킵니다. Memory In Memory(MIM) 네트워크는 시간 단계별로 차등적인 메모리 저장 메커니즘으로 RNN의 기능 융합을 최적화합니다. 유사한 스택된 공간-시간 LSTM 프레임워크를 채택한 다른 연구들은 컨볼루션 대신 주의 모듈을 사용하여 전역 수용 필드를 달성합니다. 대안적인 접근 방식은 볼륨 특징 추출 후 재귀 네트워크를 통해 시간적 진화 모델링을 수행하며, 이는 에이전트에서 보여집니다.

RNNs가 상기 아키텍처의 시계열 동역학 모델링에 중심적임에도 불구하고 그들의 높은 계산 비용은 대체 설계를 유발합니다. SIMVP는 가벼운 컨볼루션 변환자를 통한 공간-시간 특징 융합을 구현함으로써 훈련 오버헤드를 크게 줄이는 패러다임의 변화를 선도했습니다. 이는 후속 혁신을 자극합니다: TAU는 프레임 내 자기 주의와 프레임 간 교차 주의 융합을 통해 공간-시간 동역학을 포착하고, Earthfarseer는 푸리에 변환을 통해 전역 의존성과 지역 상호작용을 동시에 모델링할 수 있는 병렬 트랜스포머-컨볼루션 아키텍처를 구축합니다. 다른 비재귀적 접근 방식은 스택된 트랜스포머 블록 및 3D 웨이블릿 변환을 사용하여 공간-시간 특징 재구성을 통해 효율적인 모델링을 수행하면서도 낮은 계산 복잡성 유지합니다. 확산 모델과 같은 생성적 접근 방식은 반복적 정제를 통해 자세한 예측을 생성하지만, 이 패러다임은 우리의 연구 범위 밖에 있습니다.

요약하자면 현재의 딥 스페이셜-타임 예측 방법론은 두 가지 기술 계통으로 나뉩니다: RNN 기반 모델은 시계열 의존성을 포착하는 데 중점을 둠으로써 훈련 복잡성을 증가시키고, 비재귀적 모델은 컨볼루션 변환자와 스페이셜-타임 주의 등 병렬화 가능한 모듈을 통해 다중 스케일 특징 상호작용을 가능하게 하며, 이는 세밀한 시계열 동역학을 포착하는 데 약간 손해를 볼 수 있습니다.

테스트 시점 학습

테스트 데이터에 대한 학습의 개념은 서포트 벡터 머신(SVM)에서 지역 학습과 전도적 학습에서 유래되었습니다. 두 패러다임 모두 비표기 데이터를 활용하며, 지역 학습은 테스트 입력의 이웃 내에서 작업별 모델을 학습하여 국소 정보를 통해 예측 능력을 강화하고, 전도적 학습은 비표기 테스트 샘플을 직접 사용해 특정 테스트 세트에 대한 성능을 최적화하는 결정 경계를 제약합니다.

딥러닝에서는 일반적인 학습 패러다임이 모델 파라미터를 단순히 훈련 데이터로 최적화하고 인퍼런스 중에 모든 테스트 샘플에 대해 정적인 모델을 적용합니다. 그러나 이러한 고정된 모델들은 훈련과 테스트 데이터 간의 분포 변화 아래에서 성능 저하를 겪습니다. 이 문제를 해결하기 위해 TTT는 인퍼런스 단계로 모델 최적화를 확장하여 각 테스트 사례에 대해 샘플별 일반화 작업을 생성합니다. 이를 통해 테스트 데이터 특성에 기반한 동적 파라미터 조정이 가능해 예측력을 개선할 수 있습니다.

TTT의 핵심 과제는 적절한 일반화 작업 설계입니다. 이러한 작업은 두 가지 기준을 충족해야 합니다: 테스트 라벨 부재로 인한 자기 지도성과 임의 분포된 테스트 샘플에서 핵심 특징을 추출할 수 있는 일반화 가능성. 회전 예측 및 이미지 패치 마스킹 재구성을 포함하는 자가 감독 작업은 TTT 프레임워크에 대해 검증되었습니다. TTT 층은 학습된 재구성 작업을 통해 이 전략을 구현합니다 - 인간의 사전 지식에 의존하지 않는 것과 달리, 그들의 재구성 목표는 모델 훈련 중 자동으로 획득됩니다. 이를 통해 수동 작업 공학 제약을 제거하고 보다 대범한 작업 표현이 가능해집니다.

이러한 연구들은 TTT 전략의 복잡한 작업 해결 가능성에 대한 타당성을 입증했습니다. 이러한 기반 위에서 우리의 모델은 현재 레이더 에코 외삽 모델들이 테스트 시퀀스 정보를 적게 활용하고 있다는 문제점을 해결하기 위해 주의력 강화 네트워크를 사용해 TTT 층 내에서 자가 감독 재구성 작업을 학습합니다.

방법론

이 장에서는 제안된 REE-TTT에 대해 상세히 설명합니다. 섹션 3.1은 레이더 에코 외삽 작업을 정의하고, 섹션 3.2는 REE-TTT 모델의 전체 아키텍처와 핵심 구성 요소를 제시합니다. 섹션 3.3은 ST-TTT 블록에 초점을 맞추고, 섹션 3.4는 모델 손실 함수의 공식화로 마무리됩니다.

문제 정의

우리는 먼저 레이더 에코 외삽 작업을 형식적으로 정의합니다. 현재 시간 $`t`$에 길이가 $`T`$인 과거 레이더 에코 이미지 시퀀스, $\mathcal{X}^{(t,T)}=\{x_{i}\}_{i=t-T+1}^{t}\in\mathbb{R}^{T\times C\times H\times W}$를 주어집니다. 여기서 채널 수 $`C=1`$은 레이더 반사율 요인(dBZ)을 나타내며, $`H\times W`$는 공간 차원을 의미합니다. 모델의 목표는 맵핑 함수 $`F_{\theta}`$의 파라미터 $\theta$를 학습하여 길이가 $`T^{\prime}`$인 미래 레이더 에코 시퀀스, $\mathcal{Y}^{(t+1,T^{\prime})}=\{y_{i}\}_{i=t+1}^{t+T^{\prime}}\in\mathbb{R}^{T^{\prime}\times C\times H\times W}$를 예측하는 것입니다. 최적화 목표는 다음과 같이 정의됩니다:

\begin{equation}
\label{equation1}
\theta^{*}=\arg\min_{\theta } \mathcal{L}\big(F_{\theta}(\mathcal{X}^{(t,T)}),\mathcal{Y}^{(t+1,T^{\prime})}\big),
\end{equation}

여기서 $\mathcal{L}(\cdot)`$는 예측 오류를 측정하는 복합 손실 함수이고, $\theta^{*}`$는 레이더 에코 외삽 모델의 최적 파라미터 세트입니다.

개요

우리는 REE-TTT 모델을 맵핑 $`F_{\theta}`$를 학습하도록 구성하며, 그 전체 아키텍처는 그림 2에 설명되어 있습니다. SIMVP에서 제안된 간결한 프레임워크에 따라 세 가지 핵심 모듈로 구성됩니다: 공간 인코더, 스페이셜-타임 번역가, 그리고 공간 디코더입니다. 이 프레임워크는 증명되고 효율적인 스페이셜-타임 특징 처리의 백본을 제공하며, 번역가 구성 요소에서 공간 인코딩/디코딩과 시간 변환 사이의 명확한 구분은 우리의 새로운 TTT 메커니즘 통합에 이상적인 아키텍처 기반이 됩니다. 공간 인코더는 # Limit to 15k chars for stability