전 세계 열대 저기압 예측을 위한 새로운 벤치마크 TCBench

초록

TCBench은 IBTrACS 관측을 기반으로 전 지구적 1~5일 열대 저기압(TC) 경로·강도 예측을 평가하는 벤치마크이다. 물리 기반 TIGGE 모델과 최신 신경망 날씨 모델(AIFS, Pangu‑Weather, FourCastNet v2, GenCast)을 동일한 전처리·평가 파이프라인에 통합하고, TempestExtremes를 이용해 일관된 트랙 추출을 제공한다. 결정론적·확률적 스톰‑팔로잉 지표와 급격 강화(RI) 이진 분류 평가를 포함해, 신경망 모델이 트랙 예측에서 기존 물리 모델을 능가하지만 강도 예측은 후처리·해양 변수 보강이 필요함을 보여준다. 데이터·코드가 모두 오픈소스로 제공돼 AI 연구자와 기상학자 모두가 손쉽게 재현·확장할 수 있다.

상세 분석

TCBench은 열대 저기압(TC) 예측 연구에 존재하던 여러 구조적 문제를 체계적으로 해결한다. 첫째, 관측 ‘ground truth’로 IBTrACS를 채택하고 6시간 간격(00, 06, 12, 18 UTC)만을 사용함으로써 데이터 불일치를 최소화한다. 이는 기존 연구에서 종종 발생하는 관측 체계 차이와 시간 간격 불일치를 제거해 모델 간 공정한 비교를 가능하게 한다. 둘째, 물리 기반 글로벌 모델(GEFS, IFS 등)과 최신 신경망 날씨 모델(AIFS, Pangu‑Weather, FourCastNet v2, GenCast)을 동일한 입력·출력 포맷으로 재구성한다. 특히 TempestExtremes와 HuracanPy를 활용해 모델 출력에서 자동으로 TC 트랙을 추출하고, 강도 변수(Vmax, pmin)를 일관되게 정규화함으로써 ‘track‑intensity’ 연계 평가가 가능하도록 설계했다.

평가 지표는 결정론적 평균 오류(Track error, Intensity error)와 확률적 스톰‑팔로잉 지표(예: Brier score, CRPS)로 구성돼, 단일값 성능뿐 아니라 불확실성 전달까지 측정한다. 특히 급격 강화(Rapid Intensification, RI)를 24시간 내 Vmax가 30 kt 이상 상승하는 이진 사건으로 정의하고, ROC‑AUC, F1‑score 등 분류 지표를 제공함으로써 운영적 경보 시스템에 바로 적용 가능한 평가 체계를 만든 점이 주목할 만하다.

실험 결과, 신경망 모델은 1~5일 리드 타임에서 트랙 평균 오류가 100 km 이하로 물리 모델을 앞섰으며, 특히 FourCastNet v2와 GenCast은 ensemble 형태에서 기존 물리 기반 앙상블보다 높은 정확도를 보였다. 반면 강도 예측은 전반적으로 편향(bias)과 스케일링 문제로 물리 모델에 비해 낮은 스코어를 기록했으며, 후처리 단계에서 해양 변수(해수면 온도, 열용량 등)를 추가하거나 통계‑동역학적 보정(SHIPS‑like) 기법을 적용해야 의미 있는 개선이 가능했다.

TCBench은 또한 데이터·코드 공개 정책을 통해 재현성을 강화한다. 모든 전처리 파이프라인, 평가 스크립트, 시각화 도구가 GitHub에 공개돼, 연구자는 새로운 모델을 손쉽게 ‘Leaderboard’에 등록하고 기존 베이스라인과 직접 비교할 수 있다. 확장성 측면에서도 새로운 예측 변수(예: 강수량, 바다 표면 온도)나 지역별 특화 모델을 추가하기 위한 인터페이스가 제공돼, 향후 베이스라인을 넘어선 혁신적인 접근법을 시험하기에 적합한 플랫폼이다.

한계점으로는 현재 2023년 테스트 연도에 국한된 평가가 있으며, 장기(>5일) 예측이나 과거 데이터(예: 1970년대 이전)와의 비교가 부족하다. 또한 해양-대기 상호작용을 직접 모사하지 못하는 신경망 모델의 구조적 한계가 강도 예측에 영향을 미치므로, 해양 재분석 데이터와의 결합이 향후 연구 과제로 남는다. 전반적으로 TCBench은 TC 예측 분야에서 데이터·모델·평가를 일원화한 최초의 종합 벤치마크로, AI와 전통 기상학이 협업할 수 있는 기반을 마련했다.