에이전트 기반 교차모달 디코딩으로 날씨 예측 향상

본 연구는 데이터‑주도 날씨 예측 모델이 겪는 구조적 편향과 물리적 일관성 결여 문제를 해결하기 위해 **Agent‑Guided Cross‑Modal Decoding (AGCD)** 라는 새로운 프레임워크를 제안한다. AGCD는 두 개의 핵심 모듈, 즉 **멀티‑에이전트 기상 서술 파이프라인(MMNP)** 과 **교차모달 영역 상호작용 디코딩(CRID)** 으로 구성된다. **1. 멀티‑에이전트 기상 서술 파이프라인 (MMNP)** - 입력: 다변량 기상 변수(예: 온도, 습도, 기압 등)를 고정된 컬러맵과 정규화 방식을 사용해 RGB 히트맵으로 변환한다. - 변수‑별 설명 에이전트(A_Vi): 각 히트맵을 받아 지역적 특징(예: 고기압, 저기압, 전선)과 강도 변화를 간결한 문장 형태로 추출한다. 템플릿 기반으로 길이를 제한해 downstream 통합이 용이하도록 설계된다. - 통합 에이전트(A_I): 사전 정의된 변수 순서에 따라 A_Vi 로부터 얻은 설명을 차례로 결합한다. 이때 관측 기반 서술과 변수 간 상호작용을 가설 형태(“~일 가능성이 있다”)로 구분해 미래 정보 유출을 방지한다. - 증거 기반 평가자(E): 완성된 서술 S_final 에 대해 (① 변수별 커버리지, ② 서술 내용과 변수‑별 설명의 일관성, ③ 전체 응집성) 세 가지 기준을 자동 검증한다. 오류가 발견되면 유형(누락, 왜곡, 모순, 과도한 인과)과 해당 변수 정보를 피드백으로 반환한다. - 피드백 기반 재작성: 평가자가 반환한 피드백을 바탕으로 A_I 가 최대 R번(논문에서는 고정) 재작성한다. 재작성 후에도 실패하면 가장 높은 점수를 받은 버전을 선택한다. - 최종 서술 S_final 은 오프라인으로 캐시되어 학습·추론 시 재사용되며, 실시간 다중 에이전트 실행 비용을 크게 절감한다. **2. 텍스트 임베딩** - S_final 을 사전 학습된 대형 언어 모델(LLM)에 입력해 마지막 레이어의 숨은 상태를 추출한다. 이 텍스트 토큰 T 는 고정된 파라미터를 유지하며, 이후 시각‑텍스트 정렬에 사용된다. **3. 교차모달 영역 상호작용 디코딩 (CRID)** - 백본 트랜스포머(예: Pangu, ClimaX) 가 입력 시점 t 에 대해 패치 토큰 P와 전역 클래스 토큰 C 를 생성한다. - **Cross‑Modal Guidance (CMG)**: 클래스 토큰 C 를 이용해 텍스트 토큰 T 에 토큰‑와 채널‑레벨 게이트를 적용, 시각적 컨텍스트에 맞게 조정된 텍스트 특징 ˜T 를 만든다. - **Cross‑Modal Interaction (CMI)**: ˜T 를 지역‑별 다중 스케일 토큰화와 교차‑어텐션 메커니즘에 주입한다. 구체적으로, 입력 이미지(기상 필드)를 여러 해상도 블록으로 나누어 각 블록에 대해 ˜T 와의 어텐션을 수행, 지역적 민감도에 따라 가중치를 조정한다. 이렇게 수정된 패치 토큰은 기존 디코더 흐름에 그대로 전달되어 최종 예측을 만든다. CRID 는 백본의 입출력 인터페이스를 변경하지 않으며, 디코딩 단계에서만 가벼운 연산을 추가한다. **4. 실험 및 결과** - 데이터셋: WeatherBench (재분석 데이터)에서 5.625°와 1.40625° 두 해상도, 6시간 예측을 기준으로 평가. - 백본 다양성: 일반 트랜스포머(Pangu)와 기상 특화 트랜스포머(ClimaX) 모두에 적용. - 성능: 모든 설정에서 AGCD 적용 시 평균 절대 오차(MAE)와 RMSE가 0.5~1.2% 개선. 특히 48시간 자동회귀 롤아웃에서는 초기 단계 오류 축적이 현저히 감소해 장기 예측 안정성이 크게 향상되었다. - Ablation: MMNP 없이 텍스트만 사용하거나 CRID 없이 단순 concat 방식을 사용할 경우 성능이 크게 떨어짐을 확인, 두 모듈 모두가 상호 보완적임을 입증. **5. 의의 및 한계** - AGCD는 물리 사전을 “전역·고정”이 아닌 “샘플‑조건화·동적”으로 제공함으로써 기존 물리‑제약 방식보다 높은 제어 가능성과 재사용성을 제공한다. - MLLM 기반 서술 생성이 기상 분야에 적용될 때 발생하는 신뢰성·효율성 문제를 오프라인 캐시와 피드백 기반 정제로 해결한다. - 현재는 서술이 영어 기반이며, 다국어 확장 및 더 정교한 물리 법칙(예: 보존 법칙) 직접 삽입에 대한 연구가 필요하다. 전반적으로 AGCD는 데이터‑주도 날씨 예측 모델에 물리적 일관성을 동적으로 주입하는 새로운 디코딩‑시점 프레임워크로, 기존 모델의 구조적 강점을 유지하면서도 장기 예측 안정성을 크게 향상시킨다.