날씨를 읽는 인공지능 논리 일관성 강화 학습

초록

본 논문은 기상 분야의 멀티모달 추론에 특화된 벤치마크 WeatherQA를 구축하고, 기존 강화학습 기반 파인튜닝(RFT)에서 발생하는 자기모순 추론(Self‑Contra)을 억제하기 위해 논리 일관성 보상(L​oCo‑RFT)을 제안한다. 이를 바탕으로 7 B 파라미터 규모의 Weather‑R1 모델을 학습시켜, 기존 VLM 대비 9.8 %p 높은 정확도와 논리적 일관성을 달성하였다.

상세 분석

본 연구는 두 가지 근본적인 문제를 짚는다. 첫째, 일반 VLM이 기상 이미지와 텍스트를 다루는 도메인 갭이다. 기존 의료·수학 분야와 달리 기상 데이터는 24시간 강수량 지도, 적외선 구름 이미지, 기압·풍향 지도 등 다양한 스펙트럼을 포함하며, 전문가 수준의 해석이 요구된다. 저자들은 기상 전문가와 협업해 ‘강수’, ‘현상’, ‘기온’, ‘기상계통’ 네 가지 테마와 7가지 영상 모달리티를 정의하고, 15,400개의 질문‑답변 쌍을 생성한 WeatherQA 벤치마크를 제시한다. 데이터는 2017‑2023 연도별로 시계열 분할되어 시간적 일반화도 검증한다.

둘째, 기존 Reinforcement Fine‑Tuning(RFT)이 최종 정답 정확도만을 보상으로 삼아 추론 과정의 일관성을 무시한다는 점이다. 저자들은 RFT 훈련 중 ‘Think‑Tag’ 안에 삽입된 추론 단계가 최종 답과 모순되는 경우가 30 %에 달함을 실험적으로 확인하고, 이를 Self‑Contra 현상으로 명명한다. Self‑Contra는 세 유형(정답 추론→오답, 오답 추론→정답, 완전 모순)으로 구분되며, 이는 고위험 기상 예보에서 신뢰성을 크게 저해한다.

이를 해결하기 위해 제안된 LoCo‑RFT는 논리 일관성 보상 R_LoCo를 추가한다. R_LoCo는 외부 LLM(gpt‑oss‑20b)을 판별자로 활용해, 추론 텍스트가 최종 답과 일치하는지를 0/1 형태로 평가한다. 전체 보상은 포맷 보상(0.1), 논리 일관성 보상(0.3), 정답 보상(0.6)으로 가중합한다. 실험에서는 이 가중치가 Self‑Contra를 30 %→~10 % 수준으로 크게 감소시키면서도 정확도는 유지됨을 보인다. 또한, GRPO 기반 그룹 정책 최적화를 그대로 사용해 학습 효율을 크게 희생하지 않는다(시간 비용 0.55 % 증가).

Weather‑R1은 Qwen2.5‑VL‑7B를 초기 가중치로 LoCo‑RFT를 전 파라미터 적용해 4×A100 GPU에서 학습하였다. 결과적으로 Weather‑R1은 전체 평균 52.9 % 정확도로 베이스라인(43.1 %)보다 9.8 %p 상승했으며, 파라미터가 7 B임에도 32 B 모델(Qwen2.5‑VL‑32B)보다 우수했다. 또한, OOD 테스트인 ScienceQA(기후·날씨 관련)에서도 86.46 % 정확도로 기존 모델들을 앞섰다. 이러한 성과는 논리 일관성을 보상에 포함시키는 것이 멀티모달 추론 모델의 신뢰성과 성능을 동시에 끌어올릴 수 있음을 실증한다.