FinR1 7억 파라미터 금융 추론 모델 강화학습으로 성능 극대화

초록

FinR1은 7 억 파라미터 규모의 금융 전용 대형 언어 모델로, 60 091개의 고품질 체인‑오브‑쓰스(Chain‑of‑Thought) 데이터를 기반으로 지도학습(SFT)과 그룹 상대 정책 최적화(GRPO) 강화학습을 순차 적용해 금융 추론 능력을 크게 향상시켰다. 파라미터는 작지만 기존 7 억 모델 대비 17점 이상 높은 점수를 기록했으며, 규제 검증·로보 어드바이저 등 실무 적용 가능성을 입증한다.

상세 분석

FinR1은 현재 LLM이 금융 분야에 직면한 세 가지 핵심 문제—데이터 파편화, 블랙박스식 추론, 전이·일반화 약점—를 구조적으로 해결하려는 시도로 눈길을 끈다. 첫 번째 단계인 Fin‑R1‑Data 구축은 공개 데이터와 사내 시험문제 등을 통합해 60 091개의 이중언어(중·영) CoT 샘플을 생성한다. 여기서 저자들은 DeepSeek‑R1을 “생성 엔진”으로 활용해 초기 추론 흐름을 만들고, Qwen2.5‑72B‑Instruct를 “품질 평가기”로 두 단계 필터링함으로써 논리적 일관성·도메인 적합성을 자동 검증한다. 이 과정은 기존 금융 데이터가 산재하고 형식이 통일되지 않은 상황에서 고품질 학습 데이터 확보라는 병목을 효과적으로 해소한다는 점에서 의의가 크다.

두 번째 단계는 두 차례의 포스트트레이닝을 적용한다. 먼저 SFT 단계에서 Fin‑R1‑Data의 CoT 샘플을 그대로 지도학습함으로써 모델이 “답변 전에 생각한다”는 사고 패턴을 내재화한다. 여기서 중요한 점은 단순 정답 매핑이 아니라, 인간이 이해 가능한 추론 과정을 텍스트 형태로 학습시킨다는 점이다. 이어지는 GRPO 단계는 기존 PPO 기반 강화학습의 비효율성을 개선한다. GRPO는 동일 입력에 대해 다수 후보 출력을 생성하고, 그룹 내 상대적 이득을 기반으로 정책을 업데이트한다. 이 방식은 가치 함수 학습을 생략하면서도 후보 간 비교를 통해 보다 정교한 보상 신호를 제공한다. 결과적으로 7 억 파라미터 모델임에도 불구하고 복잡한 금융 수식·법규·시장 신호를 통합한 추론에서 평균 75.2점이라는 높은 점수를 얻었으며, 동일 규모 모델 대비 17점 이상 우수한 성과를 보였다.

기술적 강점으로는 (1) 데이터 파이프라인 자동화와 고품질 필터링을 통한 데이터 신뢰성 확보, (2) CoT 기반 SFT와 GRPO를 결합한 효율적 포스트트레이닝, (3) 추론 과정의 인간 가독성을 유지하면서도 강화학습으로 정확도·일관성을 동시에 향상시킨 점을 들 수 있다. 반면 한계점은 아직 7 억 파라미터라는 상대적 소규모가 복잡한 파생상품 가격 모델링 등 고차원 수치 연산에서 한계로 작용할 가능성이 있다는 점이다. 또한 GRPO의 그룹 구성 및 후보 수 선택이 성능에 미치는 영향이 충분히 분석되지 않았으며, 실제 금융 현장에서 요구되는 실시간 응답성 및 보안 요구사항에 대한 논의가 부족하다.

전반적으로 FinR1은 “작은 규모·높은 효율”이라는 설계 철학을 바탕으로 금융 특화 LLM의 실용성을 크게 끌어올렸다. 공개된 코드와 데이터셋은 재현성을 보장하고, 향후 도메인‑특화 프롬프트 설계·멀티모달 금융 데이터 통합 등 연구 확장의 기반을 제공한다.