오픈 FinLLM 리더보드 금융 AI 준비를 향한 길

초록

본 논문은 Linux Foundation과 Hugging Face의 협업으로 구축된 오픈 FinLLM 리더보드를 소개한다. 금융 분야에 특화된 대형 언어 모델(FinLLM)과 에이전트(FinAgent)의 성능을 다중모달(텍스트·표·시계열) 과제에 대해 표준화된 평가 파이프라인으로 측정·비교한다. 42개의 데이터셋을 7개 카테고리(정보추출·텍스트 분석·질문응답·텍스트 생성·리스크 관리·예측·의사결정)로 구성하고, GPT‑4, LLaMA 3, Gemini 등 최신 모델을 제로샷으로 평가한다. 또한 FinGPT 검색 에이전트를 데모로 제공해 실시간 데이터 검색·생성을 시연한다. 커뮤니티 기여를 장려하며 지속적인 업데이트와 개방형 라이선스를 통해 금융 AI 준비도를 높이고자 한다.

상세 분석

이 논문은 현재 금융 LLM 생태계가 직면한 핵심 문제—특히 ‘환각(hallucination)’과 정밀도·신뢰성 부족—를 인식하고, 이를 해결하기 위한 평가 인프라로서 오픈 FinLLM 리더보드를 제시한다. 기존 FinBen·FinanceBench와 달리 정적 벤치마크에 머무르지 않고, 지속적인 데이터·과제·모델 추가가 가능한 동적 플랫폼을 설계하였다.

1. 멀티모달 평가 설계

   • 텍스트뿐 아니라 XBRL 파일, 표, 시계열 데이터 등을 포함한 7개 카테고리를 정의하고, 각 카테고리별로 NER, 관계 추출, 감성 분석, 주가 예측 등 구체적인 과제를 제공한다. 이는 금융 실무에서 요구되는 복합적인 데이터 처리 능력을 그대로 반영한다.
   • 데이터는 금융 전문가가 검증한 ‘expert‑validated’ 셋을 사용해 실제 비즈니스 시나리오와의 격차를 최소화한다.

2. 테스트 파이프라인

   • 모델 다운로드·전처리·토크나이징 단계에서 각 모델의 토큰 제한을 자동으로 고려하도록 설계했으며, 제로샷 설정을 기본으로 하여 파인튜닝 여부에 관계없이 일반화 능력을 평가한다.
   • 성능 지표는 정확도, F1, ROUGE, BERTScore, MCC 등 과제 특성에 맞는 다중 메트릭을 채택하고, min‑max 정규화를 통해 0‑100 점수 체계로 통일한다. 이는 서로 다른 스케일의 메트릭을 한 눈에 비교할 수 있게 한다.

3. 모델 포트폴리오와 초기 결과

   • GPT‑4, LLaMA 3.1(8B/70B), Gemini, Qwen2(72B/7B‑Instruct), Xuanyuan‑70B 등 최신 모델을 포함했으며, 초기 실험에서 GPT‑4가 전반적으로 높은 점수를 받았지만, 특정 테이블 기반 정보 추출에서는 LLaMA 3.1이 경쟁력을 보였다. 이는 모델마다 강점이 다름을 시사한다.

4. 데모와 실사용 시나리오

   • FinGPT 검색 에이전트를 RAG(검색‑증강‑생성) 방식으로 구현, 실시간 금융 뉴스·보고서·엑셀 데이터를 검색해 응답에 반영한다. 데모 화면에서는 두 모델을 나란히 비교할 수 있는 UI를 제공, 사용자가 직접 모델 선택·비교가 가능하도록 설계했다.
   • 또한 ‘AI 튜터’, ‘컴플라이언스’, ‘감사’ 등 비즈니스 기능별 하위 리더보드를 정의해, 기업이 필요로 하는 구체적 과제에 맞는 모델을 빠르게 찾을 수 있게 한다.

5. 오픈·커뮤니티 전략

   • Model Openness Framework와 OpenMDW 라이선스를 적용해 모델·데이터·코드 모두 오픈소스로 제공한다. GitHub·Hugging Face에 공개된 파이프라인과 문서는 누구나 포크·기여·재현이 가능하도록 설계되었다.
   • 논문은 새로운 데이터셋·과제·모델을 지속적으로 제출받아 리더보드에 자동 반영하는 CI/CD 파이프라인을 구상하고 있다. 이는 정적 벤치마크가 갖는 ‘시대에 뒤처지는’ 문제를 근본적으로 해결한다.

6. 한계와 향후 과제

   • 현재는 제로샷 평가에 초점을 맞추었으나, 파인튜닝·도메인 적응 학습 결과를 별도 트랙으로 관리할 필요가 있다.
   • 금융 데이터의 프라이버시·규제 이슈를 고려해, 합성 데이터·암호화된 평가 방식을 도입하는 연구가 뒤따라야 한다.
   • 멀티모달 평가에서 표·시계열 데이터의 정량적 해석 능력(예: 시계열 예측 정확도) 측정 지표가 아직 미비하므로, 전용 메트릭 개발이 요구된다.

전반적으로 이 논문은 금융 AI의 실용화를 위한 인프라적 토대를 제공한다. 오픈 리더보드라는 개념 자체가 모델 개발·배포·감시를 투명하게 만들며, 산업·학계·오픈소스 커뮤니티가 공동으로 금융 AI 준비도를 끌어올릴 수 있는 생태계를 조성한다는 점에서 큰 의의를 가진다.