실제 금융 상황에서 숨겨진 전제 인식 능력 평가: RealFin 벤치마크

초록

RealFin은 금융 시험 문제에서 핵심 전제를 의도적으로 삭제해 언어 모델이 “답을 제시할 충분한 정보가 없는지”를 판단하도록 설계한 2,020개 영·중문 질문 데이터셋이다. 원본·조건 누락·None‑of‑the‑Above 세 형태로 평가했으며, 일반 목적 LLM은 과도하게 추측하는 반면, 금융 특화 모델은 누락된 전제를 인식하는 데 한계가 있음을 보여준다.

상세 분석

RealFin 논문은 금융 분야에서 “정보가 충분히 주어졌는가”를 판단하는 메타추론 능력을 정량화하려는 시도로, 기존 벤치마크가 전제 완전성을 가정하는 한계를 정확히 지적한다. 데이터 구축 단계에서 저자들은 CFA·CPA 스타일의 시험 문제를 원본으로 삼고, 네 가지 전제 유형(거시 경제 가정, 중간 연계 모델, 계약 제약, 회계·규제 표준) 중 하나 이상을 인간 annotator가 삭제한다. 이렇게 만든 ‘조건 누락’ 질문은 문법적으로는 자연스럽지만, 정답을 유일하게 도출할 수 없는 under‑determined 상황을 만든다.

세 가지 평가 포맷은 (i) Original – 전제가 모두 제공된 정상 질문, (ii) Revised – 전제가 일부 빠진 질문, (iii) None‑of‑the‑Above – 정답 옵션을 제거해 모델이 “정보 부족”을 스스로 판단하도록 강제한다. 실험은 10개 LLM(5개 일반 목적, 5개 금융 특화)을 zero‑shot 설정에서 동일 프롬프트와 온도 0으로 수행했으며, 답변, 이유, confidence를 JSON 형태로 반환하도록 설계했다.

결과는 두드러진 두 가지 현상을 드러낸다. 첫째, 일반 목적 모델은 원본 질문에서는 8090% 수준의 높은 정확도를 보였지만, 조건 누락 상황에서도 8590% 수준으로 크게 떨어지지 않아 과도한 추측(over‑commit) 경향을 보였다. 둘째, 금융 특화 모델은 원본에서는 평균 70% 내외에 그쳤으며, 누락된 전제를 인식해야 하는 Revised와 NOTA 상황에서는 정확도가 급격히 하락하거나 “None‑of‑the‑Above”를 거의 선택하지 못했다. 이는 도메인 특화 사전학습이 “정답이 존재한다는 전제”에 과도히 최적화돼, 정보 부족을 감지하는 메타추론 능력은 오히려 일반 모델보다 낮다는 점을 시사한다.

또한, 언어별 성능 차이에서도 흥미로운 패턴이 관찰되었다. 중국어 CPA 파트에서는 Qwen3‑Max가 92%로 가장 높았지만, 영어 CFA 파트에서는 Claude‑Sonnet‑3.5가 89.6%로 앞섰다. 이는 모델별 학습 데이터와 토큰화 전략이 언어 특성에 따라 다르게 영향을 미칠 수 있음을 암시한다.

논문은 마지막으로, 실제 금융 업무에서 “답을 모를 때는 모른다”고 명시하는 것이 위험 관리와 규제 준수에 필수적임을 강조하며, 향후 벤치마크 설계 시 조건 누락 질문을 포함한 메타추론 평가가 반드시 필요하다고 주장한다.