FinCoT: 전문가 수준 금융 추론을 위한 체계적 사고 흐름 설계

초록

FinCoT는 금융 분야 전용 체인‑오브‑씽크(COT) 프롬프트 프레임워크로, 도메인 전문가가 만든 Mermaid 형식의 작업 흐름 청사진을 프롬프트에 삽입한다. 일반 목적 모델(Qwen3‑8B‑Base)과 금융 특화 모델(Fin‑R1) 모두에서 정확도를 13~10%p 상승시키고, 출력 토큰 수를 최대 8.9배까지 감소시킨다. 구조화된 사고 흐름과 전문가 지식 결합을 통해 추론 투명성을 높이며, 사전 학습이 부족한 모델에 특히 효과적이다.

상세 분석

FinCoT 논문은 기존 금융 NLP에서 사용되는 세 가지 프롬프트 방식을 체계적으로 정리하고, 그 한계를 명확히 짚는다. 첫 번째는 표준 프롬프트(Zero‑Shot)로, 질문만 전달해 모델이 바로 답을 내도록 하는 가장 단순한 형태다. 두 번째는 비구조화 COT(Unstructured COT)으로, “step‑by‑step”이라는 힌트를 주어 자유롭게 사고 과정을 생성하게 하지만, 금융 특유의 수식 검증이나 단위 변환 같은 제약을 반영하기 어렵다. 세 번째는 구조화 COT(Structured COT)로, ,

같은 태그를 삽입해 단계별 출력을 강제하지만, 여전히 도메인 전문가의 논리 흐름을 내재하지 않는다.

FinCoT는 이 세 번째 방식을 확장해, 각 금융 도메인(예: 포트폴리오 관리, 파생상품 평가 등)에 맞춘 Mermaid 다이어그램을 “Hint” 형태로 삽입한다. Mermaid는 텍스트 기반 그래프 언어로, LLM이 별도의 파싱 없이도 순차적 흐름을 인식할 수 있다. 논문은 Blueprint 제작 파이프라인을 5단계로 제시한다. ① 도메인 스코핑 및 지식 수집, ② AI 에이전트를 활용한 자료 정제, ③ 인간 전문가 검증, ④ 단계별 논리 흐름을 Mermaid 다이어그램으로 변환, ⑤ 프롬프트에 삽입한다. 이 과정에서 인간‑AI 협업을 강조해, 자동화된 지식 추출이 불완전할 경우 전문가가 직접 교정하도록 설계했다.

실험 설계는 두 축으로 나뉜다. 모델 축에서는 일반 목적 모델(Qwen3‑8B‑Base, Qwen2.5‑7B)과 금융 특화 모델(Fin‑R1, DianJin‑R1 등)을 선택했으며, 프롬프트 축에서는 SP, UST‑COT, ST‑COT, FinCoT 네 가지를 비교했다. 평가 데이터는 CFA 스타일 10개 도메인에 걸친 1,032개의 객관식 문제이며, 정확도와 평균 토큰 수를 주요 지표로 삼았다. 결과는 FinCoT가 일반 모델에서 정확도를 13.3 pp(63.2→80.5) 상승시키고, 출력 길이를 8.9배 압축했으며, 금융 특화 모델에서도 10 pp 정도 상승(65.7→75.7)과 1.16배 토큰 감소 효과를 보였다. 특히 정량적 도메인(예: 파생상품, 포트폴리오 최적화)에서 가장 큰 향상이 관찰되었다.

통계적 검증(p < 0.001)과 도메인별 정확도 향상 비율을 통해 FinCoT가 단순한 토큰 절감이 아니라 실제 추론 품질을 개선한다는 점을 입증했다. 또한 “반사” 단계에서

내부에 짧은 self‑check를 삽입해, 별도 반사 블록을 두는 기존 방법보다 효율적으로 일관성을 검증한다는 설계적 장점도 강조한다.

한계점으로는 (1) Blueprint 제작에 전문가 인력이 필요해 초기 비용이 높다, (2) 일부 특수 도메인(예: 윤리·규제)에서는 현재 청사진이 제공되지 않아 성능 향상이 제한적이다, (3) 모델이 Mermaid 구문을 완전히 이해하지 못할 경우 오히려 혼란을 초래할 가능성이 있다. 향후 연구에서는 자동 청사진 생성 모델을 개발하고, 멀티턴 대화형 상황에서 FinCoT를 확장하는 방안을 제시한다.

요약하면, FinCoT는 도메인 전문가 지식을 구조화된 프롬프트에 직접 주입함으로써, LLM이 금융 분야에서 요구되는 정밀한 수식 검증, 단위 변환, 단계별 검증 절차를 자연스럽게 따르게 만든 혁신적인 접근이다. 이는 사전 학습만으로는 한계가 있던 금융 추론 성능을 크게 끌어올리며, 추론 과정의 투명성과 비용 효율성을 동시에 확보한다.