기업 실적 발표 Q&A에서 관리자의 회피 탐지를 위한 대규모 벤치마크 EvasionBench

초록

EvasionBench는 S&P Capital IQ에서 추출한 2,270만 건의 실적 발표 Q&A를 기반으로 84,000개의 균형 잡힌 학습 샘플과 1,000개의 인간 검증 평가 샘플을 제공한다. 회피 정도를 직접, 중간, 완전 회피의 3단계로 구분하고, 다중 모델 합의(MMC) 방식을 통해 라벨링 품질을 확보하였다. 4억 파라미터 Eva‑4B 모델은 Macro‑F1 84.9%를 달성해 최신 클라우드 LLM들을 능가한다.

상세 분석

본 논문은 재무 분야에서 관리자의 회피 발언을 자동으로 식별하기 위한 최초의 대규모 데이터셋과 모델을 제시한다. 데이터 수집 단계에서는 S&P Capital IQ 전체 텍스트 데이터베이스에서 22.7 M개의 Q&A 쌍을 추출하고, 질문에 물음표 포함, 답변 길이 ≥30 자, 전사 오류 태그 제거, 질문·답변 합산 길이 ≥500 자 등 3단계 필터링을 적용해 11.27 M개의 고품질 쌍을 남겼다. 이후 균형을 맞추기 위해 직접, 중간, 완전 회피 각각 33.3 % 비율로 84 K 학습 샘플을 샘플링하고, 1 K 샘플을 전문가가 재검증한 골드 평가 셋을 구축하였다.

라벨링은 ‘Multi‑Model Consensus (MMC)’ 프레임워크를 도입했다. 1단계에서는 Claude Opus 4.5와 Gemini 3 Flash 두 최첨단 LLM을 독립적으로 라벨링하고, 두 모델이 일치한 경우를 ‘합의’로 채택한다. 불일치(전체 16.1 %)에 대해서는 Claude Opus 4.5, Gemini 3 Flash, GPT‑5.2 세 모델을 각각 ‘판사’ 역할로 두어 다수결을 통해 최종 라벨을 결정한다. 이 과정에서 모델별 라벨 편향(예: Opus는 직접 라벨을, Gemini는 완전 회피 라벨을, GPT‑5.2는 중간 라벨을 선호)을 정량적으로 확인하고, 무작위 프롬프트 순서와 시드 고정으로 위치 편향을 최소화했다. 인간 검증자와의 100개 샘플 비교 결과 Cohen’s Kappa 0.835라는 ‘거의 완벽’ 수준의 일치를 보였으며, 대부분의 불일치는 중간 라벨에서 발생함을 확인했다.

모델 구축에서는 Qwen‑3‑4B‑Instruct‑2507을 베이스로 선택하였다. 두 단계 파인튜닝 전략을 적용했는데, 첫 단계는 60 K 합의 샘플만으로 2 epoch 학습해 ‘Eva‑4B (Consensus)’를 만든다. 두 번째 단계에서는 24 K의 판사 합의 라벨을 추가 학습해 ‘Eva‑4B (Full)’을 완성한다. 이와 대비해 ‘Opus Only’ 버전은 두 번째 단계에서 Opus 라벨만 사용한다. 실험 결과, Eva‑4B (Full)는 Macro‑F1 84.9 %를 기록했으며, 특히 직접 라벨(F1‑D 82.2 %)과 완전 회피 라벨(F1‑E 92.4 %)에서 강력한 성능을 보였다. 반면 중간 라벨(F1‑I 80.1 %)은 모든 모델이 가장 어려워하는 영역으로, 향후 미세 조정 및 추가 어노테이션이 필요함을 시사한다. 베이스 모델(Qwen‑3‑4B) 대비 +50.6 pp의 성능 향상이 확인되었으며, Claude Opus 4.5, GPT‑5.2, Gemini 3 Flash 등 최신 클로즈드 소스 LLM들을 모두 능가했다.

또한, 라벨링 방식에 대한 Ablation 연구에서 다중 모델 합의가 단일 모델 라벨링보다 평균 4.3 pp 이상의 Macro‑F1 향상을 가져옴을 입증했다. 이는 회피 탐지와 같이 주관적 판단이 요구되는 과제에서 모델 다양성을 활용한 라벨링이 라벨 신뢰도를 크게 높일 수 있음을 보여준다.

전반적으로 이 논문은 (1) 재무 텍스트에서 회피 발언을 체계적으로 정의하고, (2) 대규모 자동 라벨링 파이프라인을 설계·검증하며, (3) 실제 적용 가능한 고성능 회피 탐지 모델을 제공한다는 점에서 학술적·산업적 가치를 모두 갖는다. 향후 연구는 (a) 다른 도메인(정치 인터뷰, 법정 증언)으로의 전이 학습, (b) 중간 회피 라벨의 세분화, (c) 라벨링 비용을 더욱 낮추는 인간‑LLM 협업 전략 등을 탐색할 여지가 있다.