언어 모델 사전 평가 텍스트만으로 성능 예측

초록

본 논문은 벤치마크 설계 단계에서 데이터와 모델을 실제로 실행하지 않고, 논문에 기술된 과제 설명과 실험 설정만으로 기대 성능을 예측하는 “텍스트‑전용 성능 예측” 문제를 정의한다. 이를 위해 2,290개의 과제‑설정‑성능 삼중항을 포함하는 PRECOG 코퍼스를 구축하고, 최신 LLM(GPT‑5 등)을 활용해 평균 절대 오차(MAE) 9.9% 수준의 예측 정확도를 달성한다.

상세 분석

PRECOG 코퍼스는 arXiv 논문에서 자동으로 추출한 과제 설명과 실험 구성 정보를 기반으로, 각 실험 결과를 0‑100 점수로 정규화한 (xᵢ, yᵢ) 쌍을 만든다. 데이터 수집 파이프라인은 (1) 실험 기록 수집, (2) 기록 출처와 논문 유형 정의, (3) 출처 복원, (4) 스키마에 맞춘 익명화 설명 생성, (5) 품질 검증 단계로 구성된다. 특히, 데이터셋 이름과 구체적인 수치를 제거해 모델이 “텍스트만”을 입력으로 받도록 설계했으며, 30개 샘플에 대한 인간 감수 결과 익명화와 출처 일치도가 거의 완벽함을 확인했다.

예측 모델은 두 가지 형태로 실험되었다. 첫 번째는 순수 텍스트 입력만을 이용한 “description‑only” 버전이며, 두 번째는 해당 과제와 유사한 기존 논문을 검색해 증거(Zᵢ)를 제공하는 “retrieval‑augmented” 버전이다. 두 접근 모두 ReAct‑style 사고‑검색‑추론 루프를 적용해 LLM이 자체적으로 근거를 찾아가며 점수를 산출한다.

실험 결과, GPT‑5 기반 모델이 2025년 이후 발표된 논문을 테스트셋으로 사용했을 때 MAE 14.6, Pearson r 0.78을 기록했으며, 고신뢰도 예측(예측에 대한 자체 확신이 높은 경우)에서는 MAE가 9.9까지 감소했다. 이는 모델이 자체 신뢰도 신호를 활용해 예측 정확도를 향상시킬 수 있음을 시사한다. 또한, 사전 지식 컷오프(2023‑2024)와 포스트 컷오프(2025) 구간 모두에서 성능 차이가 미미해, 단순 메모리나 데이터 누수에 의존하지 않는 진정한 일반화 능력을 보여준다.

인간 전문가와의 비교에서도 GPT‑5가 13.6 MAE로 인간(19.6 MAE)보다 우수했으며, 이는 대규모 언어 모델이 초기 실험 설계 단계에서 실용적인 의사결정 도구가 될 가능성을 뒷받침한다. 한편, 본 연구는 현재 텍스트 설명만으로는 복잡한 상호작용(예: 멀티모달 입력, 실시간 시스템)까지 포괄하기 어렵다는 한계가 있다. 또한, 정규화된 점수 스케일이 서로 다른 메트릭을 동일하게 취급함으로써 세부적인 성능 차이를 희생할 위험이 존재한다. 향후 연구에서는 (1) 멀티모달 설명 확장, (2) 메트릭별 가중치 적용 정규화, (3) 베이지안 불확실성 추정 등을 통해 예측 신뢰성을 강화하고, 실제 벤치마크 설계 파이프라인에 통합하는 방안을 모색할 수 있다.