컨텍스트 학습을 위한 실전 벤치마크 CLbench

초록

CLbench은 500개의 복합 컨텍스트와 1,899개의 과제로 구성된 실세계 벤치마크로, 모델이 제공된 컨텍스트에서 새로운 지식을 학습하고 이를 활용해 문제를 해결하는 능력, 즉 “컨텍스트 학습”을 평가한다. 현재 최첨단 언어 모델들은 평균 17.2%의 성공률에 머물며, 최고 성능인 GPT‑5.1조차 23.7%만 해결한다. 이는 기존 평가가 놓친 중요한 능력의 부족을 드러낸다.

상세 분석

본 논문은 기존 언어 모델 평가가 프롬프트 기반 추론과 사전 학습 지식 활용에 초점을 맞추는 반면, 실제 업무에서는 새로운 도메인 지식, 규칙 체계, 절차적 매뉴얼, 실험 데이터에서 도출된 법칙 등 컨텍스트 내부에 포함된 정보를 즉시 학습하고 적용해야 한다는 점을 강조한다. 이를 위해 저자들은 500개의 복합 컨텍스트를 수집·작성했으며, 각 컨텍스트는 평균 3.8개의 과제를 포함하고, 과제당 평균 16.6개의 검증 루브릭을 제공한다. 컨텍스트는 네 가지 대분류(도메인 지식 추론, 규칙 시스템 적용, 절차적 작업 수행, 경험적 발견·시뮬레이션)와 18개의 세부 카테고리로 구분돼 다양한 실세계 시나리오를 포괄한다.

특히 컨텍스트는 사전 학습에 포함되지 않은 새로운 지식으로 구성되며, 이는 가공된 허구 지식, 기존 지식의 변형, 혹은 최신 전문 분야의 최신 자료 등 세 가지 방식으로 생성된다. 이러한 설계는 모델이 기존 지식에 의존하지 못하고, 제공된 텍스트를 실제로 “학습”해야만 문제를 해결할 수 있게 만든다.

평가에서는 10개의 최신 LLM을 대상으로 자동화된 루브릭 기반 채점 시스템을 적용했으며, 모델들의 평균 정답률은 17.2%에 불과했다. 특히 경험적 데이터에서 법칙을 유도하거나 복잡한 시뮬레이션 환경을 다루는 카테고리는 11.8%라는 매우 낮은 성공률을 보였다. 오류 분석 결과, 모델이 컨텍스트 내용을 무시하거나, 긴 컨텍스트를 충분히 추론하지 못하고, 지시사항을 따르는 능력이 부족한 것이 주요 원인으로 지목되었다.

이러한 결과는 현재 LLM이 “컨텍스트 학습”이라는 핵심 능력을 충분히 갖추지 못했음을 명확히 보여준다. 논문은 향후 연구 방향으로 (1) 긴 텍스트에 대한 효율적 추론 메커니즘, (2) 컨텍스트 내 새로운 지식의 인코딩 및 기억 유지, (3) 복합 다단계 작업 흐름을 지원하는 메타 학습 전략 등을 제시한다. CLbench은 이러한 연구를 촉진하기 위한 표준 테스트베드로서, 모델이 인간과 유사하게 실시간으로 변화하는 정보에 적응하고 학습할 수 있는 기반을 마련한다는 점에서 큰 의의를 가진다.