활성도 기반 난이도 인식 셀프‑컨시스턴시

초록

본 논문은 대형 언어 모델의 내부 피드포워드 뉴런 활성도를 활용해 문제 난이도를 즉시 추정하는 경량 프로브를 제안한다. 이 프로브는 추가 토큰 생성이나 모델 호출 없이 단일 순전파만으로 난이도를 판단하고, 난이도에 따라 셀프‑컨시스턴시(SC)의 샘플 수를 동적으로 조절한다. 실험 결과, 기존 SC 대비 최대 87 %·DSC 대비 40 %까지 추론 비용을 절감하면서도 정확도는 유지한다.

상세 분석

ACTSC는 기존 난이도‑적응 SC(DSC)의 두 가지 주요 한계를 극복한다. 첫째, DSC는 사전 샘플링을 통해 문제 난이도를 추정해야 하며, 이는 새로운 데이터셋마다 추가 모델 호출과 토큰 생성 비용을 발생시킨다. 둘째, 사전 추정 과정이 전체 파이프라인에 병목을 만든다. ACTSC는 이러한 과정을 완전히 배제하고, 모델 내부의 피드포워드 네트워크(FFN) 뉴런 활성도를 난이도 신호로 활용한다. 구체적으로, 저자들은 난이도 라벨이 부여된 데이터셋(MA‑TH)을 이용해 “난이도‑민감 뉴런”(DSN)을 선정한다. 각 뉴런 n에 대해 gap(n,θ)=E