평가 인식은 형식 민감성에 불과하다

초록

본 논문은 기존 연구가 제시한 “평가 인식(evaluation awareness)” 신호가 실제 사용 맥락을 반영하는지, 아니면 벤치마크 형식에 대한 민감도에 불과한지를 검증한다. 2×2 교차 설계와 형식 변환(rewrite) 데이터를 이용해 선형 프로브를 학습시킨 결과, 표준 프로브는 벤치마크 구조를 강하게 포착해 자유형 프롬프트에서는 일반화되지 않으며, 형식과 맥락을 분리해 학습한 경우에만 의미 있는 구분이 가능함을 보여준다. 따라서 현재 프로브 기반 방법론은 평가 인식을 정확히 측정하기에 한계가 있다.

상세 분석

이 연구는 “평가 인식”이라는 개념이 실제 모델 내부에 존재하는 고차원적 상황 인지인지, 아니면 단순히 벤치마크 형식에 대한 표면적 패턴 인식인지 구분하고자 한다. 이를 위해 저자들은 네 가지 조건을 교차시킨 2×2 데이터 매트릭스를 구축하였다. ‘Context’는 평가(evaluation)와 배포(deployment)라는 사용 의도를, ‘Format’은 구조화된 벤치마크 형식과 자유형 대화형 형식이라는 표면 구조를 의미한다. 구체적으로 Bench‑Eval(구조화된 평가), Casual‑Deploy(자유형 배포), Casual‑Eval(자유형 평가) 그리고 Bench‑Deploy(구조화된 배포) 네 가지 데이터셋을 만든 뒤, 길이 히스토그램 매칭과 답변 누수(answer leakage) 제거 등 철저한 전처리를 수행하였다.

프로브는 Llama‑3.1‑8B‑Instruct 모델의 중후반 레이어(8–31)에서 추출한 고정된 잔차 스트림 활성값을 사용했으며, 각 레이어마다 로지스틱 회귀를 5‑fold 교차 검증으로 학습시켰다. 두 가지 학습 방식이 비교되었다. 첫 번째는 기존 연구와 동일하게 Bench‑Eval과 Casual‑Deploy만을 대비시킨 ‘단일 대비(single‑contrast)’ 방식이며, 여기서는 형식과 맥락이 완전히 얽혀 있다. 두 번째는 네 가지 조건을 모두 포함해 형식과 맥락을 의도적으로 분리한 ‘쌍별 대비(paired‑decorrelated)’ 방식이다.

실험 결과는 두 방식에서 현저히 다른 행동을 보였다. 단일 대비 프로브는 Bench‑Deploy(구조화된 배포) 데이터를 94.5%의 높은 확률로 ‘평가’로 오분류했으며, 이는 모델이 형식 자체를 평가 신호로 착각한다는 것을 의미한다. 반면, 형식과 맥락을 분리한 쌍별 대비 프로브는 Bench‑Deploy을 7.2%만 오분류하고, Casual‑Eval을 100% 정확도로 ‘평가’로 인식했다. 이는 프로브가 형식에 대한 민감성을 극복하고 실제 맥락 신호를 학습할 수 있음을 보여준다.

또한, 형식 변환 실험에서 배포 프롬프트를 동일한 내용의 학술적 어조로 바꾸어도 프로브의 분류 결과는 거의 변하지 않았으며, 이는 언어적 장르보다는 구조적 템플릿이 주요 결정 요인임을 시사한다. 길이 매칭을 통해 길이 기반 편향도 제거했으며, 답변 누수를 제거한 후에도 오분류율이 오히려 증가하는 현상이 관찰돼, 누수가 오히려 형식 신호를 억제했을 가능성이 제시된다.

전체적으로 이 논문은 현재 널리 사용되는 선형 프로브 기반 평가 인식 검증이 ‘벤치마크 형식’이라는 강력한 혼동 변수를 충분히 통제하지 않을 경우, 모델이 실제 상황을 인식한다는 잘못된 결론을 도출할 위험이 있음을 경고한다. 프로브의 일반화 가능성을 확보하려면 형식과 맥락을 명시적으로 분리한 데이터 설계가 필수적이며, 기존 결과의 해석에 재검토가 필요함을 강조한다.