LLM 대전 SKATE – 약한 모델이 강한 모델을 구분하는 새로운 자동 평가 프레임워크

초록

SKATE는 LLM이 서로에게 검증 가능한 코딩‑출력 예측(COP) 문제를 내고 풀게 하여, 인간 개입 없이 자동으로 모델을 순위 매긴다. TrueSkill 기반 점수 체계와 질문 다양성·정확성 제어를 통해 약한 모델도 강한 모델을 일관되게 구분하고, 모델이 자신의 강점에 맞는 질문을 스스로 만들며, 미세한 능력 차이를 자동으로 드러낸다.

상세 분석

본 논문은 평가를 “게임”으로 전환함으로써 LLM의 확장성과 객관성을 동시에 확보한다는 점에서 혁신적이다. 먼저 모델을 질문 생성자와 답변자로 동시에 동작하게 함으로써, 질문의 난이도와 형태가 자동으로 모델의 현재 능력에 맞춰 조정된다. 검증 가능한 과제로 COP를 선택한 이유는 코드 실행 샌드박스를 통해 정답을 확정할 수 있어 인간 판정의 편향을 배제할 수 있기 때문이다. 질문 생성 단계에서는 3회 시도 안에 실행 오류가 없고, 9개의 독창적인 오답(디스트랙터)을 포함하며, 임베딩 기반 코사인 유사도(d_thresh = 0.336)로 이전 질문과의 중복을 방지한다. 이는 모델이 동일한 능력에만 머무르지 않고 다양한 기능을 탐색하도록 유도한다.

답변 평가에서는 옵션 순서와 내용에 민감한 MCQ의 특성을 보완하기 위해, 각 질문에 대해 정답 옵션을 무작위로 섞은 뒤 여러 번 샘플링하고, 표준편차가 σ* = 0.05 이하가 될 때까지 반복한다. 이렇게 얻은 p(correct)는 0~1 사이의 확률값으로, TrueSkill 알고리즘에 입력되어 모델 간 상대적·절대적 실력을 추정한다. TrueSkill은 반복 경기에서 승패 확률을 베이지안 방식으로 업데이트하므로, 초기 불확실성이 큰 상황에서도 점차 안정된 순위가 형성된다.

실험 결과는 세 가지 핵심 인사이트를 제공한다. 첫째, 약한 모델조차도 강한 모델을 일관되게 낮은 p(correct)로 평가해 구분 능력이 있음을 보였다. 이는 “약한 모델이 강한 모델을 평가한다”는 기존의 스케일링 가정에 반증을 제공한다. 둘째, 모델은 자신이 잘 풀 수 있는 질문을 선호하는 자기‑편향(self‑preferring) 행동을 보였으며, 이는 프롬프트에 명시된 보상(+1 for valid question, +1 for correct answer) 구조가 효과적으로 작동했음을 의미한다. 셋째, 질문 다양성 측정과 클러스터링을 통해 동일한 능력군에 속하는 질문이 자동으로 그룹화되며, 서로 다른 능력 차이를 드러내는 “차별적 질문”이 자동으로 추출된다.

한계점으로는 현재 실험이 MCQ 형태에 국한돼 있어 개방형 생성·코드 작성 등 다른 형태의 능력은 충분히 측정하지 못한다는 점, 디스트랙터 생성 과정이 모델에 따라 품질 편차가 발생할 수 있다는 점, 그리고 코드 실행 샌드박스의 안전성·속도 문제가 대규모 적용 시 병목이 될 수 있다는 점을 들 수 있다. 향후 연구에서는 다중 선택지를 넘어 서술형 답변 검증, 자동 디스트랙터 품질 향상, 그리고 다양한 검증 가능한 과제(예: 수학 증명, 게임 트리 탐색)로 확장하는 방안을 모색해야 한다.

전반적으로 SKATE는 LLM 자체가 평가자를 겸함으로써 평가 비용을 크게 낮추고, 모델 간 미세한 성능 차이를 자동으로 드러내는 스케일러블한 프레임워크를 제시한다. 이는 빠르게 진화하는 LLM 생태계에서 지속 가능한 벤치마크 설계에 중요한 전환점을 제공한다.