LLM의 개념 마스터리 검증: 다중 에이전트 언더커버 게임 기반 CK‑Arena 벤치마크

초록

CK‑Arena는 언더커버(Undercover) 사회추리 게임을 활용해 LLM이 개념을 구분·연결·설명하는 능력을 동적·다중 에이전트 환경에서 평가한다. 게임 승률·생존율·텍스트 품질을 지표로 삼고, 플레이 로그를 자동으로 QA 데이터셋으로 전환해 세부 진단을 가능하게 한다. 실험 결과, 모델별·카테고리별 개념 이해도는 전체 성능과 일치하지 않으며, 최신 대형 모델이라도 미묘한 개념 차이를 파악하는 데 한계가 있음을 보여준다.

상세 분석

본 논문은 기존 정적 QA 벤치마크가 개념적 추론을 충분히 측정하지 못한다는 문제점을 짚고, 동적 상호작용을 통한 평가 프레임워크를 제안한다. 핵심 아이디어는 ‘언더커버’ 게임을 메타게임으로 삼아, 동일 카테고리 내에서 의미적으로 근접하지만 미묘히 다른 두 개념을 각각 시민과 언더커버에게 할당한다는 점이다. 시민은 공통 개념을 설명하고, 언더커버는 자신의 개념을 노출하지 않으면서도 설득력 있는 설명을 생성해야 한다. 이 과정에서 모델은 (1) 개념‑특징 매핑: 할당된 개념의 핵심 속성을 추출·표현, (2) 개념‑개념 추론: 타 플레이어의 발언을 분석해 상대 개념과의 유사·차이점을 추정, (3) 전략적 언어 선택: 자신의 정체를 숨기기 위해 설명의 구체성과 모호성을 조절한다는 복합적인 인지 작업을 수행한다.

데이터 구축 단계에서는 고빈도 어휘에서 의미적 근접성을 기준으로 529개의 개념 쌍을 선정하고, 실험에선 464개의 게임 인스턴스를 12개 분야(식품·지형·동물·인공물·도구·인물·식물·스포츠·문구·전자·의류·잡화)로 분류하였다. 각 게임은 6명 에이전트(시민 4명, 언더커버 2명)로 구성되며, 라운드당 짧은 설명을 교환하고 투표·제거 과정을 반복한다.

평가 지표는 크게 두 축으로 나뉜다. 플레이어‑레벨 메트릭은 승률(Win Rate)과 생존율(Survival Rate)로, 모델이 주어진 역할을 얼마나 성공적으로 수행했는지를 정량화한다. 텍스트‑레벨 메트릭은 설명의 정확성·다양성·전략적 적합성을 자동화된 언어 평가 모델(LM‑judge)과 인간 라벨링을 통해 점수화한다. 또한, 게임 로그에서 추출한 질문‑답변 쌍을 활용해 교차‑개념 추론, 미세 비교, 이상치 탐지 등 3가지 세부 과제로 구성된 스냅샷 QA 벤치마크를 자동 생성한다. 이 QA 성능과 게임 승률 사이의 스피어만 상관계수(ρ=0.89)는 동적 게임 결과가 실제 개념 지식과 높은 연관성을 가짐을 입증한다.

실험에서는 GPT‑4, Claude‑2, LLaMA‑2‑70B 등 최신 모델들을 다중 라운드에 걸쳐 평가하였다. 결과는 (1) 카테고리 의존성: 동물·식물 분야에서는 비교적 높은 승률을 보였지만, 추상 명사·부사 영역에서는 성능이 급격히 저하되었다. (2) 모델 규모와 개념 이해의 불일치: 파라미터 수가 큰 모델이 반드시 미묘한 개념 차이를 정확히 구분하는 것은 아니었으며, 일부 중형 모델이 특정 카테고리에서 더 높은 정확도를 기록했다. (3) 전략적 언어 사용의 차이: 일부 모델은 과도하게 구체적인 설명을 제공해 언더커버 역할을 쉽게 드러냈고, 반면 다른 모델은 지나치게 모호해 승률은 낮지만 생존율은 높았다. 이러한 현상은 모델 내부의 개념 표현 방식(예: 토큰‑레벨 연관성 vs. 의미‑레벨 구조)과 프롬프트 설계에 크게 좌우된다는 점을 시사한다.

논문은 또한 확장성을 강조한다. 새로운 도메인(예: 의료·법률)용 개념 쌍을 추가하거나, 언더커버 게임 규칙을 변형해 전략적 요소를 강화하는 등, CK‑Arena는 지속적인 데이터 갱신과 자동 QA 생성 파이프라인을 통해 ‘재생 가능’한 벤치마크로서의 가치를 제공한다.

요약하면, CK‑Arena는 (1) 동적·다중 에이전트 상호작용을 통해 개념적 추론을 정밀하게 측정, (2) 게임 로그를 활용한 자동 QA 생성으로 세부 진단 가능, (3) 모델별·카테고리별 강점·약점을 체계적으로 드러내는 종합 평가 프레임워크를 제공한다는 점에서 기존 정적 벤치마크를 뛰어넘는 혁신적인 접근이라 할 수 있다.