다중 기준 벤치마크의 가능성 탐구: Arrow 정리를 넘어

초록

본 논문은 정확도·공정성·효율성 등 여러 메트릭을 동시에 고려하는 현대 벤치마크를 사회 선택 이론의 관점에서 재구성한다. Arrow의 불가능정리와 달리, 저자는 메트릭이 생성하는 순위가 단일첨두성, 군분리성, 거리제한성 같은 구조적 제한을 만족할 때 일관되고 안정적인 전체 순위가 가능함을 증명한다. HELM MMLU 데이터를 실험적으로 분석해 이러한 구조가 실제 데이터셋에 어느 정도 존재하는지를 확인하고, 조건이 충족될 경우 기존 평균·Borda 방식보다 해석 가능하고 변동에 강인한 순위를 제공한다.

상세 분석

논문은 먼저 다중 기준 벤치마킹을 “각 메트릭이 모델에 대해 만든 선호 순위”라는 투표로 보는 사회 선택 문제로 정형화한다. 여기서 벤치마크 연산자 B는 여러 메트릭이 만든 순위 프로필을 하나의 전체 순위로 합치는 함수이며, 가장 기본적인 형태로 쌍별 다수결(M) 방식을 채택한다. 전통적인 Arrow의 불가능정리는 모든 가능한 순위 조합(보편적 도메인)에서 효율성, 독립성, 비독재성 등을 동시에 만족할 수 없다고 주장한다. 그러나 실제 벤치마크에서는 메트릭 간에 무작위적인 순위가 아니라 일정한 구조적 패턴이 존재할 가능성이 크다.

저자는 세 가지 도메인 제한을 제시한다. 첫째, 단일첨두성(single‑peaked) 은 모델들을 일차원 축에 배치했을 때 각 메트릭이 하나의 최고점(첨두)만을 갖고, 그 양쪽으로 갈수록 선호도가 감소한다는 성질이다. 이 경우 쌍별 다수결은 사이클을 만들 수 없으며, Condorcet 승자를 보장한다. 둘째, 군분리성(group‑separability) 은 모델 집합을 서로 독립적인 하위군으로 나눌 수 있어, 각 메트릭이 군 내부에서는 일관된 순위를, 군 간에는 별도의 비교 규칙을 가진다. 이 구조는 다수결이 군 내부에서는 완전 순서를 형성하고, 전체 순서는 군 간 위계에 따라 결정되므로 안정성을 확보한다. 셋째, 거리제한성(distance‑restricted) 은 각 메트릭이 만든 순위가 서로 일정한 편집거리(예: 케엔-다이어 상관계수) 이하로 제한된 경우를 말한다. 이러한 제한 하에서는 평균 순위나 Borda 점수와 같은 선형 집계가 순환을 일으키지 않으며, 새로운 모델이 추가되더라도 기존 모델 간 순위가 뒤바뀌는 현상이 크게 감소한다.

이론적 결과는 각각의 제한이 존재할 때 쌍별 다수결 연산자 M이 일관성(coherence), 안정성(stability), 비독재성(non‑dictatorship), 독립성(independence of irrelevant alternatives) 등을 만족한다는 것을 증명한다. 특히 단일첨두성 하에서는 Condorcet 승자가 유일하게 존재하고, 군분리성 하에서는 전체 순위가 군 구조에 따라 계층적으로 구성되며, 거리제한성 하에서는 순위 변동 폭이 메트릭 간 거리 상한에 의해 엄격히 제한된다.

실험에서는 HELM MMLU의 57개 주제별 데이터셋과 7개 언어 모델을 대상으로, 정확도·추론 시간·출력 길이 등 세 메트릭을 사용해 순위 프로필을 구축했다. 각 주제에 대해 단일첨두성 검정을 수행했을 때, “Business Ethics”와 같은 일부 주제는 명확한 단일첨두 구조를 보였으나 “Abstract Algebra”와 같은 주제는 다중 첨두 혹은 비구조적 순위를 나타냈다. 군분리성은 모델을 “대형·중형·소형” 등 규모 기반 군으로 나누어 검증했으며, 대부분의 주제에서 군 내부 순위가 일관적이었음이 확인되었다. 거리제한성은 메트릭 간 케엔‑다이어 상관계수를 이용해 평가했으며, 평균 상관계수가 0.85 이상인 경우가 다수였으므로 실제 벤치마크 환경이 이론적 가정에 부합함을 시사한다.

또한, 기존 평균‑rank(Borda) 방식과 비교했을 때, 제안된 구조적 제한을 활용한 쌍별 다수결은 모델 추가·제거에 대한 순위 변동이 현저히 적으며, 사이클 발생 빈도가 크게 감소한다. 이는 실무에서 모델 선택 시 “불안정한 순위 변동”에 대한 위험을 줄이고, 정책 입안자나 연구자가 보다 신뢰할 수 있는 비교 기준을 제공한다는 실용적 의미를 가진다.

결론적으로, 논문은 Arrow의 불가능정리가 전제하는 보편적 도메인이 실제 벤치마크에서는 과도하게 일반적임을 지적하고, 단일첨두성·군분리성·거리제한성이라는 현실적인 구조적 가정을 통해 다중 기준 벤치마크에 의미 있는 순위 집계가 가능함을 입증한다. 이는 향후 벤치마크 설계 시 메트릭 선택과 데이터셋 구성 단계에서 이러한 구조를 의도적으로 확보하도록 설계하는 새로운 패러다임을 제시한다.