스프레드시트 아레나: LLM 스프레드시트 생성 선호도 해부

초록

본 논문은 대형 언어 모델(LLM)이 자연어 프롬프트를 기반으로 완전한 스프레드시트 워크북을 생성하도록 평가하는 새로운 플랫폼인 SpreadsheetArena를 소개한다. 4,357개의 블라인드 쌍대 비교를 통해 16개 모델의 선호도 기반 Elo 순위를 산출하고, 스타일·구조·기능적 특성이 도메인별로 어떻게 차이 나는지를 분석한다. 특히 금융 분야에서는 고성능 모델이라도 도메인 표준을 일관되게 따르지 못함을 지적한다.

상세 분석

논문은 먼저 스프레드시트 생성이라는 과제를 “구조적·다차원적”인 출력 특성을 가진 새로운 벤치마크로 정의한다. 기존 코드·SQL·표 생성 작업과 달리 셀 간 그래프형 의존성, 포맷팅, 사용자 인터랙션까지 포함되는 복합적인 품질 기준이 존재한다는 점을 강조한다. 이를 평가하기 위해 저자들은 SpreadsheetArena라는 웹 기반 플랫폼을 구축했으며, 사용자는 프롬프트를 제출하고 네 개의 모델이 만든 워크북을 블라인드 방식으로 2:2 매치업하여 선호도를 표시한다. 투표는 ‘선호’, ‘동등’, ‘불만족’ 세 옵션을 제공한다.

수집된 4,357개의 매치업 데이터는 Bradley‑Terry 모델을 이용해 각 모델의 승률을 추정하고, 이를 GPT‑4o(1000점) 기준의 Elo 점수로 변환한다. 기본 Elo 순위에서는 Claude 시리즈가 전반적으로 우수한 것으로 나타났으며, Gemini와 Grok 계열 모델이 뒤처진다. 그러나 저자들은 단순 승률이 모델의 실제 유용성을 완전히 반영하지 못한다는 점을 지적한다. 따라서 “Feature‑augmented Bradley‑Terry” 모델을 도입해 워크북의 가시적 특성(시트 수, 포맷팅 다양성, 채워진 셀 수, 수식 개수 등)을 차이값으로 회귀에 포함시켰다. 이 조정은 도메인별로 중요한 특성이 크게 달라짐을 보여준다. 예를 들어, 금융 프롬프트에서는 ‘색상 코딩 일관성’과 ‘한 행당 하나의 수식’ 규칙이 선호도에 큰 영향을 미쳤지만, 창의적 디자인 프롬프트에서는 셀 색상 다양성과 시각적 레이아웃이 더 중요한 요인으로 작용했다.

또한, 모델별 실패 모드를 정성적으로 분석했다. 일부 모델은 수식 오류는 적지만 포맷팅이 전혀 없거나 과도하게 복잡한 레이아웃을 생성한다. 반대로 다른 모델은 시각적 스타일은 풍부하지만 수식이 잘못 연결돼 실행 오류를 일으킨다. 특히 금융 분야 전문가 평가에서는 최고 순위 모델조차도 ‘한 셀당 하나의 수식’ 원칙 위반, 부적절한 색상 사용, 과도한 하드코딩 등 도메인 베스트 프랙티스를 충족시키지 못함을 확인했다.

이러한 결과는 LLM을 구조화된 아티팩트 생성에 활용할 때, 단순 RLHF 기반 보상 모델이 아닌, 도메인 특화된 선호도와 스타일 피드백을 포함한 다중 목표 최적화가 필요함을 시사한다. 저자들은 데이터셋(프롬프트·워크북·투표) 공개와 함께, 향후 연구가 “프리퍼런스 기반 후학습”을 통해 기능·형식·도메인 규칙을 동시에 만족시키는 모델을 개발하는 방향으로 나아가길 기대한다.