프론티어CS: 컴퓨터 과학 최전선 문제를 위한 새로운 벤치마크

초록

프론티어CS는 156개의 오픈‑엔드 컴퓨터 과학 문제를 모아 만든 벤치마크로, 최적 해가 알려지지 않은 상황에서도 자동 평가가 가능한 실행 가능한 코드를 요구한다. 알고리즘·연구 두 트랙으로 구성되며, 인간 전문가와 최신 LLM을 비교했을 때 모델은 아직 인간 수준에 크게 못 미치고, 추론 예산을 늘려도 한계가 드러난다.

상세 분석

프론티어CS는 기존 코딩·수학 벤치마크가 “정답이 하나이고 통과/실패” 형태에 머물렀던 한계를 극복한다. 핵심 설계 원칙은 (1) 전역 최적 해가 알려지지 않거나 실용적으로 구할 수 없는 문제를 선택하고, (2) 제한된 실행 시간·메모리 내에서 프로그램을 실행해 정량적 점수를 부여하도록 자동 평가자를 제공한다는 점이다. 이를 위해 저자들은 107개의 알고리즘 문제와 49개의 연구 문제를 각각 ‘구성‑최적화‑인터랙티브’와 ‘OS·HPC·AI·DB·PL·Security’ 도메인으로 분류하고, 각 문제마다 문제 제안·구현·리뷰 3단계의 엄격한 큐레이션 파이프라인을 적용했다.

알고리즘 트랙은 기존 프로그래밍 대회 문제를 변형해 부분 점수 체계를 도입함으로써 단일 최적 해가 존재하지 않도록 설계했다. 예를 들어 폴리오미노 포장 문제는 최적 밀도를 알 수 없지만, 생성된 배치가 겹치지 않으며 그 밀도를 점수로 환산한다. 연구 트랙은 실제 학술·산업 현장의 오픈‑엔드 과제를 가져와 자동 검증 스크립트를 만든다. 모든 문제는 인간 전문가가 만든 레퍼런스 솔루션을 제공하고, 이 솔루션이 현재 가장 강력한 LLM(GPT‑5 등)보다 현저히 우수하도록 보장한다.

실험 결과는 두드러진 몇 가지 인사이트를 제공한다. 첫째, 최신 ‘프론티어 추론 모델’이라도 인간 전문가에 비해 알고리즘 트랙에서는 평균 30% 이하, 연구 트랙에서는 20% 이하의 점수만을 기록한다. 둘째, 컨텍스트 길이·추론 단계 수 등 단순히 연산 자원을 늘리는 방식은 어려운 문제에서 수렴 효과가 급격히 감소한다. 셋째, 모델은 종종 “동작 가능한 코드”를 생성하는 데 과도하게 집중해, 실제 최적화 목표(예: 밀도, 비용, 쿼리 수)를 충분히 탐색하지 못한다. 이는 현재 LLM이 ‘코드 작성’ 능력은 갖추었지만, ‘알고리즘 설계·전략 탐색’ 단계에서 인간 수준의 창의성과 탐색 능력이 부족함을 의미한다.

프론티어CS는 이러한 한계를 정량적으로 드러내는 동시에, 자동 평가와 점수 기반 보상이 가능한 환경을 제공함으로써 강화학습·셀프플레이 등 새로운 학습 패러다임을 적용할 수 있는 테스트베드 역할을 한다. 향후 연구는 (1) 더 정교한 보상 설계로 탐색‑활용 균형을 맞추고, (2) 메타러닝·프롬프트 엔지니어링을 통해 문제 정의 단계부터 모델이 전략적 사고를 할 수 있게 하는 방안을 모색해야 한다.