전문가 수준 과학 과제 수행을 위한 AI 벤치마크 FrontierScience

초록

FrontierScience는 국제 과학 올림피아드 문제와 박사 수준 연구 과제를 결합한 두 트랙(Olympiad, Research)으로 구성된 새로운 벤치마크이다. 올림피아드 트랙은 국제 메달리스트가 직접 만든 고난이도 폐쇄형 문제를, 연구 트랙은 PhD 과학자가 설계한 개방형 연구 서브태스크와 10점 루브릭을 제공한다. 초기 평가에서 GPT‑5.2가 올림피아드 77 %, 연구 25 % 점수로 최고 성능을 보였으며, 기존 다지선다형·지식 기반 벤치마크와 차별화된 평가 체계를 제시한다.

상세 분석

본 논문은 AI 모델의 ‘전문가 수준 과학적 추론’ 능력을 측정하기 위해 기존 벤치마크가 갖는 한계를 명확히 짚고, 두 가지 상보적인 트랙을 설계하였다. Olympiad 트랙은 물리·화학·생물학 분야의 국제 올림피아드 메달리스트와 국가대표 코치 42명이 공동으로 500여 개 이상의 문제를 제작·검증한 뒤, 공개 금본부에 100문을 선정하였다. 문제는 모두 새롭게 구성된 원본이며, 풀이에 필요한 모든 변수와 단위가 명시돼 있어 자동 채점이 가능하도록 설계되었다. 이는 기존 OlympiadBench이 기존 시험 문제를 재활용해 오염 위험이 존재했던 점을 크게 개선한다.

Research 트랙은 45명의 박사급 연구자(포스트닥, 교수, 박사과정)와 협업해 200여 개의 서브태스크를 만들고, 60개를 금본부로 공개하였다. 각 과제는 최소 3~5시간의 실험·계산 작업을 요구하도록 설계되었으며, 10점 만점의 세분화된 루브릭을 제공한다. 루브릭 항목은 ‘중간 단계의 식 제시’, ‘핵심 가설 서술’, ‘결과 해석’ 등 구체적 패스/페일 기준을 포함해, 최종 정답뿐 아니라 과정 전체를 평가한다. 자동 채점을 위해 GPT‑5를 ‘high reasoning effort’ 모드로 활용한 모델 저지 시스템을 구축했으며, 저지 프롬프트는 부록에 상세히 제시된다.

실험에서는 GPT‑4o, GPT‑5, GPT‑5.1, GPT‑5.2, Claude Opus 4.5, Gemini 3 Pro 등 9개 최신 모델을 평가했다. Olympiad에서는 전체 평균 68 % 수준이었으며, 특히 화학 분야에서 73 %로 가장 높은 성능을 보였다. Research에서는 전반적으로 낮은 점수(평균 22 %)가 관찰됐으며, GPT‑5.2가 25 %로 최고였지만 여전히 인간 전문가 수준에 크게 미치지 못한다. 오류 분석 결과는 (1) 논리적 흐름 실수, (2) 전문 개념 오해, (3) 계산 실수, (4) 사실 부정확성 등 네 가지 주요 패턴으로 요약된다.

논문은 또한 한계점을 솔직히 제시한다. 첫째, 연구 트랙이 ‘문제 진술이 제한된’ 형태라 아이디어 발굴·가설 설정 같은 창의적 단계는 평가되지 않는다. 둘째, 루브릭 기반 자동 채점은 인간 평가와 완전 일치하지 않으며, 저지 모델 자체의 신뢰성에 의존한다. 셋째, 현재는 텍스트 전용이며 이미지·동영상·실험 장비와 같은 다중모달 입력을 다루지 못한다. 마지막으로 인간 베이스라인이 부재해 모델 성능을 절대적 기준과 비교하기 어렵다. 이러한 제한에도 불구하고, FrontierScience는 과학적 추론 능력을 정량화하는 최초의 대규모, 검증된, 원본 기반 벤치마크로서, 향후 멀티모달·창의적 연구 과제까지 확장될 여지를 제공한다.