양자 알고리즘 설계용 대규모 벤치마크 데이터셋 QCircuitBench

초록

QCircuitBench는 LLM이 양자 알고리즘을 설계·구현하도록 평가하기 위해 만든 최초의 대규모 데이터셋이다. 3개의 작업군(오라클 구축, 알고리즘 설계, 무작위 회로 합성)과 25개의 대표 알고리즘을 포함해 총 120 290개의 샘플을 제공한다. Qiskit·OpenQASM·Cirq 3가지 플랫폼을 지원하고, 문제 설명, 회로 코드, 고전 후처리, 자동 검증 함수 등 7가지 구성요소를 체계화했다. 실험에서는 LLM이 일관된 오류 패턴을 보이며, 파인튜닝이 반드시 few‑shot보다 우수하지 않다는 흥미로운 현상을 발견했다.

상세 분석

본 논문은 양자 알고리즘 설계라는 고유의 특성을 고려한 데이터셋 구축 방식을 제시한다는 점에서 학술적·실용적 의미가 크다. 첫째, 양자 알고리즘을 ‘코드 생성’ 문제로 재정의함으로써 자연어·수식의 모호성을 회피하고, 자동 검증이 가능한 형식(OpenQASM 3.0, Python 후처리)으로 변환한다. 이는 기존 양자 회로 벤치마크(QASMBench 등)가 갖는 “알고리즘 전체 흐름을 포괄하지 못한다”는 한계를 극복한다. 둘째, 오라클 구현, 고전 후처리, 쿼리 복잡도(샷 수) 등 양자 알고리즘 설계에 필수적인 요소를 명시적으로 포함시켜 LLM이 실제 연구 단계에서 요구되는 전 과정을 학습·평가할 수 있게 한다. 셋째, 데이터 규모와 다양성(기본 프리미티브부터 Shor, VQA, 양자 통신 프로토콜까지) 및 3가지 작업군은 모델의 일반화 능력을 폭넓게 테스트한다. 특히 무작위 회로 합성 작업은 양자 우월성 시연에 쓰이는 클리포드·유니버설 게이트 집합을 활용해 실제 NISQ 디바이스와의 연계 가능성을 높인다. 넷째, 자동 검증 파이프라인은 회로 문법 검사와 기능 테스트를 결합해 인간 개입 없이 대규모 평가를 가능하게 한다. 이는 LLM 연구에서 흔히 발생하는 “코드가 실행 가능한지 확인 어려움”을 해결한다. 다섯째, 실험 결과는 LLM이 특정 오류(예: 오라클 입력/출력 매핑 실수, 측정 후 처리 로직 누락)를 반복한다는 패턴을 드러냈으며, 파인튜닝이 반드시 few‑shot보다 성능을 향상시키지는 못한다는 점을 강조한다. 이는 양자 알고리즘 설계가 단순히 데이터 양이 아니라, 물리적 제약과 수학적 정밀성을 동시에 만족해야 함을 시사한다. 마지막으로, 데이터셋 공개와 GitHub 레포지토리 제공은 커뮤니티 기반 확장과 재현성을 보장한다. 전체적으로 QCircuitBench는 LLM 기반 양자 알고리즘 자동화 연구의 기초 인프라를 제공하며, 향후 양자‑AI 융합 분야의 표준 벤치마크로 자리매김할 잠재력이 있다.