양자 컴퓨터 성능 평가를 위한 표준 벤치마크 로드맵

초록

본 논문은 고전 컴퓨팅 벤치마크의 역사와 품질 속성을 검토한 뒤, 양자 컴퓨팅 고유의 제약을 분석한다. 기존 양자 메트릭과 벤치마크를 품질 속성(관련성, 재현성, 공정성, 검증성, 사용성)과 비교 평가하고, 향후 표준화된 양자 벤치마크 체계를 구축하기 위한 가이드라인과 SPEQC와 같은 조직 설립 제안을 제시한다.

상세 분석

논문은 먼저 고전 프로세서 벤치마크가 어떻게 SPEC, TPC 등 표준화 기구를 통해 체계화되었는지를 상세히 서술한다. 여기서 강조되는 핵심 품질 속성은 ‘관련성(실제 사용 시나리오와의 연관성)’, ‘재현성(동일 조건에서 일관된 결과 도출)’, ‘공정성(특정 아키텍처에 편향되지 않음)’, ‘검증성(결과의 신뢰성을 독립적으로 확인 가능)’, ‘사용성(실행 비용과 복잡도)’이다. 이러한 속성은 양자 컴퓨팅에도 그대로 적용될 수 있지만, 양자 시스템이 갖는 고유한 특성—예를 들어, 확률적 결과, 디코히런스, 오류율, 하드웨어마다 다른 게이트 집합, 그리고 제한된 큐비트 수— 때문에 고전 벤치마크를 그대로 옮겨 쓰기 어렵다.

논문은 양자 벤치마크가 가져야 할 추가적인 고려사항을 제시한다. 첫째, ‘노이즈 모델링’과 ‘오류 전파’를 명시적으로 포함해야 하며, 둘째, ‘스케일링 가능성’—큐비트 수가 늘어날 때 측정 방법이 유지되어야 함—을 보장해야 한다. 셋째, 양자 알고리즘의 ‘복합성(양자 회로 깊이, 얽힘도 등)’을 정량화하는 메트릭이 필요하다.

이후 기존 양자 메트릭을 검토한다. 대표적인 예로 랜덤 양자 회로(RQC) 퍼포먼스, 퀀텀 볼륨(Quantum Volume), XEB(교차 엔트로피 벤치마크), CLOPS(클래식 연산 대비 양자 연산 속도) 등이 있다. 각각을 위의 다섯 품질 속성과 비교했을 때, 예를 들어 Quantum Volume은 관련성과 스케일링을 어느 정도 만족하지만, 재현성(노이즈 변동에 민감)과 검증성(특정 하드웨어에 종속)에서 한계가 있다. XEB는 검증성이 높지만, 사용성이 낮고 특정 하드웨어에 최적화돼 공정성에 문제가 있다.

마지막으로 저자들은 양자 벤치마크 설계 가이드라인을 제시한다. (1) 벤치마크 목표를 명확히 정의하고, 목표와 메트릭 사이의 매핑을 문서화한다. (2) 테스트 워크로드를 하드웨어 독립적으로 설계하되, 필요 시 ‘노이즈 프로파일’과 ‘게이트 세트 변환’ 레이어를 제공한다. (3) 결과의 재현성을 확보하기 위해 표준화된 초기화·측정 프로토콜과 충분한 샘플 수를 규정한다. (4) 검증 절차를 공개하고, 독립적인 검증 도구와 데이터셋을 제공한다. (5) 사용성을 높이기 위해 오픈소스 구현, 자동화 스크립트, 클라우드 기반 실행 환경을 지원한다.

이와 더불어 논문은 SPEQC(Standard Performance Evaluation for Quantum Computers)라는 국제 표준화 기구 설립을 제안한다. SPEQC는 벤치마크 정의, 인증 절차, 데이터베이스 관리, 그리고 산업·학계·정부 간 협업을 담당하게 된다. 이러한 조직이 존재함으로써 양자 컴퓨팅 분야가 고전 컴퓨팅처럼 투명하고 신뢰할 수 있는 성능 비교 체계를 갖추게 될 것으로 기대한다.