양자 회로 컴파일 품질을 위한 새로운 평가 지표와 머신러닝 접근법

초록

본 논문은 기존의 게이트 수, 회로 깊이, 기대 충실도, ESP와 같은 전통적인 품질 지표가 실제 양자 하드웨어에서의 실행 품질과 약한 상관관계를 보임을 실험적으로 입증한다. 이를 바탕으로 캘리브레이션 데이터 없이도 회로 특성을 종합적으로 평가할 수 있는 머신러닝 기반 새로운 품질 지표를 제안하고, 평균 49% 향상된 상관성을 확인한다.

상세 분석

양자 회로 컴파일 과정은 매핑, 합성, 최적화 등 여러 단계로 구성되며, 각 단계마다 선택 가능한 패스 조합이 무수히 많다. 기존 컴파일러는 게이트 수·회로 깊이·예상 충실도·Estimated Success Probability(ESP)와 같은 정량적 지표를 최소화하거나 최대화하는 방향으로 최적화를 수행한다. 그러나 이러한 지표는 하드웨어 고유의 크로스토크, 비균일한 CNOT 오류, 비동기적인 대기 시간 등 복합적인 오류 메커니즘을 충분히 반영하지 못한다. 논문은 실제 IBM·Rigetti 등 여러 상용 QPU에서 다양한 응용 회로를 실행하고, 노이즈 없는 시뮬레이션 결과와 비교해 Hellinger 거리로 실행 품질을 정량화하였다. Pearson 상관 분석 결과, 게이트 수와 회로 깊이는 -0.32, -0.35 정도의 낮은 음의 상관을 보였으며, 기대 충실도와 ESP는 각각 0.41, 0.45 수준에 불과했다. 즉, 기존 지표가 실제 오류와 거의 선형 관계를 이루지 못한다는 점을 명확히 드러냈다.

이에 저자들은 회로의 토폴로지(연결도, 평균 경로 길이), 게이트 종류 비율, 동시 실행 가능한 게이트 수, 물리적 레이아웃에 따른 거리 분포 등 20여 개의 특징을 추출하고, Gradient Boosting Decision Tree(GBDT) 기반 회귀 모델을 학습시켰다. 중요한 점은 입력 특징이 회로 깊이에 의존하지 않도록 설계했으며, 캘리브레이션 파라미터(T1, T2, 게이트/측정 오류율) 없이도 학습이 가능하도록 데이터 전처리를 수행했다. 모델은 5‑fold 교차 검증을 통해 평균 Pearson r=0.78을 달성했으며, 이는 기존 최고 지표인 ESP( r≈0.45)보다 49% 높은 상관성을 의미한다. 또한 SHAP 값을 활용해 특징 중요도를 해석한 결과, “동시 실행 가능한 CNOT 수”, “인접 큐비트 간 평균 거리”, “단일‑다중 게이트 비율” 등이 실행 품질에 가장 큰 영향을 미치는 요인으로 밝혀졌다.

실험에서는 동일 회로에 대해 기존 지표 기반 최적화와 제안 모델 기반 최적화를 비교했으며, 후자는 평균 12% 낮은 Hellinger 거리와 8% 높은 성공 확률을 기록했다. 특히 크로스토크가 심한 레이아웃에서는 기존 지표가 오히려 성능을 저하시킬 수 있음을 보여준다. 이러한 결과는 컴파일러 설계 시 단순히 게이트 수를 줄이는 것이 아니라, 하드웨어 특성을 정량적으로 반영한 복합 지표가 필요함을 시사한다.