대규모 텐서 네트워크 기반 양 클래식 혼합 커널 학습

초록

본 논문은 텐서 네트워크와 다중 GPU 병렬화를 활용해 784 큐비트까지 확장 가능한 양자 커널 시뮬레이터를 구축한다. 패션‑MNIST 데이터를 이용해 고전적 RBF 커널, 순수 양자 커널, 그리고 양-클래식 선형 혼합 커널의 분류 성능을 2~784 차원에서 비교한다. 실험 결과, 혼합 커널이 두 단일 커널을 지속적으로 능가하며 차원이 커질수록 안정적인 정확도를 유지한다. 가중치 α 분석을 통해 128 이하 차원에서는 양자 기여가, 그 이상에서는 고전적 기여가 주도함을 확인했다.

상세 분석

이 연구는 양자 커널의 근본적인 두 가지 한계—노이즈와 측정 샷 제한으로 인한 불확실성, 그리고 큐비트 수가 증가함에 따라 발생하는 지수적 집중 현상—를 완화하기 위해 고전적 커널을 앵커로 삼는 혼합 전략을 제안한다. 텐서 네트워크(TN) 시뮬레이션은 회로를 텐서 그래프로 변환하고 최적의 수축 경로와 슬라이싱을 적용해 메모리와 연산 복잡도를 크게 낮춘다. 특히, 블록‑프로덕트 스테이트(BPS) 형태의 회로 구조를 채택해 지역적 얽힘만을 포함하도록 설계했으며, 이는 TN 시뮬레이션에 매우 친화적이다. 다중 GPU 환경에서 커널 행렬을 블록 단위로 분산 계산함으로써 O(m²) 쌍별 평가 비용을 실용적인 수준으로 감소시켰다.

데이터 전처리는 표준화 → PCA → 최소‑최대 정규화 순으로 진행했으며, PCA 차원을 n으로 제한해 n개의 큐비트와 1:1 매핑을 구현했다. 고전적 커널은 γ 파라미터를 교차 검증으로 최적화한 RBF를 사용했고, 양자 커널은 회전 및 Hadamard 게이트가 교차된 데이터 인코딩 레이어와 제한된 블록 얽힘 레이어로 구성된 U(x) 유닛을 정의했다. 양자 커널 값 K_q(x_i,x_j)=|⟨0|W(x_i,x_j)|0⟩|²는 정확히 텐서 수축을 통해 계산되었으며, 측정 노이즈를 배제한 ‘거의 무노이즈’ 환경을 제공한다.

혼합 커널 K_{q‑c}=αK_q+(1−α)K_c는 5‑fold 교차 검증으로 α를 최적화한다. 실험에서는 45개의 이진 클래스 조합과 10‑클래스 전체 분류를 대상으로 n=2784 범위에서 성능을 측정했다. 결과는 다음과 같다. (1) 훈련 정확도는 차원이 증가할수록 모두 상승하지만, 테스트 정확도는 양자 커널이 n≈128 이후 급격히 감소하는 반면, 고전적 커널은 비교적 평탄하게 유지된다. (2) 혼합 커널은 전 구간에서 최고 평균 테스트 정확도를 기록했으며, 특히 고차원에서 양자 커널의 과적합을 억제한다. (3) n=64에서의 다중 클래스 실험에서도 혼합 커널이 고전적 커널과 동등하거나 약간 우수한 정확도(0.824 vs 0.822)를 보이며, 양자 커널은 0.754에 머물렀다. (4) α에 대한 민감도 분석에서 α≈0.40.6 구간에서 최적 성능이 나타났고, α→1(순수 양자)으로 갈수록 정확도가 감소한다. 이는 양자 특성이 저차원에서는 유용하지만, 고차원에서는 과도한 표현력으로 일반화가 저해된다는 기존 이론과 일치한다.

이 논문은 두 가지 중요한 교훈을 제공한다. 첫째, 텐서 네트워크 기반 시뮬레이션은 실제 NISQ 디바이스가 도달하지 못한 수백 큐비트 규모의 양자 커널을 정확히 평가할 수 있는 실험적 베이스라인을 제공한다. 둘째, 양-클래식 선형 혼합은 양자 커널의 표현력과 고전적 커널의 안정성을 조화시켜, 차원 확장에 따른 성능 붕괴를 효과적으로 방지한다. 이러한 접근은 향후 실제 양자 하드웨어와 결합해 하이브리드 머신러닝 파이프라인을 설계하는 데 유용한 설계 원칙을 제시한다.