소규모 데이터로 구현한 양자 커널 학습 모델

초록

본 연구는 소량의 사과 이미지 데이터를 이용해 양자 커널을 적용한 서포트 벡터 머신(SVM) 모델을 구축하고, 회전·제어 게이트 조합이 성능에 미치는 영향을 실험적으로 분석한다. 시뮬레이터와 실제 IBM 양자 컴퓨터에서 F1‑Score와 AUC를 평가한 결과, CNOT 및 Toffoli 게이트를 포함한 양자 커널이 전통적인 RBF 커널보다 우수한 판별력을 보였으며, 회로 깊이가 증가하면 잡음이 급증한다는 한계도 확인하였다.

상세 분석

이 논문은 양자 커널 머신(QKM)의 실용성을 검증하기 위해, 실제 산업 현장에서 발생할 수 있는 결함 탐지를 목표로 작은 규모의 이미지 데이터셋을 구축하였다. 데이터는 사과 500개 중 33개의 보이지 않는 줄기 균열(바인 크랙) 이상을 포함한 결함 샘플과 정상 샘플을 각각 24개씩 훈련, 9개씩 테스트로 무작위 추출한 66개의 이미지로 구성된다. 원본 해상도(4032×3024)는 학습에 비현실적이므로 1/10 규모(403×302)로 다운샘플링하고, 전처리 후 이진화된 이미지에서 PCA를 수행해 주요 특징을 추출하였다. PCA의 누적 기여율(CCR) 0.85 이상을 만족하는 10개의 주성분을 특징 벡터로 사용했으며, 첫 번째, 두 번째, 세 번째 성분이 각각 외형, 갈변, 내부 균열을 의미한다는 도메인 해석이 가능했다.

양자 커널 설계는 총 11가지(QK0~QK10) 회로를 제안한다. QK0·QK1은 단순 회전(H, Ry)만 사용한 베이스라인이며, QK2·QK5는 계단식(staircase) 구조의 제어 Ry·Rx 게이트를 도입한다. QK6·QK9는 CNOT 게이트를 포함해 얽힘을 강화했으며, QK10은 CNOT을 Toffoli(제어-제어 NOT) 게이트로 교체해 깊이와 복잡성을 크게 늘렸다. 각 회로는 IBM Qiskit의 ibm_qasm_simulator에서 시뮬레이션한 뒤, 실제 ibmq_Osaka 디바이스에서 검증하였다.

성능 평가는 두 가지 지표로 진행되었다. 첫째는 F1‑Score로, 특히 특징 수(주성분 개수)가 3에서 7로 증가할 때 양자 커널의 변동을 관찰했다. QK0·QK5는 특징 수가 늘어나도 F1이 거의 정체되는 반면, QK7·QK10은 CNOT·Toffoli의 얽힘 효과 덕분에 특징 수가 증가함에 따라 점진적인 향상을 보였다. 특히 QK9와 QK10은 RBF 대비 F1‑Score가 0.3 이상 상승하는 최고의 성능을 기록했다. 둘째는 ROC‑AUC로, 시뮬레이터에서는 QK9가 0.90, QK10이 0.89로 RBF(0.62)를 크게 앞섰다. 그러나 실제 양자 컴퓨터에서는 QK10의 AUC가 0.59로 급격히 떨어져, 회로 깊이(≈273게이트)에서 누적 오류가 지배적으로 작용함을 확인했다. QK9는 회로 깊이 32 이하로 유지돼 시뮬레이터와 실제 디바이스 간 차이가 미미했으며, 실용적인 양자 커널 후보로 제시된다.

또한 논문은 “커널 집중(Concentration) 현상”과 “지수적 집중(Exponential Concentration)”을 이론적 원인으로 제시한다. 고차원 양자 상태 공간에서 무작위 회전이 대부분 동일한 내적 값을 갖게 되면, 커널 행렬이 거의 동일한 값으로 수렴해 학습 효과가 감소한다. 이는 특히 특징 수가 늘어날수록 나타나는 현상으로, 실험 결과에서도 F1‑Score가 정체되는 원인과 일치한다.

마지막으로, 제어 Toffoli 게이트가 포함된 QK10이 이론적으로는 가장 풍부한 비선형 변환을 제공하지만, 현재 NISQ 디바이스의 오류율과 회로 깊이 제한 때문에 실용화에 한계가 있음을 강조한다. 향후 오류 정정, 게이트 최적화, 혹은 하이브리드 양자‑고전 모델을 통해 이러한 제약을 극복할 필요가 있다.