양자 신경망 성능을 좌우하는 저해상도 DAC 설계 전략

초록

본 논문은 양자 컴퓨터의 저전력·소형 cryo‑CMOS 환경에서 디지털‑아날로그 변환기(DAC)의 비트 해상도가 양자 신경망(QNN)의 추론 및 학습에 미치는 영향을 체계적으로 평가한다. 6‑bit 수준에서도 사전 학습된 QNN은 무손실에 가까운 정확도를 유지하지만, 12‑bit 이하에서는 학습 시 파라미터 업데이트가 양자화 단계보다 작아지는 ‘gradient deadlock’ 현상이 발생한다. 이를 해결하기 위해 온도‑제어 확률 양자화(stochastic quantization)를 도입했으며, 4‑10 bit 범위에서도 확률적 업데이트가 가능해 기존 무한 정밀도 대비 동등하거나 우수한 성능을 달성한다.

상세 분석

본 연구는 두 가지 QNN 아키텍처(2‑layer 16 파라미터, 4‑layer 48 파라미터)를 네 개의 이진 분류 데이터셋(MNIST 0/1, Fashion‑MNIST T‑shirt/바지, Iris Setosa/Versicolor, Breast‑Cancer 악성/양성)에 적용해 DAC 해상도와 학습·추론 성능의 상관관계를 정량화하였다.
1️⃣ 추론 단계: 사전 학습된 QNN을 다양한 비트(2‑12 bit)로 양자화했을 때, 정확도는 3‑5 bit에서 급격히 상승하고 6 bit 이후에는 ‘elbow curve’를 그리며 포화한다. 특히 MNIST·Fashion‑MNIST와 같은 복잡한 데이터는 5 bit 이상, Iris·Breast‑Cancer은 4 bit만으로도 무한 정밀도와 차이가 0.5 % 이하에 머문다. 이는 양자 회전 각을 제어하는 DAC가 2π를 2^N 단계로 나눌 때, 양자 회로의 파라미터 변동폭이 충분히 커서 양자화 오차가 학습된 파라미터에 미치는 영향이 제한적임을 의미한다.
2️⃣ 학습 단계 – Gradient Deadlock: 학습 중 파라미터 업데이트 크기 |η∇L|가 양자화 스텝 Δ/2보다 작아지면, 양자화 후 파라미터가 원래 값으로 되돌아가며 업데이트가 정지한다. 이 현상은 특히 저해상도(≤12 bit)와 학습 후반부에서 두드러지며, 기존의 deterministic rounding 방식으로는 12 bit 이하에서 학습이 거의 불가능함을 실험적으로 확인했다.
3️⃣ 온도‑제어 확률 양자화: 파라미터를 연속값에서 가장 가까운 양자화 레벨로 강제하는 대신, 시그모이드 기반 확률 함수 P(θ_next)=1/(1+e^{−d/T})를 도입해 ‘temperature T’를 조절한다. T가 클수록 양자화 레벨 전이 확률이 높아져 작은 업데이트도 누적될 수 있다. 실험에서는 T=1.0~5.0 범위가 가장 효과적이었으며, 4‑bit에서 10‑bit까지 모든 해상도에서 학습이 성공하고, 최종 테스트 정확도는 무한 정밀도와 동등하거나 1‑2 % 상회했다.
4️⃣ 아키텍처·데이터 의존성: 파라미터 수가 많은 QNN 2(48 파라미터)는 낮은 해상도에서도 더 높은 정확도를 유지했으며, 복잡한 이미지 데이터(MNIST, Fashion‑MNIST)에서는 6‑bit 이상이 필요했지만, 단순 특성(Iris)에서는 4‑bit만으로도 충분했다. 이는 양자 회로의 표현력과 데이터 복잡도가 양자화 민감도에 직접적인 영향을 미친다는 점을 시사한다.
5️⃣ 실제 하드웨어 적용 가능성: 4‑10 bit DAC는 전력·면적이 2‑bit 대비 4‑8배 감소한다는 기존 cryo‑CMOS 연구와 일치한다. 따라서 제안된 확률 양자화 기법은 전력 제한이 심한 대규모 양자 프로세서(수백·수천 큐비트)에서도 QNN 학습·추론을 가능하게 하며, 하드웨어‑소프트웨어 공동 설계(co‑design) 전략의 핵심 요소가 될 수 있다.