Er 도핑 CaF2의 광학 지문을 이용한 고전·양자 머신러닝 분류

초록

본 연구는 DFT·LR‑TDDFT로 얻은 CaF₂와 Er‑도핑 CaF₂의 광학 스펙트럼을 기반으로 전이 에너지 E, 소멸계수 κ, 흡수계수 α 등 1,589개의 물리적 디스크립터를 추출한다. 이 디스크립터를 이용해 RBF‑SVM은 0.983의 정확도와 0.999의 ROC‑AUC를 달성했으며, 양자 서포트 벡터 머신(QSVM)과 양자 신경망(QNN)은 노이즈 시뮬레이터와 실제 IBM 양자 하드웨어에서 각각 0.73~0.85 수준의 정확도를 보였다. 결과는 도핑에 의한 광학 지문이 고전 및 근시일내 양자 학습 모델 모두에 강력한 특성 공간을 제공함을 입증한다.

상세 분석

이 논문은 전통적인 고전 머신러닝과 최신 양자 머신러닝을 동일한 물리 기반 피처 세트에 적용함으로써 두 접근법의 성능을 공정하게 비교한다는 점에서 의미가 크다. 먼저 Ca₈F₁₆와 Ca₇ErF₁₆ 클러스터를 2×2×2 초셀로 구성하고, GPAW의 LCAO‑DZP + PBE로 구조 최적화를 수행한 뒤, 실공간 유한 차분(FD) 방식으로 그리드 간격 h = 0.30 Å, 가상 밴드 20개를 추가해 정확한 전자 상태를 확보한다. LR‑TDDFT의 Casida 공식으로 0–10 eV 구간의 전이 에너지와 진동자 강도를 계산하고, σ = 0.1–0.2 eV의 가우시안 브로드닝을 적용해 연속 흡수 스펙트럼을 만든다. 여기서 전이 에너지 E, 소멸계수 κ(복소 굴절률의 허수부), 흡수계수 α(ε₂·ω/c) 등 1,589개의 에너지 포인트를 물리량으로 변환한다.

피처 엔지니어링 단계에서는 Box‑Cox 변환으로 비정규성을 완화하고, 선형 SVM 가중치를 이용해 중요 피처를 랭킹한다. 결과적으로 α, κ, E가 가장 변별력이 큰 3가지 피처로 선정되었으며, UMAP 시각화는 두 물질군이 저차원에서도 명확히 구분됨을 보여준다. 고전 SVM은 RBF 커널(γ = 1/(n_features·Var(X)))을 사용해 기본 파라미터(C = 1)만으로도 테스트 정확도 0.983, ROC‑AUC 0.999라는 거의 완벽에 가까운 성능을 기록한다. 이는 전통적인 커널 기반 분류기가 물리적으로 의미 있는 저차원 피처에 대해 충분히 강력함을 의미한다.

양자 측면에서는 ZZFeatureMap(3 qubit, depth = 1)을 이용해 피처를 양자 상태 |Φ(x)⟩로 매핑하고, FidelityQuantumKernel으로 커널 행렬을 구성한다. 상태벡터 시뮬레이터에서는 0.851, QASM 노이즈 시뮬레이터에서는 0.817의 정확도를 얻었으며, IBM Quantum Falcon r5.11(3 qubit) 하드웨어에서는 샷 수와 디코히런스 제한으로 0.733의 정확도에 머물렀다. 양자 커널이 고전 커널에 비해 약간 낮은 성능을 보인 이유는(1) 피처 차원이 3에 불과해 양자 힐베르트 공간의 이점을 충분히 활용하지 못함, (2) 현재 하드웨어의 게이트 오류와 측정 잡음, (3) 양자 커널 매개변수(φ 함수)의 최적화가 충분히 이루어지지 않았기 때문으로 해석된다.

또한, 3‑qubit, depth‑4 ansatz를 갖는 하이브리드 양자 신경망(QNN)을 구현했으며, Adam 옵티마이저와 교차 엔트로피 손실로 학습한 결과 테스트 정확도 0.93, AUC 0.96을 달성했다. QNN은 양자 회로 내에서 비선형 활성화를 자연스럽게 구현함으로써 고전 SVM보다 적은 파라미터로도 경쟁력 있는 성능을 보여준다. 그러나 QNN 역시 샷 수와 회로 깊이에 민감해 현재 NISQ 디바이스에서는 안정적인 재현성이 아직 과제이다.

전체적으로 이 연구는 (1) 첫 원리 계산으로부터 물리적으로 해석 가능한 광학 디스크립터를 체계적으로 추출하는 워크플로우, (2) 고전 커널 SVM이 매우 높은 정확도를 보이는 강력한 베이스라인, (3) 양자 커널 및 양자 신경망이 현재 하드웨어 한계에도 불구하고 의미 있는 성능을 보여주며, 향후 피처 차원 확대와 양자 회로 최적화가 진행될 경우 양자 모델이 고전 모델을 추월할 가능성을 시사한다는 점에서 학술적·실용적 가치를 갖는다.