양자 어드베이즈 알고리즘을 활용한 대규모 분류기 학습

초록

본 논문은 약한 분류기들의 사전(dictionary)에서 강한 이진 분류기를 구성하기 위해 전역 이산 최적화를 도입하고, 이를 양자 어드베이즈(Adiabatic Quantum Computing, AQC)와 결합한 새로운 학습 프레임워크를 제시한다. 기존 AdaBoost와 비교했을 때, 경험적 손실 최소화와 L0 정규화를 동시에 수행함으로써 과적합을 억제하고, 부분적으로 전역 최적화를 반복 적용하는 ‘조각별(iterative‑piecewise)’ 전략을 통해 사전 규모가 매우 클 때도 실용적으로 적용 가능함을 보인다. 시뮬레이션 결과와 양자 몬테카를로 실험을 통해 AQC가 이 문제를 효율적으로 해결할 수 있음을 실증한다.

상세 분석

이 논문은 기존의 부스팅 기법, 특히 AdaBoost가 경험적 손실(empirical loss)만을 최소화하고 L1 혹은 L2 정규화 정도만을 적용하는 데 반해, L0‑norm 정규화를 명시적으로 포함한 이산 최적화 모델을 제안한다. L0 정규화는 선택된 약한 분류기의 개수를 직접 제한함으로써 모델 복잡도를 제어하고, 과적합 위험을 감소시킨다. 저자들은 이 최적화 문제를 이진 변수들의 0‑1 제약을 갖는 이진 정수 프로그램으로 정식화하고, 이를 양자 어드베이즈 알고리즘이 해결할 수 있는 형태인 이소스핀 해밀토니안으로 매핑한다.

하지만 현재 양자 하드웨어가 다룰 수 있는 변수 수는 수백 개에 불과하므로, 사전(dictionary) 규모가 수천수만에 달하는 현실적인 상황에 바로 적용하기는 어렵다. 이를 해결하기 위해 ‘조각별(iterative‑piecewise)’ 접근법을 도입한다. 각 반복 단계에서 사전의 일부(예: 200300개의 후보)만을 선택해 전역 최적화를 수행하고, 선택된 약한 분류기를 강한 분류기에 추가한다. 이후 남은 후보들에 대해 동일 과정을 반복한다. 이렇게 하면 전체 사전 규모와 무관하게 각 단계에서 양자 최적화가 처리 가능한 문제 크기로 제한된다.

알고리즘의 핵심은 두 가지 목표를 동시에 달성하는 것이다. 첫째, 각 단계에서 선택된 약한 분류기의 조합이 현재까지의 손실을 크게 감소시키도록 전역적으로 최적화한다. 둘째, L0 정규화 항을 통해 선택된 약한 분류기의 총 개수를 억제한다. 이중 목표 최적화는 전통적인 부스팅이 단계별로 약한 분류기를 그리디하게 추가하는 방식과 근본적으로 다르다; 전역 최적화는 전체 조합을 한 번에 고려하므로 지역 최소에 빠질 위험이 현저히 낮다.

실험에서는 MNIST와 같은 이미지 분류 데이터셋, 그리고 합성 데이터셋을 사용해 AdaBoost와 비교하였다. 결과는 동일하거나 더 적은 수의 약한 분류기로도 AdaBoost 대비 동일 수준 이상의 정확도를 달성했으며, 특히 노이즈가 많은 상황에서 L0 정규화가 과적합을 효과적으로 방지함을 확인했다. 또한 양자 몬테카를로 시뮬레이션을 통해, 실제 양자 어드베이즈가 이산 최적화 문제를 고전적 메타휴리스틱(예: 시뮬레이티드 어닐링)보다 빠르게 수렴할 가능성을 제시한다.

이 논문의 기여는 크게 세 가지로 정리할 수 있다. 첫째, 강한 분류기 학습을 전역 이산 최적화 문제로 재구성하고, L0 정규화를 포함시켜 모델 복잡도와 일반화 성능을 동시에 제어한다. 둘째, 대규모 사전에도 적용 가능한 조각별 전역 최적화 프레임워크를 제안함으로써 현재 양자 하드웨어의 제한을 실용적으로 극복한다. 셋째, 양자 어드베이즈 알고리즘이 이러한 최적화 문제를 효율적으로 해결할 수 있음을 양자 몬테카를로 시뮬레이션을 통해 실증한다. 향후 실제 양자 프로세서가 성능을 크게 향상시키면, 이 접근법은 기존 부스팅 알고리즘을 뛰어넘는 새로운 표준이 될 가능성이 있다.