통계역학으로 보는 고전·양자 계산 복잡성

초록

이 강의노트는 계산 복잡도 이론을 통계역학과 연결시켜, 고전 SAT와 양자 SAT와 같은 최적화 문제의 무작위 인스턴스를 분석한다. NP‑complete와 QMA‑complete 문제군을 소개하고, 전형적인(typical) 인스턴스가 최악 사례와 어떻게 다른지, 그리고 이러한 차이가 물리적 유리상(글래시) 현상과 어떤 연관이 있는지를 설명한다.

상세 분석

논문은 먼저 계산 복잡도 이론의 기본 구조를 정리한다. 고전 컴퓨터 모델에서는 시간 복잡도를 기준으로 문제를 P, NP, NP‑complete 등으로 구분하고, 양자 컴퓨터 모델에서는 BQP, QMA, QMA‑complete와 같은 클래스가 도입된다. 특히 NP‑complete는 “모든 NP 문제를 다항식 시간 안에 귀환할 수 있는” 문제군이며, QMA‑complete는 양자 버전의 NP‑complete에 해당한다. 이러한 클래스는 최악 사례 복잡도를 정의하지만, 실제 알고리즘이 마주하는 평균적인 난이도는 별도로 분석해야 한다.

통계역학적 접근은 무작위 인스턴스 집합을 확률적 모델로 만든 뒤, 그 집합의 거시적 특성을 물리량(에너지, 엔트로피, 자유에너지 등)으로 매핑한다. 고전 SAT의 경우, 변수와 절을 스핀 변수와 상호작용으로 보는 ‘스핀 글래스’ 모델이 전통적으로 사용된다. 임계 온도 이하에서 시스템이 다중 최소 에너지 상태(다중 해)를 갖게 되며, 이는 알고리즘이 지역 최소점에 갇히는 현상과 직접 연결된다. 논문은 이러한 현상을 ‘유리상(글래시)’이라고 부르며, 복잡도 이론의 ‘전형적 난이도’와 물리학의 ‘동결 현상’이 동일한 수학적 구조를 공유한다는 점을 강조한다.

양자 SAT(QSAT)은 고전 SAT의 양자화 버전으로, 각 절이 양자 비트(큐비트)에 대한 프로젝트 연산자로 표현된다. 여기서는 고전적인 이진 변수 대신 힐베르트 공간의 벡터가 사용되므로, 에너지 풍경이 복소수 차원으로 확장된다. 논문은 QSAT을 ‘양자 스핀 글래스’ 모델에 대응시켜, 무작위 프로젝트 집합의 밀도와 연결된 상전이(phase transition)를 분석한다. 특히, 프로젝트의 비율이 일정 임계값을 초과하면 만족 가능한 인스턴스가 거의 사라지고, 그 이하에서는 다수의 만족 가능한 해가 존재한다는 전형적인 ‘SAT‑UNSAT 전이’를 발견한다. 이 전이는 양자 얽힘(entanglement) 구조와도 깊은 연관이 있어, 임계점 근처에서 얽힘 스케일이 급격히 변한다는 점을 통계역학적 계산을 통해 보여준다.

또한 논문은 이러한 전이 현상이 알고리즘적 난이도와 어떻게 연결되는지를 탐구한다. 예를 들어, 전통적인 백트래킹이나 로컬 서치 알고리즘은 전이점 근처에서 탐색 공간이 급격히 복잡해져 실행 시간이 지수적으로 증가한다. 반면, 양자 알고리즘(예: 양자 어닐링, 변분 양자 고유값 솔버)은 에너지 장벽을 터널링함으로써 일부 전이 현상을 완화시킬 가능성을 제시한다. 그러나 QMA‑complete 문제는 여전히 양자 컴퓨터에게도 최악 사례에서 다항식 시간 내에 해결되지 않을 것으로 예상되며, 이는 전형적 난이도와 최악 사례 사이의 격차를 다시 한 번 강조한다.

마지막으로 논문은 복잡도 이론과 통계역학 사이의 상호보완적 관계를 정리한다. 복잡도 이론은 문제의 구조적 어려움을 클래스화하지만, 통계역학은 무작위 인스턴스 집합의 평균적 특성을 정량화한다. 두 접근법을 결합하면, 특정 알고리즘이 실제 데이터에 대해 어느 정도 효율적인지, 그리고 어떤 파라미터 영역에서 ‘글래시’ 현상이 발생해 알고리즘이 실패할 가능성이 높은지를 예측할 수 있다. 이는 앞으로 양자 컴퓨팅 하드웨어와 소프트웨어 설계에 중요한 지침을 제공한다.