라빈밀러 알고리즘 정당성 폴리타임 이론 V1 증명

초록

본 논문은 페르마 소정리를 출발점으로 하여, 다항시간 이론 V1 안에서 라빈‑밀러 소수 판별 알고리즘의 정당성을 형식적으로 증명한다. 확률적 RP 알고리즘인 라빈‑밀러가 왜 “거짓 양성”이 절반 이하가 되는지를 V1의 Σ_B₁ 공식과 확장된 유클리드 알고리즘을 이용해 보이며, 페르마 소정리의 독립성 문제와 정수 인수분해와의 연관성도 논의한다.

상세 분석

논문은 먼저 이론 V1의 구조를 간략히 소개한다. V1은 두 정렬(인덱스와 문자열)로 이루어진 이론이며, Σ_B₀·Σ_B₁ 형식의 제한된 양화만 허용한다. 특히 Σ_B₁‑COMP와 Σ_B₁‑IND, Σ_B₁‑MIN을 통해 다항시간 함수와 그 존재성을 공식화한다. 이 기반 위에 저자는 확장된 유클리드 알고리즘의 정당성을 V1 안에서 증명한다. 유클리드 알고리즘은 ax + by = gcd(a,b) 형태의 베주 항등식을 생성하는데, 이는 라빈‑밀러 증명에서 “증인(witness)”을 구성하는 핵심 연산이다.

다음으로 페르마의 소정리(Fermat’s Little Theorem)를 V1 안에서 직접 증명할 수는 없지만, 그 부정형을 통해 “a^(n‑1) ≡ 1 (mod n) 이면 n은 소수이거나 카마이클 수이다”라는 명제를 Σ_B₁‑형식으로 기술한다. 이 명제는 라빈‑밀러 알고리즘이 “거짓 양성”을 절반 이하로 제한한다는 핵심 논리와 동치임을 보인다. 구체적으로, 합성수 n에 대해 a가 증인이면 a^(n‑1) ≠ 1 (mod n) 이고, 증인이 아닌 경우는 Z*_n의 부분군을 형성한다. 라그랑주 정리를 이용해 이 부분군의 크기가 전체의 약수이므로, 최소한 절반 이하가 증인이 아니라는 결론을 도출한다.

라빈‑밀러 알고리즘 자체는 입력 (p,a) 에 대해 (1) p가 짝수이면 2인지 확인, (2) a^(p‑1) mod p 를 계산해 1이 아니면 거부, (3) p‑1을 s·2^h 형태로 분해하고, (4) a^{s·2^i} (i=0…h) 를 순차적으로 제곱해가며 1이 아닌 최초의 값이 –1이 아니면 거부, (5) 모든 검사를 통과하면 받아들인다. 이 과정은 모두 다항시간 내에 수행 가능하고, 무작위 a 선택에 의해 RP 클래스에 속한다.

논문은 “거짓 양성”이 절반 이하라는 사실을 V1 안에서 “존재하는 증인들의 집합이 전체 집합의 절반 이상을 차지한다”는 Σ_B₁‑공식으로 표현한다. 이를 위해 증인과 비증인의 일대일 매핑을 곱셈 모듈로 P 로 정의하고, 확장된 유클리드 알고리즘을 이용해 매핑의 전사성을 보인다. 또한, 페르마 소정리를 증명할 수 없다는 가정 하에, 만약 V1이 페르마 소정리를 증명한다면 곧 다항시간 인수분해 알고리즘이 존재하게 되어 RSA와 같은 암호 체계가 무너진다는 논리적 귀결을 제시한다.

결과적으로, 라빈‑밀러 알고리즘의 정당성은 “페르마 소정리 + 확장된 유클리드 알고리즘”이라는 두 가지 기본 수론적 사실에 완전히 귀속됨을 보이며, 이 두 사실만으로도 V1 안에서 충분히 형식화하고 증명할 수 있음을 입증한다. 이는 복잡도 이론과 형식 증명 이론 사이의 교량을 제공하고, RP 알고리즘의 정당성을 다항시간 이론 내에서 어떻게 다룰 수 있는지를 명확히 보여준다.