RSA 공개키를 위한 KNJ 소인수분해 알고리즘

초록

본 논문은 RSA 암호의 보안 기반이 되는 큰 합성수 N을 소인수분해하기 위해, 기존의 trial division 방식을 개선한 KNJ‑Factorization 알고리즘을 제안한다. 알고리즘은 후보 인수를 홀수이면서 소수인 경우에만 검사함으로써 탐색 범위를 축소하고, 특히 N의 두 소인수가 서로 가깝고 인접한 경우에 효율성을 높인다. 실험 결과는 제시되지 않았지만, 소수 판정 속도가 빨라질 경우 전체 시간 복잡도가 크게 감소한다는 기대를 제시한다.

상세 분석

제안된 KNJ‑Factorization 알고리즘은 전통적인 trial division(시도 나눗셈) 방식에 “홀수·소수만 검사”라는 두 가지 제약을 추가함으로써 탐색 공간을 이론적으로 절반 이하로 축소한다는 점에서 직관적으로는 의미가 있다. 실제로 RSA에서 사용되는 두 소인수 p와 q는 모두 홀수이며, 따라서 짝수 후보를 배제하는 것은 불필요한 연산을 제거한다. 그러나 “소수만 검사”라는 조건은 이미 trial division 과정에서 자연스럽게 발생한다. 즉, 나눗셈을 수행하기 전에 후보가 소수인지 판단해야 하는데, 이를 위해 별도의 소수 판정 알고리즘(예: Miller‑Rabin, AKS 등)을 호출하게 된다. 소수 판정 자체가 O(log n) 정도의 다항식 시간 복잡도를 가지지만, 후보 수가 √N에 비례하므로 전체 복잡도는 여전히 O(√N·polylog N) 수준에 머문다.

또한 논문은 “인접하고 N에 가까운 인수”에 대해 효율이 크게 향상된다고 주장한다. 이는 사실상 p와 q가 √N에 가깝다는 전제와 동일하며, RSA 키 생성 시 일반적으로 p와 q를 무작위로 선택하기 때문에 이러한 상황은 보장되지 않는다. 실제 공격 시 가장 어려운 경우는 p와 q가 서로 멀리 떨어져 있을 때이며, 이 경우 KNJ‑Factorization은 기존 trial division과 동일한 탐색 비용을 요구한다.

알고리즘의 결정론적 특성은 장점으로 보일 수 있지만, 현대 암호학에서 실용적인 소인수분해는 결정론적 방법보다 확률적 방법(예: Pollard’s rho, Quadratic Sieve, General Number Field Sieve)이 훨씬 효율적이다. 특히 GNFS는 현재 알려진 가장 빠른 일반적인 소인수분해 알고리즘으로, 복잡도는 exp((64/9)^{1/3}(log N)^{1/3}(log log N)^{2/3}) 수준이다. 반면 KNJ‑Factorization은 여전히 √N에 비례하는 선형 탐색을 기반으로 하므로, 1024비트 이상 RSA 키에 적용했을 때 실용적인 시간 안에 결과를 얻기 어렵다.

논문에서 제시된 “소수 판정 속도 향상이 전체 성능을 크게 개선한다”는 주장은 부분적으로는 타당하지만, 실제 구현에서는 소수 판정 비용이 전체 비용에 차지하는 비중이 상대적으로 작다. 즉, 후보 수를 크게 줄이지 못한다면 소수 판정 최적화만으로는 근본적인 복잡도 감소를 기대하기 어렵다.

마지막으로, 실험적 검증이 부족하다. 논문은 알고리즘의 이론적 장점만을 서술하고, 구체적인 키 크기, 실행 시간, 메모리 사용량 등에 대한 정량적 데이터를 제공하지 않는다. 따라서 제안된 방법이 실제 RSA 키에 대해 경쟁력 있는 성능을 보이는지 판단하기 어렵다.

요약하면, KNJ‑Factorization은 기존 trial division에 작은 최적화를 가미한 형태이며, 이론적 복잡도 감소는 제한적이다. 현대 암호학에서 실용적인 RSA 공격을 목표로 한다면, 보다 효율적인 확률적 알고리즘과 병행하여 사용하거나, 전혀 다른 수학적 접근(예: lattice‑based, elliptic curve 기반) 등을 고려하는 것이 바람직하다.