페르마 방식 재조명과 RSA 모듈러스 취약점 탐구

초록

본 논문은 RSA 모듈러스 n=p·q에 대한 페르마 소인수분해법을 재검토하고, p와 q의 크기 차이에 따라 두 가지 변형 알고리즘을 제시한다. 각 변형의 적용 가능 영역을 분석하고, 실험을 통해 효율성을 비교한다. 새로운 최첨단 알고리즘은 아니지만, 페르마 방식의 한계와 잠재적 활용 가능성을 조명한다.

상세 분석

페르마 소인수분해법은 n을 두 제곱수의 차이 a²‑b²=(a‑b)(a+b) 형태로 표현함으로써 p와 q를 찾는 고전적 기법이다. 이때 a는 ⌈√n⌉부터 시작해 순차적으로 증가시키며 b²=a²‑n이 완전제곱이 되는 순간 p=a‑b, q=a+b가 된다. 전통적인 페르마 방법은 p와 q가 서로 근접할수록(즉, |p‑q|가 작을수록) 빠르게 수렴한다는 특성을 가진다. 논문에서는 이러한 특성을 기반으로 두 가지 변형을 도출한다. 첫 번째 변형은 a를 ⌈√n⌉가 아닌 ⌈√(n+Δ)⌉ 형태로 조정해, p와 q 사이의 차이가 일정 범위 내에 있을 때 탐색 범위를 사전에 축소한다. 두 번째 변형은 b²가 완전제곱이 되지 않을 경우, b를 정수 근사값으로 대체하고, 남은 오차를 보정하는 반복 과정을 추가한다. 이 변형은 b²≈a²‑n 근사값을 빠르게 얻을 수 있어, 차이가 다소 큰 경우에도 탐색 횟수를 현저히 감소시킨다. 두 방법 모두 시간 복잡도는 최악의 경우 O(√n) 수준이지만, 실질적인 평균 수행 시간은 |p‑q|에 대한 함수로서 크게 개선된다. 논문은 또한 “효과적 영역(effective region)”을 정의하여, p와 q의 비율이 1:22:1 사이일 때 변형 1이, 1:44:1 사이일 때 변형 2가 우수함을 수치적으로 입증한다. 실험 결과는 1024비트 RSA 모듈러스에 대해 차이 폭이 2⁸⁰ 이하일 경우 변형 1이 평균 3.2배, 변형 2가 평균 2.7배의 속도 향상을 보였으며, 차이가 2¹⁰⁰을 초과하면 두 변형 모두 기존 페르마법과 동일한 성능을 나타냈다. 이러한 분석은 RSA 키 생성 시 p와 q의 차이를 충분히 크게 잡아야 함을 다시 한 번 강조한다.