불량 난수 환경에서도 안전한 RSA 모듈 생성 방법

초록

본 논문은 난수 생성기가 충분히 무작위성을 제공하지 못하는 경우에도 RSA 모듈을 안전하게 만들 수 있는 “Lenstra’s fix” 절차를 제시한다. 다수의 후보 소수를 한 번에 생성하고, 이들의 곱에 대한 최대공약수를 이용해 중복 소수를 탐지·제거함으로써 키 충돌 위험을 실질적으로 없앤다.

상세 분석

Lenstra가 제안한 보완 방법은 전통적인 RSA 키 생성 과정에서 발생할 수 있는 가장 치명적인 취약점, 즉 약한 난수 발생기로 인해 서로 다른 키가 동일한 소수를 공유하게 되는 상황을 근본적으로 차단한다. 일반적인 RSA 키 생성은 두 개의 큰 소수 p와 q를 독립적으로 무작위 추출한 뒤 N = p·q 를 계산하는 방식이다. 하지만 RNG가 충분히 엔트로피를 제공하지 못하면 동일한 소수가 여러 키에 재사용될 가능성이 커지고, 이는 공개된 모듈들 간의 GCD 연산만으로도 비밀 소수를 복원할 수 있게 만든다.

Lenstra’s fix는 “배치 생성 + GCD 검증”이라는 두 단계로 구성된다. 첫 번째 단계에서는 약한 RNG를 이용해 충분히 큰 수 M개의 후보를 생성한다. 각 후보에 대해 빠른 소수 판정(예: Miller‑Rabin)을 수행해 실제 소수인 것만을 추린다. 두 번째 단계에서는 이들 소수들의 전체 곱 P = ∏_{i=1}^{M} p_i 를 계산하고, 각 p_i 에 대해 gcd(P, p_i) 를 구한다. 만약 어떤 p_i 가 다른 후보와 동일한 소수를 공유하고 있다면, 해당 gcd 값은 p_i 자체가 되며, 이는 즉시 중복 소수임을 의미한다. 중복이 발견된 소수는 폐기하고, 남은 소수 중에서 두 개를 선택해 RSA 모듈 N = p·q 를 만든다.

이 절차의 핵심은 “전체 곱에 대한 GCD” 연산이 O(M·log N) 시간 안에 모든 중복을 탐지한다는 점이다. 따라서 키 생성 속도에 큰 부담을 주지 않으면서도, 약한 RNG가 생성한 후보들 사이에 존재할 수 있는 모든 소수 충돌을 확실히 제거한다. 또한, 이 방법은 서로 다른 사용자 혹은 서로 다른 시간에 생성된 키들 간에도 동일한 배치를 적용하면, 전역적으로 중복 소수를 방지할 수 있다.

보안 분석 측면에서, 논문은 확률론적 모델을 통해 “배치 크기 M”과 “RNG의 엔트로피 부족 정도” 사이의 관계를 정량화한다. 예를 들어, 2⁶⁴ 비트 길이의 소수를 목표로 할 때, M을 2⁴⁰ 정도로 설정하면 평균적으로 한 번도 중복이 발생하지 않을 확률이 1 − 2⁻⁸⁰ 수준으로, 실질적인 공격 가능성을 사실상 없앤다. 또한, GCD 연산 자체가 결정론적이며 효율적인 알고리즘이므로, 공격자가 이 과정을 역으로 이용해 비밀을 추출할 여지는 거의 없다.

운용상의 고려사항으로는 배치 생성 시 메모리 사용량과 곱셈 연산의 오버플로우 위험이 있다. 이를 해결하기 위해 논문은 모듈러 곱셈을 이용한 “분할 곱” 기법과, 다중 정밀도 라이브러리를 활용한 구현 방안을 제시한다. 또한, 소수 후보를 충분히 많이 확보하기 위해서는 RNG가 완전히 무작위일 필요는 없으며, 최소한의 엔트로피(예: 32 bit)만 확보하면 배치 크기 조정을 통해 동일한 보안 수준을 유지할 수 있음을 강조한다.

결론적으로, Lenstra’s fix는 “약한 RNG → 중복 소수 → 키 탈취”라는 전형적인 공격 경로를 완전히 차단하는 실용적인 방안이며, 기존 RSA 구현에 최소한의 코드 변경만으로 적용 가능하다. 이는 특히 임베디드 디바이스나 저전력 IoT 환경처럼 고품질 난수 생성기가 부족한 상황에서 큰 의미를 가진다.