GPU 기반 RSA 가속을 위한 모듈러 연산 최적화 연구

초록

본 논문은 CUDA를 활용해 RSA 암호의 핵심인 모듈러 거듭제곱을 GPU에서 병렬 처리하는 알고리즘을 제안한다. 기존 CPU 기반 구현의 한계를 분석하고, 대형 정수를 지원하는 새로운 모듈러 연산 방식을 설계한다. 실험에서는 소규모 소수와 대규모 소수를 대상으로 속도 향상을 확인했으며, 이를 통해 RSA의 보안성을 저해하던 작은 소수 사용 문제를 완화할 수 있음을 보인다.

상세 분석

논문은 먼저 RSA 암호화·복호화에 필수적인 모듈러 거듭제곱(modular exponentiation) 연산이 전통적인 반복 제곱-제곱법(square‑and‑multiply)으로 구현될 경우, 큰 지수와 모듈러값을 다루는 데 CPU의 64비트 정수형 한계에 부딪힌다는 점을 지적한다. 이를 극복하기 위해 저자는 CUDA 기반 GPU에서 동작하도록 설계된 새로운 모듈러 연산 커널을 제안한다. 핵심 아이디어는 입력값을 32비트 워드 단위로 분할하고, 각 워드를 병렬 스레드가 담당하도록 하여 다중 정밀도 연산을 SIMD 형태로 수행하는 것이다. 특히, Montgomery reduction을 변형하여 메모리 접근을 최소화하고, 공유 메모리와 레지스터를 효율적으로 활용함으로써 연산 지연(latency)을 크게 감소시켰다. 스레드 블록당 하나의 모듈러 연산을 할당하고, 블록 간 동기화를 최소화함으로써 GPU의 대규모 병렬성을 최대한 활용한다는 설계는 이론적으로 O(log e)·O(1) 수준의 스레드 병렬성을 제공한다.

실험 부분에서는 두 가지 시나리오를 제시한다. 첫 번째는 16비트32비트 수준의 작은 소수를 사용한 RSA 키 생성·암호화·복호화이며, 두 번째는 1024비트 이상 대형 소수를 사용한 경우이다. 작은 소수 실험에서는 CPU 대비 10배 이상, 대형 소수 실험에서는 35배의 속도 향상을 보고했지만, 정확한 벤치마크 환경(코어 수, GPU 모델, 메모리 대역폭 등)이 상세히 기술되지 않아 재현 가능성에 의문이 남는다. 또한, 보안 측면에서 “작은 소수 사용으로 인한 보안 구멍을 완화한다”는 주장은, 실제로 큰 소수를 사용하게 되면 키 생성 비용이 증가하고, GPU에서의 대규모 소수 생성이 추가적인 난제임을 간과한 것으로 보인다.

한계점으로는 (1) 다중 정밀도 연산에서 발생하는 캐리 전파를 스레드 간에 동기화해야 하는데, 현재 구현에서는 이를 무시하거나 근사화했을 가능성이 있어 정확도 검증이 필요하다. (2) 메모리 사용량이 워드 수에 비례해 급증하므로, 매우 큰 키(4096비트 이상)에서는 공유 메모리 용량 초과 문제가 발생할 수 있다. (3) 보안 분석이 부족하여, 사이드채널 공격(예: 타이밍, 전력 분석) 대비 방어 메커니즘이 포함되지 않았다. 이러한 점들을 보완한다면, GPU 기반 RSA 가속은 실시간 암호 통신이나 대규모 데이터베이스 암호화에 실용적인 대안이 될 수 있다.