배치 RSA 복호화로 SSL TLS 서버 성능 및 보안 향상

초록

본 논문은 SSL/TLS 핸드쉐이크에서 서버가 수행하는 RSA 복호화 연산이 클라이언트보다 훨씬 비용이 많이 드는 문제를 해결하고자, 배치 RSA와 미니배치를 결합한 최적 스케줄링 알고리즘을 제안한다. 요청 수와 QoS 요구를 고려해 최적 배치 크기를 동적으로 계산하고, 대기 시간이 허용 범위를 초과하면 미니배치를 즉시 처리하도록 설계하였다. 또한 RSA 파라미터 생성 규칙을 강화해 브루트포스·소수 곱셈·Wiener 공격 등 알려진 위협에 대한 내성을 높였다. 실험 대신 이론적 분석을 통해 평균 응답 시간과 서버 처리량이 비배치 방식에 비해 크게 개선될 것으로 기대한다.

상세 분석

제안된 알고리즘은 기존 배치 RSA 방식의 두 가지 주요 결함을 보완한다. 첫째, 배치 크기가 미리 정해져 있어 요청이 충분히 모이지 않을 경우 서버가 불필요하게 대기하게 되는 상황을 “미니배칭” 개념으로 해결한다. 즉, 각 공개 지수 eᵢ 에 대해 별도의 큐를 두고 라운드‑로빈으로 요청을 할당한 뒤, 어느 큐의 선두 요청이 사전에 정의한 최대 대기시간 Tₘₐₓ 에 도달하면 해당 큐만으로도 즉시 배치를 수행한다. 이렇게 하면 클라이언트의 허용 대기시간 Tₜ 과 시스템 평균 대기시간 T_b 을 동시에 만족시키는 최적 배치 크기 b 를 동적으로 찾을 수 있다. 두 번째로, RSA 파라미터 생성 단계에서 강소수(p, q) 선택, p와 q의 차이 확대, gcd(p‑1, q‑1) 최소화, 비밀 지수 d 의 비트 길이와 해밍 무게 제한 등을 명시적으로 적용한다. 이는 소수 곱셈 공격, 스퀘어 공격, Wiener·Boneh‑Durfee와 같은 저비밀 지수 공격을 이론적으로 차단한다는 점에서 의미가 크다. 그러나 논문은 실제 트래픽을 이용한 시뮬레이션이나 실험 결과를 제시하지 않아, 제안 기법이 네트워크 지연, CPU 캐시 효과, 멀티코어 스케줄링 등 현실적인 변수에 얼마나 견고한지 판단하기 어렵다. 또한 배치 RSA는 서로 다른 공개키 eᵢ 를 동시에 복호화해야 하는 상황에서만 효율이 나오는데, 실제 SSL/TLS에서는 서버가 하나의 고정된 e 와 n 을 사용하므로 “다중 공개키” 가정이 현실과 다소 괴리된다. 따라서 제안된 최적 배치 크기 계산식 T_b 과 maxbatchsize =⌊0.4 λ Tₜ+1⌋ 은 이론적 모델에 기반한 것이며, 실제 서비스에 적용하려면 추가적인 프로파일링과 파라미터 튜닝이 필요하다. 전반적으로 배치와 미니배치를 결합한 스케줄링 아이디어는 고부하 웹 서버에서 RSA 복호화 병목을 완화할 가능성을 보여주지만, 구현 복잡도와 보안 파라미터 관리 비용을 고려한 실용성 평가가 뒤따라야 한다.