다이어오판트 방정식 기반 비대칭 암호 시스템 보안 분석

초록

본 논문은 선형 다이어오판트 방정식 U=∑Vi xi 를 기반으로 한 “DEHP”(Diophantine Equation Hard Problem)를 새로운 난이도 가정으로 삼고, 이를 RSA와 결합한 AAβ 암호체계를 제안한다. 암호·복호화는 단순 곱셈만으로 이루어지며, 저전력 디바이스에 적합하다고 주장한다. 그러나 정의의 모호성, 키 구조의 비대칭성, 그리고 실제 보안성에 대한 증명 부족 등 여러 취약점이 존재한다.

상세 분석

AAβ 암호체계는 두 개의 주요 난이도 가정에 의존한다. 첫 번째는 선형 다이어오판트 방정식 U=∑Vi xi 의 해를 찾는 것이 지수적으로 많은 후보를 만든다는 DEHP이며, 두 번째는 대형 소수 p, q 의 곱 N=pq 을 인수분해하는 것이 어려운 정수인수분해 문제이다. 논문은 DEHP를 “선호 정수” {x* i} 를 찾는 문제로 정의하지만, 실제로는 x 값이 비트 길이 제한을 받는 단순 구간 탐색 문제에 불과하다. 예시에서는 x1 과 x2 가 64비트 범위 내에 존재한다는 전제하에 2⁶⁴개의 후보만 존재하므로, 현대 컴퓨터로도 전수 탐색이 가능하다.

키 생성 과정에서도 모호함이 눈에 띈다. 공개키 eA1 = a1 + a2 = pq 와 eA2 = a1 + a3 을 사용하지만, 비밀키 dA1 = a1 − a2 = p 와 dA2 = v 가 어떻게 안전하게 유지되는지 명확히 설명되지 않는다. 특히 a1, a2, a3 이 모두 2n‑비트 길이인 반면 p, q 는 n‑비트이므로, 공개키 eA1 만으로도 p, q 를 직접 추출할 수 있는 가능성이 존재한다. 논문은 “AAβ‑DEHP‑2 ≡ TFactoring”이라는 등가성을 주장하지만, 이는 단순히 eA1 을 인수분해하면 p, q 를 얻는 것과 동일한 수준이며, 실제로는 인수분해가 바로 원래 문제와 동일함을 보여준다.

암호문 C = k1 eA1 + k2 eA2 + m 에 대한 복호화는 모듈러 연산 두 번을 수행하는 간단한 절차이지만, k1, k2 가 6‑비트 길이로 매우 작다. 이는 공격자가 C 와 eA1, eA2 만으로도 k1, k2 를 추정하거나 직접 대입해 보는 브루트포스 공격이 현실적으로 가능함을 의미한다. 논문은 라티스 기반 공격을 검토하면서 LLL 알고리즘이 (k1, k2, −m) 벡터를 찾지 못한다는 주장을 제시한다. 그러나 Gaussian heuristic을 이용한 분석에서 제시된 바와 같이 m 의 비트 길이가 k1, k2 보다 현저히 크기 때문에 V 벡터는 “짧은” 벡터가 아니며, 이는 오히려 공격자가 m 을 직접 구할 수 있는 여지를 남긴다.

또한, 논문은 “잘못된 설계” 예시로 2×2 비특이 행렬 기반 키 교환을 제시한다. 여기서 공개 행렬 E_A=AG, E_B=GB 는 단순히 G 가 특이 행렬이기 때문에 공격자가 대체 가능한 행렬 A′ 을 찾아 동일한 공유키를 얻을 수 있음을 보여준다. 이는 DEHP가 실제로는 구조적인 약점(예: 행렬의 특이성)으로 인해 쉽게 회피될 수 있음을 시사한다.

전반적으로 AAβ 체계는 “곱셈만 사용한다”는 구현상의 장점은 있을지 모르지만, 보안성은 기존 RSA·ECC 대비 충분히 검증되지 않았다. 정의상의 모호성, 키 길이 불균형, 작은 세션 키 사용, 그리고 DEHP 자체가 실제로는 고차원 난이도가 아니라 제한된 탐색 문제에 불과하다는 점이 가장 큰 문제이다. 따라서 현재 형태로는 실용적인 암호 프로토콜에 적용하기에는 위험성이 크다.