포스트양자 암호를 위한 랭크 결함 행렬 거듭제곱 기반 KEM·DSA 설계

초록

본 논문은 랭크‑결함 행렬 거듭제곱 함수(RDMPF)를 핵심 원리로 하는 키 캡슐화 메커니즘(KEM)과 디지털 서명 알고리즘(DSA)을 제안한다. Fujisaki‑Okamoto 변환과 암시적 거부(implicit rejection)를 결합해 랜덤 오라클 모델(ROM) 하에서 IND‑CCA2와 UF‑CMA 보안을 증명한다. 구현은 Mathematica 기반 토이 프로토타입으로 수행했으며, 매트릭스 차원 n≥7이면 NIST 보안 수준에 근접할 수 있다고 주장한다.

상세 분석

이 논문은 기존 포스트양자 암호(PQC) 후보군(격자 기반, 다변량, 코드 기반 등)과 차별화된 “랭크‑결함 행렬 거듭제곱 함수(RDMPF)”를 제시한다. RDMPF는 행렬 X, W, Y와 시그마 변형을 이용해 다중 라운드 연산을 수행하며, 출력 행렬 Q는 닫힌 형태로 표현하기 어려운 복합 구조를 가진다. 논문은 이 구조가 선형화 공격에 강인함을 주장하지만, 실제로는 선형 대수학적 특성을 이용한 양자 알고리즘(예: 양자 선형 시스템 솔버)이나 특수한 행렬 분해 기법에 대한 분석이 부족하다.

보안 증명은 전통적인 ROM 기반 접근을 따르며, Fujisaki‑Okamoto(FO) 변환과 암시적 거부 메커니즘을 결합해 IND‑CCA2(키 캡슐화)와 UF‑CMA(디지털 서명) 보안을 얻는다. 그러나 증명은 “RDMPF‑PKE가 IND‑CPA 보안이다”라는 가정에 크게 의존한다. 현재까지 RDMPF‑PKE의 IND‑CPA 보안에 대한 구체적인 하드 문제(예: 행렬 거듭제곱 역산 문제)의 난이도와 복잡도 분석이 제시되지 않아, 보안 기반이 충분히 설득되지 않는다. 또한, ROM 가정은 실제 구현에서 해시 함수의 충돌 저항성 및 도메인 구분이 제대로 이루어질 경우에만 타당한데, 논문에서는 도메인 구분 문자열(“r”,“t”,“z”) 외에 구체적인 구현 지침이 부족하다.

성능 측면에서는 Mathematica 12.1+ 환경에서의 실험 결과를 제시한다. 키 생성·캡슐화·복호화, 서명·검증 모두 마이크로초~밀리초 수준이라고 주장하지만, Mathematica는 인터프리터 기반이며 최적화가 전혀 이루어지지 않은 환경이다. 따라서 실제 C/어셈블리 구현 시 발생할 메모리 사용량, 캐시 효율, 병렬화 가능성 등에 대한 평가가 전무하다. 특히, 행렬 차원 n이 7 이상이면 보안 수준이 NIST 레벨 5에 도달한다는 표는 O(n²) 복잡도만을 고려한 단순 추정이며, 실제 양자 공격 시 복잡도가 √(O(n²))가 되는지 여부는 Grover 알고리즘 적용 전제에 지나치게 의존한다.

또한, 논문은 사이드채널 및 결함 주입 공격에 대한 실험을 “향후 진행 필요”로 남겨두고 있다. 암시적 거부 메커니즘이 오류 플래그를 의사난수로 대체한다는 점은 이론적으로는 정보 누설을 방지하지만, 구현 시 타이밍 차이나 전력 소비 차이가 새로운 측면 채널을 제공할 수 있다. 이러한 위험 요소에 대한 정량적 분석이 없으며, NIST PQC 표준화 과정에서 요구되는 “하드웨어 친화성”과 “실제 배포 가능성”을 충족시키기엔 부족하다.

요약하면, 논문은 새로운 수학적 구조를 제시하고, 기존 변환 기법을 적용해 보안 모델을 구축했지만, (1) RDMPF의 기본 난이도에 대한 명확한 하드 문제 정의, (2) ROM 외의 실용적 해시 함수 설계, (3) 최적화된 구현 및 사이드채널 저항성 평가가 부재하다. 따라서 현재 단계에서는 학술적 탐구 수준에 머무르며, 표준화 후보로 채택되기 위해서는 보다 엄격한 보안 증명과 실험적 검증이 필요하다.