비가역 삼중 분해 확장: GL(d, Fp) 기반 비가환 암호 체계의 새로운 패러다임

초록

본 논문은 기존 트리플 디컴포지션 문제(TDP)를 확장하여, 선형 공개 방정식을 모두 2차 형태로 변환한 XTDP를 제안한다. 이를 GL(d, Fp) 군 위에 적용함으로써 비가환 암호의 일방향 함수를 강화하고, Boaz Tsaban이 제시한 Algebraic Span Attack(ASA)의 취약점을 차단한다. 보안성, 효율성 및 구현상의 고려사항을 종합적으로 논의한다.

상세 분석

본 연구는 포스트양자 암호(PQC) 분야에서 비교적 소외된 비가환 대수 구조를 활용한 비대칭 프로토콜을 재조명한다. 핵심은 기존 Kurt의 트리플 디컴포지션 문제(TDP)를 기반으로 한 일방향 트랩도어 함수이며, 이는 두 개의 선형 방정식과 하나의 2차 방정식으로 구성된 공개키 체계를 만든다. 그러나 Boaz Tsaban이 제안한 Algebraic Span Attack(ASA)은 선형 방정식만을 대상으로 효율적인 선형대수 연산을 수행함으로써 비밀 매개변수를 추출할 수 있음을 보여주었다. 이 취약점은 TDP 기반 프로토콜의 근본적인 보안 가정을 약화시킨다.

논문은 이러한 문제를 해결하기 위해 “Extended Triple Decomposition Problem”(XTDP)를 도입한다. XTDP는 원래의 선형 공개 방정식을 모두 2차 형태로 변환하고, 토큰 교환 단계에서도 동일한 변환을 적용한다. 구체적으로, GL(d, Fp) 군의 원소를 두 개의 비가환 행렬 A, B와 그 역원으로 표현하고, 공개키를 A·X·B·Y·C 형태의 2차 곱셈식으로 만든다. 여기서 X, Y, C는 무작위 비가역 행렬이며, 각 참여자는 자신의 비밀 행렬을 이용해 역연산을 수행한다. 2차 방정식은 선형 방정식에 비해 대수적 복잡도가 급격히 상승하므로, ASA와 같은 선형 기반 공격이 적용될 여지가 크게 줄어든다.

보안 분석에서는 XTDP가 기존 TDP 대비 다음과 같은 장점을 가진다. 첫째, 공개키 자체가 2차 다항식 형태이므로, 공격자는 Gröbner 기반 알고리즘이나 다항식 시스템 해석에 더 많은 연산 자원을 투입해야 한다. 둘째, 행렬 차원 d와 소수 p를 충분히 크게 설정하면, 가능한 행렬 공간의 크기가 p^{d^2}에 지수적으로 증가하여 탐색 공격이 비현실적이 된다. 셋째, 트랩도어 구조가 여전히 존재하므로, 정당한 수신자는 비밀 행렬을 이용해 효율적으로 복호화할 수 있다.

하지만 몇 가지 미해결 과제가 남아 있다. 2차 방정식으로의 변환 과정에서 발생하는 연산량 증가는 실용적인 구현에 부정적 영향을 미칠 수 있다. 특히, 대규모 d와 큰 p를 선택할 경우 키 생성 및 교환 단계의 시간 복잡도가 O(d^3) 수준으로 상승한다. 또한, XTDP가 완전한 양자 저항성을 보장하는지는 아직 증명되지 않았으며, 양자 알고리즘에 대한 구체적인 복잡도 분석이 필요하다. 마지막으로, 행렬의 특수 구조(예: 희소성, 대각화 가능성)와 관련된 부수적인 취약점이 존재할 가능성도 검토해야 한다.

종합하면, XTDP는 기존 TDP가 직면한 선형 방정식 기반 공격을 효과적으로 차단하면서, 비가환 군 위에서의 일방향 함수를 유지한다는 점에서 의미 있는 진전이다. 다만, 실용성을 확보하기 위해서는 연산 효율성, 양자 저항성 증명, 그리고 구조적 부작용에 대한 추가 연구가 필수적이다.