암호 프로토콜 보안을 위한 대수적 군 구조 분석

초록

이 논문은 Dolev‑Yao 모델을 기반으로 공개키·대칭키 프로토콜을 자유군(또는 의사자유군) 위에 정의하고, 프로토콜이 불안전한 경우 정확히 해당 문자열 집합이 군의 부분군을 형성한다는 정리를 제시한다. 또한 구체적 구현 시 의사자유군 개념을 도입해 실용적 보안 판단 기준을 제시한다.

상세 분석

논문은 먼저 Dolev‑Yao(DY) 모델을 재정의하고, 암호 연산자 집합 E (암호화)와 D (복호화)를 알파벳으로 보아 자유군 F(E) 을 구성한다. 이때 E_i 와 D_i 는 서로 역원 관계 E_i D_i = D_i E_i = I 를 만족하므로, 연산자 문자열은 군 원소로 취급될 수 있다. 저자는 “프로토콜이 불안전하다”는 정의를, 어떤 문자열 λ 가 존재해 λ·N_k = ε (공백 문자열)인 경우로 설정한다. 여기서 N_k 는 프로토콜 실행 중 교환되는 메시지에 적용된 연산자들의 곱이다. 핵심 정리(Theorem 1)는 두 당사자와 공격자 s 가 참여하는 임의의 2‑party cascade 프로토콜에 대해, λ·N_k = ε 가 성립하면 반드시 {E_1,E_2,E_s,D_s} 의 부분집합 T 가 존재해 (1) {α_1}∪T 또는 (2) T∪Γ_2∪Γ_3 이 DY 군의 비자명 부분군을 생성한다는 것을 증명한다. 즉, 불안전성은 정확히 “문자열 집합이 부분군을 형성”하는 경우와 동치이다. 이 결과는 자유군 가정 하에서 완전하게 성립한다. 구체적인 구현에서는 연산자 사이에 추가 관계(예: ab=ba 와 같은 교환법칙)가 존재할 수 있으므로, 자유군 대신 pseudo‑free 그룹 개념을 도입한다. 의사자유군은 실제 암호 연산이 효율적이면서도 알려진 관계 외에는 자유군과 동일한 성질을 유지하도록 가정한다. 논문은 또한 대칭키(프라이빗키) 프로토콜에 대한 확장을 논의하고, 비활성(non‑active)와 활성(active) 공격자 모델을 모두 포괄한다. 마지막으로, 일반적인 군 이론 결과를 이용해 보안·불안전 프로토콜의 판정 알고리즘이 존재함을 보이며, 이 문제 자체가 워드 문제와 동등하게 어려워 결정 불가능함을 언급한다. 전체적으로, 대수적 관점에서 프로토콜 보안을 형식화함으로써 기존의 형식 모델과 계산적 보안 모델 사이의 연결 고리를 제공한다.