키 대체와 암호 프로토콜의 기호 분석

초록

본 논문은 서명 키 대체와 파괴적 독점 소유(DEO) 속성을 가진 디지털 서명 스킴을 사용한 프로토콜의 보안성 판단 문제를 기호 모델링으로 정의하고, 해당 문제의 결정 가능성을 증명한다.

상세 분석

논문은 먼저 키 대체(key substitution)와 파괴적 독점 소유(DEO)라는 두 가지 취약성을 정형화한다. 키 대체는 공격자가 공개 검증키와 서명된 메시지만을 가지고 새로운 서명키와 검증키를 생성해, 원래 메시지가 새로운 키로 서명된 것처럼 보이게 하는 능력을 말한다. DEO는 기존 키와 서명에 대해 새로운 키·메시지를 만들어 기존 서명이 새로운 메시지에 대해 유효하도록 만드는 보다 강력한 공격 모델이다. 이러한 특성을 갖는 서명 스킴은 실제 구현에서 종종 발견되며, 기존의 형식적 분석 도구는 이를 충분히 모델링하지 못한다는 점을 저자는 지적한다.

형식적 측면에서 저자는 전통적인 Dolev‑Yao 모델에 키 대체와 DEO 연산자를 추가한다. 새로운 연산자는 “키 교체(ksub)”와 “DEO 변환(deo)” 두 가지 함수 기호로 표현되며, 각각의 연산이 적용될 수 있는 전제 조건과 결과 타입을 명시한다. 이를 통해 공격자는 기존 메시지·서명·검증키 조합을 입력으로 새로운 키·메시지·서명 조합을 생성할 수 있다. 논문은 이러한 연산자를 포함한 프로토콜 규격을 ‘확장된 기호 모델’이라 부르고, 이 모델 내에서의 불안전성(인증 위반) 문제를 정의한다.

주요 기술적 공헌은 이 확장된 모델에서 불안전성 문제의 결정 가능성을 보인 것이다. 저자는 먼저 프로토콜을 평탄화(normal form)하고, 모든 가능한 키 대체·DEO 연산을 제한된 깊이까지 전개한다. 그런 다음, 고전적인 바인딩-전파 기법과 고정점 계산을 결합해, 공격자가 생성할 수 있는 모든 유효한 키·메시지·서명 조합을 유한 집합으로 축소한다. 핵심 증명은 이 과정이 항상 종료하고, 결과 집합이 비어 있지 않으면 실제 공격 시나리오가 존재한다는 점을 보인다. 따라서 주어진 프로토콜이 확장된 기호 모델에서 안전한지 여부를 알고리즘적으로 판단할 수 있다.

또한 저자는 이론적 결과를 바탕으로 프로토콜 검증 도구에 구현 가능한 절차를 제시한다. 구현은 기존의 자동 증명 엔진에 새로운 규칙을 추가하는 형태이며, 실험을 통해 RSA‑PKCS#1 v1.5 기반 서명 스킴에서 발견된 DEO 취약성을 성공적으로 탐지함을 보여준다. 이러한 결과는 형식적 검증이 실제 암호 구현의 미묘한 취약성을 포착할 수 있음을 입증한다.