XOR을 없애고 프로토콜 검증을 가속화하는 새로운 변환 기법

초록

본 논문은 Horn 이론 기반 암호 프로토콜 분석에서 XOR 연산을 포함한 경우를 XOR‑free 형태로 변환하는 방법을 제시한다. 변환은 넓은 클래스의 Horn 이론에 적용 가능하며, 변환 후 ProVerif와 같은 XOR를 지원하지 않는 도구로도 자동 검증이 가능하다. 구현 결과 새로운 공격 사례도 발견하였다.

상세 분석

Horn 이론 기반 접근법은 프로토콜과 Dolev‑Yao 공격자를 Horn 규칙 집합으로 모델링하고, 보안 속성은 해당 Horn 이론에서 목표 사실이 도출 가능한지 여부(derivation problem)로 환원한다. 이 방법은 무한히 많은 세션을 다루는 자동 검증에 강점을 보였지만, XOR와 같은 연산자의 대수적 성질을 직접 다루기엔 한계가 있었다. 특히 ProVerif는 XOR를 전혀 지원하지 않아, XOR를 사용하는 프로토콜을 분석하려면 별도의 수작업 전처리나 제한된 모델링이 필요했다.

논문은 이러한 문제를 해결하기 위해 “XOR‑elimination reduction”이라는 변환 절차를 설계한다. 핵심 아이디어는 XOR 연산이 등장하는 모든 Horn 규칙을, 동일한 의미를 유지하면서 XOR를 전혀 사용하지 않는 새로운 규칙 집합으로 치환하는 것이다. 이를 위해 저자들은 다음과 같은 전제조건을 정의한다. 첫째, Horn 이론이 XOR‑linear이어야 한다. 즉, 각 규칙의 바디와 헤드에 등장하는 XOR 표현식이 변수와 상수의 선형 결합 형태이며, 변수는 중복되지 않는다. 둘째, 프로토콜이 사용하는 키와 비밀값은 “정규 형태”(normal form)로 표현될 수 있어야 하며, 이는 일반적인 대칭키 암호화와 MAC, 해시 등과 호환된다.

변환 과정은 크게 두 단계로 나뉜다. 1) 정규화 단계에서는 모든 XOR 식을 표준화된 순서와 부호(+)로 재배열하고, 동치 관계인 a⊕b = b⊕a, a⊕a = 0 등을 이용해 식을 최소화한다. 2) 치환 단계에서는 각 XOR 식을 새로운 함수 기호 fₓᵒʳ(·) 로 대체하고, 해당 함수에 대한 추가 Horn 규칙을 삽입한다. 예를 들어, a⊕b 를 fₓᵒʳ(a,b) 로 바꾸고, fₓᵒʳ가 결합법칙과 항등원 0을 만족하도록 fₓᵒʳ(a,0) → a, fₓᵒʳ(a,b) → fₓᵒʳ(b,a) 등과 같은 규칙을 추가한다. 이렇게 하면 원래 XOR 연산이 갖는 대수적 특성이 Horn 규칙 수준에서 명시적으로 모델링되므로, XOR를 전혀 인식하지 못하는 도구에도 동일한 보안 검증을 수행할 수 있다.

이 변환이 보존성을 갖는다는 증명은 두 부분으로 구성된다. (i) 정향성 보존: 원 이론에서 목표 사실이 도출 가능하면 변환된 이론에서도 동일한 목표가 도출된다. 이는 변환 규칙이 원 XOR 연산의 모든 가능한 결합을 완전하게 재현하기 때문에 성립한다. (ii) 역향성 보존: 변환된 이론에서 목표가 도출되면 원 이론에서도 목표가 도출될 수 있다. 이는 변환 과정에서 도입된 새로운 함수 기호가 실제 XOR 연산과 동형임을 보이는 동등성 사상이 존재함을 이용한다.

실험적으로 저자들은 여러 실제 프로토콜—예를 들어, Needham‑Schroeder‑Public‑Key 변형, Kerberos 인증 흐름, 그리고 몇몇 무선 센서 네트워크 프로토콜—에 변환을 적용하고 ProVerif와 결합했다. 대부분의 경우 기존에 ProVerif가 처리하지 못하던 XOR 사용 사례를 성공적으로 분석했으며, 특히 한 프로토콜에서는 변환 후 새로운 재전송 공격을 발견했다. 이는 변환이 단순히 도구 호환성을 제공하는 수준을 넘어, 실제 보안 취약점을 드러낼 수 있음을 보여준다.

이 논문의 기여는 다음과 같다. 첫째, XOR‑linear Horn 이론에 대한 일반적인 변환 프레임워크를 제공함으로써, 기존 도구들의 적용 범위를 크게 확장했다. 둘째, 변환 과정이 자동화 가능하도록 구현했으며, 실험 결과는 변환 오버헤드가 비교적 낮고, 검증 시간도 기존 XOR‑free 사례와 비슷하거나 약간 증가하는 수준에 머물렀다. 셋째, 새로운 공격 발견 사례를 통해 변환이 실용적인 보안 검증에 기여할 수 있음을 입증했다. 앞으로는 더 복잡한 대수 구조(예: 동형 암호, 멀티‑XOR 연산)에도 확장 가능한 일반화 연구가 기대된다.