합리적 접근을 통한 암호 프로토콜 분석

초록

본 논문은 게임 이론을 활용해 두 당사자 간 암호 프로토콜을 모델링하고, 악의적 행위자를 포함한 모든 전략에 대해 균형 조건을 도출함으로써 프로토콜의 안전성을 강화하는 방법을 제시한다.

상세 분석

이 연구는 전통적인 암호 프로토콜 분석이 가정하는 ‘정직한’ 혹은 ‘반정직한’ 모델을 넘어, 참여자들의 행동을 ‘합리적 선택’이라는 게임 이론적 관점에서 재구성한다. 저자는 먼저 두 사람 게임(two‑person game)의 기본 개념—전략 집합, 효용 함수, 내시 균형(Nash equilibrium)—을 암호 프로토콜의 단계와 매핑한다. 예를 들어, 키 교환 단계에서 각 당사자는 ‘정직히 키를 전송한다’ 혹은 ‘키를 변조한다’는 두 가지 전략을 가질 수 있으며, 각각의 효용은 성공적인 비밀 공유 여부와 공격 성공률에 따라 정의된다.

논문은 이러한 매핑을 통해 기존의 ‘반정직 모델(malicious model)’을 정량화한다. 즉, 공격자는 가능한 모든 전략을 탐색하고, 정당한 참여자는 자신의 효용을 극대화하면서도 상대의 최악의 전략에 대비할 수 있는 ‘강력한 균형(strong equilibrium)’을 찾는다. 저자는 특히 ‘내시 균형 외에 서브게임 완전 균형(subgame‑perfect equilibrium)’과 ‘강제 균형(credible equilibrium)’을 도입해, 프로토콜이 중간 단계에서 탈선하더라도 전체적인 안전성을 유지하도록 설계할 수 있음을 보인다.

구체적인 사례 연구로는 고전적인 Diffie‑Hellman 키 교환, 비밀 공유(Secret Sharing) 스킴, 그리고 전자 화폐 결제 프로토콜을 선택했다. 각 사례마다 전략 공간을 명시하고, 효용 함수를 수식화한 뒤, 균형 조건을 도출한다. 예를 들어, Diffie‑Hellman에서는 ‘중간자 공격(man‑in‑the‑middle)’이 효용을 크게 감소시키는 반면, ‘키 검증 단계’를 추가함으로써 균형이 다시 정착한다는 것을 보였다.

또한, 논문은 ‘위험 회피(risk‑averse)’와 ‘위험 선호(risk‑seeking)’ 유형의 플레이어를 구분해, 동일 프로토콜이라도 효용 함수의 형태에 따라 최적 전략이 달라질 수 있음을 강조한다. 이는 실제 시스템 설계 시, 사용자의 행동 모델을 정확히 파악하고, 그에 맞는 보상·벌칙 메커니즘을 설계해야 함을 시사한다.

마지막으로, 저자는 게임 이론적 분석이 프로토콜 설계 단계에서 ‘전략적 견고성(strategic robustness)’을 확보하는 도구가 될 수 있음을 주장한다. 기존의 형식 검증(formal verification)이나 복잡도 기반 보안 모델과 병행하면, 악의적 행위자를 포함한 모든 가능한 시나리오에 대해 사전 검증이 가능해진다. 이는 특히 블록체인·분산 원장과 같이 참여자가 익명이고 동기가 다양할 때 유용하다.