DNSSEC 보안을 공식적으로 증명하다: 도메인 이름 해석의 안전성을 위한 형식적 접근법

초록

본 논문은 DNSSEC 프로토콜의 포괄적이고 자동화된 형식적 보안 분석을 위한 첫 번째 프레임워크인 DNSSECVerif를 소개합니다. SAPIC+ 기반의 이 모델을 통해 DNSSEC의 4가지 핵심 보안 보장을 공식적으로 증명하고, 표준 내의 중요한 모호성(특히 NSEC와 NSEC3의 불안전한 공존)을 발견했습니다. 또한 모델은 3가지 유형의 알려진 공격을 자동으로 재발견했으며, 대규모 측정 연구를 통해 이러한 결함의 현실적 영향을 확인했습니다.

상세 분석

이 연구의 기술적 핵심은 DNSSEC의 복잡한 동작을 공식 검증 도구(SAPIC+)로 모델링하면서도 현실 세계의 정교함을 포착한 점에 있습니다. 주요 통찰 및 분석은 다음과 같습니다:

1. 모델링 혁신: 기존 연구가 암호화 요소를 생략하거나 지나치게 추상화한 반면, 본 연구는 상태 저장 캐싱, 세밀한 동시성 제어, 암호화 연산을 모두 포함한 고충실도 모델을 구축했습니다. 특히 캐시 동기화를 위한 RRset 단위 잠금 전략은 구현 모호성에서 비롯된 타이밍 취약점을 분석 가능하게 만든 핵심 설계 결정입니다.
2. 표준의 근본적 결함 발견: 가장 중요한 발견은 NSEC와 NSEC3 기록이 동일한 존 내에 안전하게 공존할 수 없다는 공식적 증명입니다. 이는 표준의 모호성이 초래한 설계상의 근본적 취약점으로, 공격자가 인증 간극을 이용해 캐시를 오염시킬 수 있습니다.
3. 검증 방법론의 완성성: 형식적 분석만으로 그치지 않고, 발견된 취약점을 실제 소프트웨어(BIND, Unbound 등)에 대한 표적 테스트와 220만 개 이상의 공개 리졸버를 대상으로 한 대규모 측정 연구로 검증함으로써 ‘모델-현실 간극’을 효과적으로 해소했습니다. 이를 통해 학문적 발견이 실제 인터넷 인프라에 미치는 영향을 정량화했습니다.
4. 자동화된 공격 재발견: 모델이 NSEC 기반 존 열거, 알고리즘 다운그레이드 공격, 검증되지 않은 캐시 재사용을 통한 서비스 거부 공격 등 3가지 알려진 공격 클래스를 자동으로 재발견한 것은 모델의 정확성과 실용성을 강력하게 입증하는 결과입니다.