보안 채널을 노린 은밀한 MITM 기반 서비스 거부 공격

초록

본 논문은 IPsec 기반 VPN에서 은밀한 중간자(Man‑in‑the‑Middle) 공격자가 재전송 방지 윈도우 설정 여부와 크기에 따라 증폭형 서비스 거부(DoS) 공격을 수행할 수 있음을 입증한다. 작은 윈도우, 충분한 윈도우, 그리고 윈도우가 없을 때 각각 다른 공격 시나리오를 제시하고, 게이트웨이만 수정하면 방어 가능한 해결책을 제안한다.

상세 분석

이 논문은 기존 보안 채널 연구가 주로 기밀성·무결성에 초점을 맞춘 반면, 서비스 가용성, 특히 DoS와 성능 저하에 대한 정의와 방어가 부족함을 지적한다. 저자들은 “은밀한 MITM”이라는 새로운 위협 모델을 정의한다. 이 모델은 공격자가 네트워크 경로에 물리적으로 존재하거나 라우팅을 조작해 패킷을 가로채고, 원본 패킷을 변조하거나 복제하지만, 양쪽 통신 당사자는 공격 존재를 감지하지 못한다는 전제이다. 특히 공격자는 패킷을 재전송하거나 순서를 뒤바꾸는 수준을 넘어, 동일한 패킷을 복제해 전송 속도를 인위적으로 높임으로써 IPsec의 재전송 방지(anti‑replay) 메커니즘을 교란한다.

첫 번째 공격은 anti‑replay 윈도우가 비활성화된 경우를 가정한다. 공격자는 동일한 암호화된 ESP 패킷을 다수 복제해 전송함으로써 수신 측 게이트웨이가 이를 정상 패킷으로 오인하고, 내부 TCP 흐름 제어 메커니즘이 혼란에 빠진다. 결과적으로 TCP 세그먼트가 손실·재전송을 반복하며, 대역폭이 급격히 소모돼 서비스가 마비된다. 이 경우 방어는 단순히 anti‑replay 기능을 활성화하는 것만으로도 충분하다.

두 번째 공격은 “작은” anti‑replay 윈도우(예: 3264개) 상황을 목표로 한다. 공격자는 윈도우 크기보다 약간 많은 복제 패킷을 전송한다. 수신 게이트웨이는 최신 시퀀스 번호를 기준으로 윈도우를 슬라이딩시키지만, 복제된 오래된 패킷이 윈도우 안에 남아 있어 정상 패킷과 혼동된다. 이때 TCP는 중복 ACK와 재전송 타이머가 과도하게 트리거되면서 전송 효율이 급감한다. 논문은 “충분한” 윈도우 크기를 수학적으로 분석해, 일반적인 트래픽 패턴에서 256512 정도가 안전하다고 제시한다. 그러나 실제 네트워크에서는 RTT 변동, 패킷 손실 등으로 인해 이론적 충분성은 보장되지 않는다.

세 번째 공격은 “충분히 큰” anti‑replay 윈도우를 가정한다. 여기서도 공격자는 소수의 패킷을 복제하고, 복제된 패킷을 원본보다 약간 앞서 전송한다. 수신 게이트웨이는 윈도우가 충분히 커서 복제 패킷을 정상으로 받아들이고, 내부에 존재하는 “패킷 재정렬” 로직이 이를 순서대로 처리한다. 그러나 복제된 패킷이 원본보다 먼저 도착하면, TCP는 중복된 데이터에 대해 ACK를 전송하고, 송신 측은 불필요한 재전송을 수행한다. 이 과정이 반복되면, 실제 데이터 전송량 대비 ACK와 재전송 트래픽이 급증해 채널 효율이 크게 저하된다. 즉, anti‑replay 윈도우 크기만으로는 완전한 방어가 불가능하며, 패킷 타이밍과 순서 제어가 핵심 약점임을 보여준다.

논문은 이러한 공격을 방어하기 위해 두 개의 게이트웨이만 수정하는 솔루션을 제안한다. 첫째, ESP 헤더에 타임스탬프와 난수 기반 시퀀스 번호를 추가해, 동일 패킷이 일정 시간 내에 재전송될 경우 자동으로 폐기한다. 둘째, 수신 게이트웨이는 일정 시간 창(window) 내에 동일 시퀀스·타임스탬프 조합이 두 번 이상 나타나면 패킷을 드롭하고, 해당 흐름에 대한 경고를 로그에 남긴다. 이 방식은 기존 IPsec 프로토콜 구조를 크게 변경하지 않으며, 기존 하드웨어 가속 기능과도 호환된다. 또한, 논문은 이러한 방어 메커니즘을 형식적으로 모델링하고, 시뮬레이션을 통해 공격 성공률이 95% 이하로 감소함을 입증한다.

핵심 인사이트는 다음과 같다. (1) anti‑replay 윈도우는 DoS 방어에 충분하지 않으며, 타임스탬프 기반 중복 검출이 필요하다. (2) 공격자는 최소한의 복제와 타이밍 조작만으로도 대규모 서비스 저하를 유발할 수 있다. (3) 보안 채널 설계 시 가용성(DoS 저항성)을 명시적으로 정의하고, 형식 검증을 통해 구현 단계까지 검증해야 한다. 이러한 관점은 향후 VPN, TLS, QUIC 등 다양한 보안 프로토콜에 적용 가능한 보안‑가용성 통합 설계 패러다임을 제시한다.