패킷 타이밍을 이용한 네트워크 흐름 연관성 게임 이론적 분석

초록

본 논문은 네트워크 흐름이 동일한지를 판단하는 문제를 두 플레이어(트래픽 분석가와 공격자) 간의 제로섬 게임으로 모델링한다. 공격자는 패킷 지연, 더미 패킷 삽입, 패킷 삭제 등으로 흐름을 교란할 수 있으며, 분석가는 패킷 간 시간 차이를 이용한 통계 검정을 통해 흐름 연관성을 식별한다. 두 가지 공격 모델(지연 전용, 지연+채프+분할)에 대해 나쉬 균형을 도출하고, 최적 검출기의 계산 복잡도가 높아짐에 따라 실용적인 근사 검출기를 제안한다. 시뮬레이션 결과, 최적 공격 전략이 무작위 공격보다 탐지 성공률을 크게 낮추며, 채프와 패킷 손실이 존재해도 제안된 매칭·검정 방법이 유효함을 보인다.

상세 분석

이 논문은 네트워크 흐름 연관성 판단을 ‘트래픽 분석가(TA)’와 ‘공격자(AD)’ 사이의 제로섬 게임으로 정형화한다. 게임의 전략 공간은 TA가 선택할 수 있는 허용 오차(η) 이하의 허위 양성률을 보장하는 수용 영역(Λ)이며, AD는 패킷에 가할 지연, 더미 패킷 삽입, 패킷 삭제 등의 조작을 선택한다. 두 플레이어는 각각 자신의 효용을 최대·최소화하는데, 효용은 TA가 H1(연관성 존재)을 올바르게 판단할 확률이다.

첫 번째 모델에서는 AD가 최대 A_max 초까지 패킷을 지연시킬 수 있는 경우만을 고려한다. 이때 흐름 길이는 동일하고, TA는 인터패킷 지연(IPD) 차이를 이용한 likelihood‑ratio 검정을 설계한다. Neyman‑Pearson 정리에 따라 최적 검정은 지연 시퀀스 â 를 추정하는 형태이지만, â 의 결합 확률밀도함수를 정확히 계산하는 것은 NP‑hard에 해당한다. 따라서 저자는 â 를 직접 추정하는 근사 검정식(식 3)을 제시하고, AD의 최적 전략을 ‘ΔY(Δx+Δa)’를 최대화하는 방향으로 근사한다. 이는 AD가 자신의 변조 흐름을 정상 트래픽 분포와 가장 가깝게 만들려는 의도와 일치한다.

두 번째, 보다 강력한 모델에서는 AD가 P_A·n 비율까지 더미 패킷을 삽입하고, P_L·n 비율까지 패킷을 삭제할 수 있다. 이 경우 흐름 매핑이 1:1이 아니므로 TA는 각 원본 패킷 x_i와 관측 흐름 w_j 사이의 최적 매칭을 수행한다. 매칭은 시간 차이와 동기화 상수 ρ, 손실 임계값 γ를 이용해 구현되며, 매칭 후 남은 서브시퀀스에 대해 수정된 likelihood‑ratio 검정(식 11)을 적용한다. AD의 전략 공간은 지연 a, 삭제 표시 l, 더미 시퀀스 c 로 구성되며, 제약 조건에 따라 총 패킷 수가 변한다.

시뮬레이션에서는 실제 SSH와 HTTP 트래픽을 재현한 IPD 데이터를 사용해 두 시나리오(AWS 스테핑스톤, TOR 웹 접근)에서 성능을 평가한다. 결과는 (1) AD가 최적 지연을 선택했을 때 탐지 확률이 크게 감소하고, (2) 무작위 지연을 적용한 경우보다 약 2배 이상 차이가 난다. 또한 채프와 패킷 손실이 존재해도 최적 AD가 탐지 성공률을 현저히 낮추는 반면, 비최적(무작위) AD는 그 영향을 크게 받지 않는다.

핵심 인사이트는 다음과 같다. 첫째, 흐름 연관성 판단은 공격자의 행동을 명시적으로 모델링하고 게임 이론적 균형을 구함으로써 방어 한계와 최적 방어 전략을 정량화할 수 있다. 둘째, 실제 시스템에서는 최적 검정이 계산적으로 비현실적이므로, 공격을 추정하는 근사 검정이 충분히 좋은 성능을 제공한다. 셋째, 더미 트래픽과 패킷 손실을 포함한 복합 공격에서도 매칭 기반 검정이 유효함을 확인했다. 이러한 결과는 네트워크 보안·프라이버시 분야에서 흐름 분석 기반 탐지기의 설계와 공격 대비 전략 수립에 실질적인 가이드를 제공한다.