선택적 DoS 공격에 대비한 Tor 터널 보안 강화 방안

초록

본 논문은 Tor 네트워크에서 악성 릴레이가 수행하는 선택적 서비스 거부(DoS) 공격을 탐지하고 차단하기 위한 두 단계 프로빙 알고리즘을 제안한다. 첫 단계에서는 무작위로 회로를 구축하고 기본 연결 테스트를 수행해 정상 회로와 손상 회로를 구분한다. 두 번째 단계에서는 각 회로의 출구 릴레이를 다른 후보 회로의 출구와 교환해 재검증함으로써 손상된 회로를 높은 확률로 식별한다. 확률 모델을 통해 오류율을 분석하고, 시뮬레이션 및 실제 실험을 통해 전체 Tor 대역폭의 5% 수준의 오버헤드로 높은 탐지 성공률을 확인하였다.

상세 분석

이 논문은 Tor의 기본 설계가 세 개의 릴레이(입구, 중간, 출구)로 구성된 회로를 사용한다는 점에 착안해, 선택적 DoS 공격이 회로 재구성을 강제함으로써 공격자가 회로를 관찰할 확률을 높이는 메커니즘을 목표로 한다. 제안된 탐지 알고리즘은 크게 두 단계로 나뉜다. 첫 번째 단계에서는 Tor 클라이언트가 기존 경로 선택 규칙에 따라 무작위 회로를 생성하고, 간단한 웹 파일 다운로드를 통해 회로의 기능성을 검사한다. 선택적 DoS 공격이 존재하면, 손상된 릴레이가 포함된 회로는 대부분 실패하고, 오직 (1) 입구와 출구 모두가 손상된 회로(C‑X‑C)와 (2) 전혀 손상되지 않은 회로(H‑H‑H)만이 살아남는다. 두 번째 단계에서는 살아남은 회로 각각을 평가 대상으로 삼아, K개의 다른 후보 회로와 출구 릴레이를 교환한 뒤 다시 프로빙한다. 교환된 회로가 성공하면 해당 후보가 동일 종류(손상 혹은 정상)임을 의미하고, 성공 횟수가 사전 정의된 임계값 Th 이상이면 평가 회로를 정상으로 판단한다. 이 과정은 손상 회로가 대부분 다른 정상 회로와 조합될 때 실패하게 만들며, 정상 회로는 대부분 성공하게 된다.

논문은 이 과정을 수학적으로 모델링하여, 손상 릴레이 비율 t, 가드 릴레이 손상 비율 g, 첫 단계 회로 수 N, 두 번째 단계 후보 수 K, 임계값 Th 등을 변수로 하는 이항·초기하분포를 이용해 거짓 양성(FP) 및 거짓 음성(FN) 확률을 정확히 계산한다. 특히 가드 릴레이가 손상된 경우 선택적 DoS의 위력이 증폭되는 점을 고려해, g가 0, 1/3, 2/3, 1인 경우를 모두 분석한다. 결과적으로 K와 Th를 적절히 조정하면 FN을 5% 이하, FP를 2% 이하로 낮출 수 있음을 보였다.

성능 측면에서는 전체 Tor 대역폭의 약 5%만을 프로빙 트래픽으로 사용해도 충분한 탐지 정확도를 확보한다는 점을 강조한다. 시뮬레이션에서는 다양한 t값(0.1~0.3)과 네트워크 실패율 d를 가정했을 때, 평균 회로 재구성 시간은 10분 이내이며, 실제 실험에서도 선택적 DoS 공격을 수행하는 악성 릴레이를 효과적으로 차단함을 확인했다. 또한, 공격자가 프로빙 트래픽을 숨기기 위해 확률적 드롭이나 트래픽 위장 전략을 취할 경우에도, 파라미터 조정만으로 탐지 효율을 크게 저하시키지 못한다는 점을 논의한다.

이 논문의 주요 강점은 중앙 집중식 블랙리스트 방식이 아닌, 클라이언트 자체에서 소규모 프로빙만으로 손상 회로를 식별한다는 점이다. 따라서 네트워크 전체에 부하를 가하지 않으며, 실시간으로 회로 풀을 갱신할 수 있다. 다만, 가드 릴레이가 대규모로 손상될 경우 탐지 비용이 증가하고, 프로빙 트래픽이 공격자에게 노출될 위험이 존재한다는 제한점도 언급한다. 전반적으로 선택적 DoS 공격에 대한 실용적인 방어 메커니즘을 제시하며, Tor 보안 모델에 새로운 확률적 방어층을 추가한다.