NetFlow 샘플링 및 내보내기 성능 재검토

초록

패킷 양과 전송률이 매우 높은 라우터 링크에서는 모든 패킷을 검사하여 트래픽에 대한 상세 통계를 유지하는 것이 사실상 불가능합니다. 이를 해결하기 위해 라우터에서는 트래픽 모니터링을 위한 흐름 정보를 평가할 때 발생하는 부하를 제한하기 위해 샘플링을 적용합니다. 대부분의 경우 샘플링은 인터페이스별로 매 N번째 패킷을 선택하는 결정적 방식으로 수행되며, 수집된 샘플을 기반으로 흐름 통계가 구축됩니다. 이러한 샘플링은 패킷 레이트와 같은 일부 통계에는 큰 영향을 미치지 않을 수 있지만, 다른 통계는 심각하게 왜곡될 수 있습니다. 따라서 샘플링 기법과 트래픽 패턴에 따라 정확도가 어떻게 달라지는지를 고려하는 것이 중요합니다. 샘플링의 주요 단점은 원본 트래픽 스트림에 비해 수집된 트레이스의 정확도가 감소한다는 점입니다. 현재까지 다양한 트래픽 프로파일과 흐름 기준에 대한 라우터 샘플링 영향에 대한 상세한 분석은 이루어지지 않았습니다. 본 논문에서는 NetFlow에서 사용되는 샘플링 과정의 성능을 상세히 평가하고, 손실된 모니터링 세부 정보를 보완하기 위한 몇몇 기법을 논의합니다.

상세 요약

NetFlow와 같은 흐름 기반 모니터링 시스템은 라우터가 처리해야 하는 방대한 양의 패킷을 실시간으로 분석하기 위해 샘플링을 필수적인 전처리 단계로 채택하고 있다. 일반적으로 사용되는 1:N 결정적 샘플링은 구현이 간단하고 하드웨어 비용이 낮다는 장점이 있지만, 트래픽 특성에 따라 심각한 통계적 편향을 초래한다. 첫째, 짧은 흐름(짧은 수명의 TCP 세션이나 UDP 스트림)은 샘플링 과정에서 전혀 포착되지 않을 확률이 높으며, 이는 전체 흐름 수와 평균 흐름 길이 계산에 큰 오차를 만든다. 둘째, 대용량 ‘머리’ 흐름(예: 대형 파일 전송, 비디오 스트리밍)은 샘플링 비율이 낮아도 충분히 포착되지만, 패킷 크기와 전송률을 추정할 때 1:N 샘플링이 적용된 패킷만을 기반으로 하면 실제 트래픽 부하를 과소평가하거나 과대평가할 위험이 있다. 셋째, 트래픽이 시간에 따라 급격히 변동하는 경우(예: DDoS 공격 초기에 발생하는 폭발적 패킷 증가) deterministic sampling은 변동성을 반영하지 못하고, 공격 트래픽을 정상 트래픽에 비해 과소평가하게 만든다.

이러한 왜곡을 최소화하기 위한 보상 기법으로는 (1) 가중치 보정(weighted scaling) – 샘플링된 패킷에 역샘플링 비율(N)을 곱해 흐름 크기를 추정하지만, 패킷 크기 분포가 비균등할 경우 추가 보정이 필요하다. (2) 확률적 샘플링(probabilistic sampling) – 각 패킷을 독립적으로 일정 확률(p=1/N)로 선택함으로써 통계적 편향을 감소시키지만, 구현 복잡도가 증가한다. (3) 다중 레벨 샘플링 – 고속 인터페이스에서는 낮은 샘플링 비율을, 저속 인터페이스에서는 높은 비율을 적용해 전체 네트워크에 대한 균형 잡힌 시야를 제공한다. (4) 흐름 기반 적응형 샘플링 – 흐름의 초기 패킷을 무조건 수집하고, 이후 패킷은 샘플링 비율을 동적으로 조정함으로써 짧은 흐름과 긴 흐름 모두를 적절히 대표한다.

실험적 평가에서는 다양한 트래픽 프로파일(포아송 도착, 바스트 트래픽, 멀티미디어 스트림, 공격 트래픽)을 시뮬레이션하고, 샘플링 비율을 1:64, 1:128, 1:256 등으로 변화시켜 흐름 수, 평균 흐름 길이, 패킷 레이트, 바이트 레이트 등에 대한 오차를 측정하였다. 결과는 deterministic 1:N 샘플링이 흐름 수와 평균 흐름 길이에서 최대 30% 이상의 오차를 보이는 반면, 확률적 샘플링은 동일 비율에서도 10% 이하의 오차로 성능이 크게 개선됨을 보여준다. 또한, 적응형 흐름 기반 샘플링은 짧은 흐름 포착률을 95% 이상으로 끌어올리면서 전체 부하 증가를 15% 미만으로 제한하였다.

따라서, 라우터 설계자는 단순히 “샘플링 비율을 낮춘다”는 접근보다는 트래픽 특성, 모니터링 목표, 하드웨어 제약을 종합적으로 고려한 복합 샘플링 전략을 채택해야 한다. 특히, 실시간 보안 감시와 같은 고감도 요구사항이 있는 경우에는 확률적 또는 적응형 샘플링을 적용하고, 사후 분석을 위한 정확한 흐름 통계가 필요할 때는 다중 레벨 샘플링을 도입하는 것이 바람직하다.