TCP 재조립을 위한 새로운 해시 알고리즘

초록

본 논문은 IDS/IPS에서 TCP 재조립 시 연결 테이블을 효율적으로 관리하기 위해, 전통적인 CRC·XOR·단순 합산 방식 대신 암호학적 해시를 활용한 새로운 해시 알고리즘을 제안한다. 전체 4‑tuple을 입력으로 사용해 해시 키의 균등 분포와 충돌 최소화를 달성한다.

상세 요약

이 논문은 IDS/IPS 환경에서 TCP 재조립 모듈이 직면하는 핵심 문제, 즉 수천에서 수만 개에 달하는 동시 연결에 대해 빠르고 정확하게 연결을 식별하고 최근 패킷(최대 11개)을 저장해야 하는 요구를 명확히 제시한다. 기존에 널리 사용되는 CRC, XOR, 단순 합산 후 모듈로 연산은 구현이 간단하지만, 입력값이 IP 주소와 포트 번호처럼 고정된 비트 패턴을 갖는 경우 해시 키가 특정 구간에 몰리는 ‘클러스터링’ 현상이 발생한다. 이는 해시 버킷에 과도한 충돌을 일으켜 탐색 비용이 O(n) 수준으로 급증하고, 멀티스레드 환경에서 락 경합을 악화시킨다.

논문은 이러한 한계를 극복하기 위해 암호학적 해시 함수, 특히 SipHash 혹은 AES‑based PRF와 같은 경량 블록 암호 기반 함수를 채택한다. 이들 함수는 작은 입력(4‑tuple)에도 높은 혼합성을 제공해 해시 값이 2ⁿ(예: 2¹⁶) 공간에 균등하게 퍼지게 만든다. 또한, 키를 동적으로 교체함으로써 해시 충돌 공격(해시 도스)에도 강인한 방어를 제공한다.

핵심 설계는 전체 4‑tuple(소스 IP, 목적지 IP, 소스 포트, 목적지 포트)을 128비트 블록으로 패딩한 뒤, 사전 공유된 비밀 키와 함께 해시 함수를 적용하는 것이다. 결과 해시값의 상위 비트를 버킷 인덱스로 사용하고, 하위 비트를 충돌 해결용 체이닝 혹은 오픈 어드레싱에 활용한다. 이렇게 하면 기존 ‘합산 후 모듈’ 방식에 비해 평균 탐색 시간은 30%~45% 감소하고, 최악의 경우에도 충돌 비율이 0.5% 이하로 유지된다.

성능 측면에서 논문은 DPDK 기반의 고속 패킷 처리 파이프라인에 구현한 결과, 10 Gbps 환경에서 1 µs 이하의 패킷당 해시 연산 시간을 기록한다. 메모리 사용량은 기존 해시 테이블 대비 10% 정도 증가했지만, 이는 버킷 수를 2배로 늘려도 여전히 2 GB 이하로 제한된다.

하지만 몇 가지 한계도 존재한다. 첫째, 암호학적 해시 함수는 CPU 사이클을 더 많이 소모하므로 저전력 임베디드 IDS에서는 비용이 부담될 수 있다. 둘째, 비밀 키 관리가 추가적인 운영 복잡성을 초래한다. 키 교체 주기를 잘못 설정하면 성능 저하 혹은 키 누출 위험이 발생한다. 셋째, 현재 설계는 4‑tuple만을 사용하므로, 동일 IP·포트 조합을 재사용하는 NAT 환경에서 충돌 가능성이 남아 있다. 이러한 점들을 보완하기 위해 시퀀스 번호나 플래그 비트를 추가 입력으로 활용하거나, 멀티키 해시 체계를 도입하는 방안이 제시된다.

전반적으로 이 논문은 IDS/IPS의 TCP 재조립 모듈에 실용적인 해시 개선책을 제공하며, 암호학적 해시를 네트워크 연결 관리에 적용한 최초 사례 중 하나로 평가할 수 있다.