QoS와 보안을 동시에 만족하는 QESP 프로토콜

초록

본 논문은 기존 IPSec ESP가 트래픽 클래스 정보를 암호화해 QoS 분류를 방해하는 문제를 해결하고자, DSCP와 5‑tuple 정보를 평문에 남기는 Q‑ESP 패킷 구조를 제안한다. NetBSD 커널에 구현한 결과, 보안 기능은 기존 ESP와 동등하면서도 처리량 손실이 미미하고, 우선순위 기반 흐름 제어가 정상적으로 동작함을 실험을 통해 입증한다.

상세 분석

Q‑ESP는 IPSec 프레임워크 내에서 QoS와 보안을 동시에 만족시키기 위한 설계 선택을 상세히 제시한다. 기존 ESP는 전송 계층 헤더(포트 번호, 프로토콜 식별자)를 암호화함으로써 라우터·스위치가 수행하는 Multi‑Field Classifier(MFC)가 요구하는 5‑tuple 정보를 차단한다. 이는 DSCP가 IP 헤더에 존재함에도 불구하고, 암호화된 페이로드 안에 숨겨진 상태이므로 활성 입장 제어(active admission control)가 불가능해진다. Q‑ESP는 이러한 구조적 한계를 극복하기 위해 두 가지 핵심 메커니즘을 도입한다. 첫째, ESP 헤더와 페이로드 사이에 “QoS Extension Header”를 삽입하여 DSCP와 5‑tuple(소스·목적지 IP, 소스·목적지 포트, 프로토콜) 정보를 평문으로 유지한다. 둘째, 기존 ESP와 동일한 암호화·인증 알고리즘을 적용해 기밀성·무결성을 보장하면서, 추가된 QoS 필드에 대해서는 별도의 인증 태그를 포함시켜 위변조 위험을 최소화한다.

패킷 포맷은 IPv4와 IPv6 각각에 맞게 정의되었으며, 트랜스포트 모드와 터널 모드 모두를 지원한다. IPv4에서는 기존 ESP 헤더 뒤에 1바이트 DSCP, 2바이트 소스 포트, 2바이트 목적지 포트, 1바이트 프로토콜 식별자를 배치하고, 이후에 암호화된 페이로드와 인증 데이터가 이어진다. IPv6에서도 동일한 필드 구성을 유지하되, Next Header 필드에 Q‑ESP를 명시한다.

처리 흐름은 송신 측에서 (1) 원본 패킷을 수집·분류, (2) QoS Extension Header를 삽입, (3) ESP 페이로드를 암호화, (4) 인증 태그를 생성하는 순서로 진행된다. 수신 측은 (1) 인증 태그 검증, (2) 암호화 해제, (3) QoS Extension Header를 읽어 원본 5‑tuple을 복원하고, (4) 기존 ESP와 동일하게 패킷을 전달한다.

보안 분석에서는 Q‑ESP가 ESP와 동일한 암호학적 보장을 제공함을 증명한다. QoS 필드가 평문에 노출되지만, 해당 필드 자체는 트래픽 우선순위 결정에만 사용되며, 인증 태그가 포함돼 위변조를 탐지한다. 또한, 공격자가 DSCP 값을 임의로 조작하더라도 인증 실패로 패킷이 폐기되므로, passive admission control의 위험을 크게 감소시킨다.

성능 평가에서는 NetBSD 7.0 기반 테스트베드에서 다양한 패킷 크기(64 B~4096 B)와 암호화 알고리즘(AES‑CBC, HMAC‑SHA1 등)을 사용해 ESP와 Q‑ESP의 처리량을 비교했다. 결과는 평균 3 %~7 % 정도의 오버헤드가 발생했으며, 특히 큰 패킷에서는 차이가 미미했다. 우선순위 제어 실험에서는 Q‑ESP가 DSCP 기반 트래픽 구분을 정확히 수행했으며, QoS 정책 적용 전후의 스루풋 차이가 기대한 대로 나타났다.

요약하면, Q‑ESP는 기존 IPSec 인프라를 크게 변경하지 않으면서도, 라우터·스위치가 필요한 QoS 정보를 접근하도록 허용하고, 보안 수준은 유지한다는 점에서 실용적이며, 특히 실시간 음성·영상 서비스와 같은 지연 민감형 애플리케이션에 적합한 솔루션이다.