엔트로피 기반 하이브리드 은폐 채널 탐지와 행동 분석

초록

본 논문은 다중 프로토콜 계층에 동시에 존재하는 하이브리드 은폐 채널을 탐지하기 위해 엔트로피 변화를 이용한 메트릭을 제안한다. 공격자는 동일한 레이어에 여러 트랩도어를 삽입해 은밀한 통신을 구축하고, 기존 방화벽은 이러한 복합적인 은폐 스킴을 식별하기 어렵다. 저자는 각 은폐 매체별 엔트로피 특성을 모델링하고, 이를 기반으로 혼합 채널의 존재 가능성을 판단하는 탐지 엔진을 설계한다. 실험을 통해 제안 방법이 기존 탐지 기법 대비 높은 탐지율과 낮은 오탐률을 보임을 입증한다.

상세 요약

이 논문은 하이브리드 은폐 채널(Hybrid Covert Channel)의 개념을 명확히 정의하고, 기존 연구가 주로 단일 프로토콜 혹은 단일 트랩도어에 초점을 맞춘 점을 비판한다. 저자는 공격자가 여러 프로토콜 스택 레이어에 동시에 트랩도어를 배치함으로써 탐지를 회피하는 시나리오를 제시하고, 이러한 복합 구조가 엔트로피 분포에 미치는 영향을 정량화한다. 핵심 아이디어는 정상 트래픽과 은폐 트래픽 사이의 엔트로피 차이를 측정하여 이상 징후를 포착하는 것이다. 이를 위해 저자는 각 프로토콜 필드별 비트 분포와 전송 패턴을 분석하고, Shannon 엔트로피를 기반으로 ‘엔트로피 스코어’를 산출한다. 이 스코어는 다중 트랩도어가 동시에 작동할 경우 상호 보강 효과를 일으켜 정상 트래픽 대비 더 큰 변동을 보이게 된다. 탐지 엔진은 실시간으로 수집된 패킷의 엔트로피 스코어를 윈도우 기반으로 누적하고, 사전에 정의된 임계값을 초과하면 하이브리드 은폐 채널 존재 가능성을 알린다. 논문은 또한 엔트로피 기반 메트릭이 프로토콜 독립적이라는 장점을 강조한다. 즉, 새로운 은폐 스킴이 등장하더라도 비트 레벨의 무작위성 변화는 엔트로피 계산에 반영되므로 기존 시그니처 기반 탐지보다 확장성이 높다. 실험에서는 TCP, UDP, ICMP 등 세 가지 대표 프로토콜에 대해 각각 2~3개의 트랩도어를 삽입한 시나리오를 구성하고, 정상 트래픽과 비교했을 때 평균 엔트로피 감소율이 12%에서 35% 사이임을 보고한다. 탐지 정확도는 94%에 달했으며, 오탐률은 3% 이하로 유지되었다. 그러나 논문은 엔트로피 계산에 필요한 충분한 샘플 크기가 확보되지 않을 경우 탐지 민감도가 저하될 수 있음을 인정한다. 또한, 고도로 최적화된 공격자는 엔트로피 변화를 최소화하도록 패딩을 삽입할 가능성이 있어, 추가적인 통계적 특성(예: 패킷 간 시간 간격, 플로우 지속 시간)과 결합한 다중 레이어 탐지가 필요함을 시사한다. 전반적으로 이 연구는 엔트로피 기반 접근법을 통해 하이브리드 은폐 채널 탐지의 이론적 근거와 실용적 구현 방안을 제시했으며, 향후 연구 방향으로 머신러닝 기반 이상 탐지와 실시간 네트워크 모니터링 시스템 통합을 제안한다.