IPv6 은폐 통신 탐지를 위한 AI·ML 기반 실시간 검출 프레임워크

초록

본 논문은 IPv6 확장 헤더에 숨겨진 은폐 통신을 현실적인 데이터셋으로 재현하고, 랜덤 포레스트·그래디언트 부스팅·CNN·LSTM 등 다양한 머신러닝·딥러닝 모델을 학습시켜 90% 이상의 검출 정확도를 달성한다. 또한 데이터 증강과 생성형 AI 기반 스크립트 정제 과정을 도입해 모델의 적응성과 지속 가능한 업데이트 방안을 제시한다.

상세 분석

이 연구는 IPv6의 구조적 특성을 면밀히 분석한 뒤, 흐름 라벨, 페이로드 길이, 주소 공간 등 4가지 주요 헤더 필드를 목표로 은폐 채널을 구현한다. 기존 연구가 단순히 필드에 고정된 비트 패턴을 삽입하거나 pcapStego와 같은 도구로 비현실적인 트래픽을 만들었던 것과 달리, 저자들은 실제 네트워크 흐름을 유지하면서 암호화된 데이터를 삽입한다. 이를 위해 CAIDA 2019 IPv6 Launch Day 트래픽을 베이스라인으로 사용하고, 파이썬 스크립트로 다양한 대칭·비대칭 암호화 방식을 적용해 ‘정상’ 트래픽과 구분이 어려운 은폐 패킷을 생성한다. 데이터셋은 정상 패킷 411,720개와 은폐 패킷 313,738개(홉리밋 인코딩 116,628개, 주소 공간 76,575개, 길이 암호화 75,823개, 흐름 라벨 44,712개)로 구성되어 있다.

전처리 단계에서는 도메인 지식을 활용해 은폐 가능성이 높은 헤더 필드만을 선택하고, 수치형 필드는 정규화, 범주형은 라벨 인코딩을 적용한다. 특징 선택 과정에서 흐름 라벨과 페이로드 길이의 변동성이 높은 것이 모델 성능에 크게 기여함을 확인하였다.

모델링 측면에서는 전통적인 트리 기반 알고리즘(Random Forest, Gradient Boosting)과 시계열·공간 특성을 포착할 수 있는 CNN·LSTM을 모두 실험하였다. 트리 모델은 특징 중요도 기반 해석 가능성을 제공했으며, 특히 흐름 라벨 변동과 홉리밋 변조가 주요 탐지 포인트로 작용했다. 반면 CNN은 헤더 필드 간의 국소 패턴을, LSTM은 패킷 시퀀스 내 시간적 상관관계를 학습해 은폐 채널을 높은 정밀도로 식별했다. 교차 검증 결과, 모든 모델이 90% 이상 정확도를 보였으며, LSTM이 가장 낮은 FPR(≈3%)을 기록했다.

특이한 점은 생성형 AI(대형 언어 모델)를 활용해 은폐 스크립트를 자동으로 개선하고, 탐지 결과에 따라 새로운 변조 패턴을 생성해 데이터셋을 지속적으로 확장한 것이다. 프롬프트 엔지니어링을 통해 “어떤 헤더 필드에 어떤 암호화 방식을 적용하면 탐지 회피가 가능한가”라는 질문을 모델에 제시하고, 얻어진 아이디어를 실제 스크립트에 반영함으로써 적응형 방어 체계를 구현했다.

하지만 몇 가지 한계도 존재한다. 은폐 트래픽이 완전히 합성된 점, 실제 운영망에서 발생하는 복합적인 프로토콜 상호작용(예: IPv6와 MPLS, 터널링 등)을 포함하지 않은 점, 그리고 라벨링 과정이 자동화되지 않아 인간 전문가의 개입이 필요했던 점이 지적된다. 또한 모델이 특정 헤더 변조에 과도하게 최적화될 경우, 새로운 은폐 기법에 대한 일반화 능력이 저하될 위험이 있다.

전반적으로 이 논문은 IPv6 은폐 통신 탐지에 필요한 데이터 수집·생성 파이프라인을 체계화하고, 다양한 ML/DL 모델을 비교 평가함으로써 실무 적용 가능성을 높였다. 향후 연구에서는 실제 운영망에서 실시간 패킷 캡처와 eBPF 기반 전처리를 결합하고, 멀티플 레이어(네트워크·애플리케이션) 은폐 기법을 포함한 데이터셋을 구축함으로써 모델의 견고성을 더욱 강화할 필요가 있다.