악성코드 필터링을 위한 강인 제어 프레임워크

** 본 논문은 네트워크 보안 분야에 강인 제어 이론을 도입하여 악성코드(멀웨어) 필터링 문제를 정량적으로 다룬다. 서론에서는 워머·디도스와 같은 급속 확산 공격이 기존 탐지·차단 메커니즘의 ‘베이스 레이트 오류’에 의해 효과적으로 억제되지 못하는 현실을 제시한다. 특히 정상 트래픽이 압도적으로 많아 작은 탐지 오류가 대량의 오탐을 초래한다는 점을 강조하며, 동적 방화벽·필터링 정책이 필요함을 설득한다. 관련 연구 파트에서는 포트 기반 동적 필터링, 상태 기반 패킷 검사, IP 주소 기반 접근 제어, 통계적 점수 기반 패킷 폐기 등 다양한 기존 기법을 정리한다. 이들 방법은 주로 휴리스틱 규칙에 의존하거나, 공격 패턴을 사전에 가정한다는 한계를 가진다. 논문은 이러한 한계를 극복하기 위해 수학적 최적화와 게임 이론을 결합한 프레임워크를 제안한다. **모델링**에서는 서브네트워크를 하나의 ‘노드’로 보고, 해당 노드에 들어오는 악성 패킷 수 x(t) 를 연속시간 선형 미분방정식 ẋ = Ax + Bu + Dwₐ 로 표현한다. 여기서 u(t)는 필터링 속도, wₐ(t)는 외부 공격 교란, A는 자연 감쇠(악성 패킷 자체 감소) 계수, B는 필터링 효율(악성 비율 b 에 따라 부호가 음수) 를 나타낸다. 측정식 y = Cx + Ewₙ 은 악성 패킷을 탐지하는 센서(IDS 등)의 출력이며, 측정 잡음 wₙ 을 포함한다. **목표 비용**은 제어 출력 z = Hx + Gu 로 정의하고, H∞ 비용 L = ‖z‖/‖w‖ 를 최소화한다. 이는 시스템이 공격자에게 입히는 피해(악성 패킷 전파) 대비 공격자가 가할 수 있는 교란(악성 트래픽·측정 잡음) 비율을 최소화한다는 의미다. 비용 구조는 악성 패킷 자체와 필터링으로 인한 정상 트래픽 손실을 동일하게 가중치 부여해 ‘생존 가능성(survivability)’을 강조한다. **제어 설계**는 H∞ 최적 제어 이론에 기반한다. 먼저 리카티 방정식(9) ATZ + ZA − Z(B(GᵀG)⁻¹Bᵀ − γ⁻²DDᵀ)Z + HTH = 0 을 풀어 양의 정부호 행렬 Z̄γ 를 얻고, 알게‑베일리 방정식(11) AΣ + ΣAᵀ − Σ(CTN⁻¹C − γ⁻²HTH)Σ + DDᵀ = 0 로 Σ̄γ 를 구한다. 이후 상태 추정기 ẋ̂ =