양자화 인식 훈련과 사후 양자화 전략을 비교한 경량 VAE MLP 기반 IoT 봇넷 탐지 모델

초록

본 연구는 사전 학습된 변분 오토인코더(VAE)의 인코더가 생성한 8차원 잠재 벡터를 입력으로 하는 MLP 분류기를 설계하고, 양자화 인식 훈련(QAT)과 사후 양자화(PTQ) 두 가지 양자화 기법을 적용해 N‑BaIoT와 CICIoT2022 데이터셋에서 탐지 정확도, 모델 크기, 추론 지연을 체계적으로 비교하였다. 결과는 PTQ가 정확도 손실이 최소이며 6배 속도 향상과 21배 압축을 달성한 반면, QAT는 3배 속도 향상과 24배 압축을 보였지만 정확도 감소가 더 뚜렷함을 보여준다.

상세 분석

이 논문은 IoT 환경에서 실시간 봇넷 탐지를 위한 경량 모델 설계라는 실용적 문제에 초점을 맞추었다. 기존 연구들은 고성능 딥러닝 모델이 높은 정확도를 보이지만, 메모리와 연산량이 제한된 엣지 디바이스에 적용하기 어렵다는 한계를 지적한다. 저자들은 이러한 문제를 해결하기 위해 두 단계의 모델링 전략을 채택한다. 첫 번째 단계는 대규모 트래픽 데이터를 고차원 특성 공간에 그대로 두는 대신, 사전 학습된 VAE의 인코더를 이용해 8차원 잠재 벡터로 압축한다. VAE는 입력 분포를 효율적으로 파악하면서도 재구성 손실을 최소화하도록 학습되므로, 잠재 공간에 중요한 변이와 패턴을 보존한다는 장점이 있다. 두 번째 단계는 압축된 잠재 벡터를 입력으로 하는 다층 퍼셉트론(MLP) 분류기를 훈련한다. MLP는 구조가 단순하고 파라미터 수가 적어 양자화 적용 시 손실이 비교적 적은 편이다.

양자화 전략은 크게 두 갈래로 나뉜다. QAT는 훈련 과정에서 가중치와 활성값을 정수화(예: 8‑bit)하도록 시뮬레이션함으로써, 양자화에 따른 오차를 모델이 사전에 학습하도록 만든다. 이 방식은 일반적으로 양자화 후 정확도 저하를 최소화하지만, 훈련 비용이 증가하고 하이퍼파라미터 튜닝이 복잡해진다. 반면 PTQ는 완전 학습된 모델에 대해 사후에 정수화 매핑을 적용한다. 저자는 대표적인 PTQ 기법인 동적 범위 양자화와 전체 정밀도 캘리브레이션을 사용했으며, 이는 별도 재학습 없이도 빠르게 배포 가능하도록 설계되었다.

실험은 두 개의 공개 IoT 봇넷 데이터셋(N‑BaIoT, CICIoT2022)을 이용해 수행되었다. 원본(비양자화) VAE‑MLP 모델은 각각 99.2%와 98.7%의 F1 점수를 기록했으며, 이는 기존 최첨단 CNN‑LSTM 기반 모델과 동등하거나 우수한 수준이다. QAT 적용 후에는 F1 점수가 각각 97.8%와 97.1%로 약 1.4%p 감소했지만, 모델 크기는 24배 압축되고 추론 지연은 3배 단축되었다. PTQ는 F1 점수가 98.9%와 98.5%로 거의 변동이 없었으며, 압축 비율은 21배, 속도 향상은 6배에 달했다. 특히 PTQ가 메모리 제한이 심한 마이크로컨트롤러(예: ARM Cortex‑M4)에서도 실시간 추론이 가능함을 시뮬레이션 결과로 제시한다.

이러한 결과는 양자화 전략 선택이 정확도와 자원 효율성 사이의 트레이드오프에 크게 좌우된다는 점을 강조한다. QAT는 정확도 유지가 중요한 보안 임계 상황에서 유용할 수 있지만, 훈련 비용과 복잡성을 감수해야 한다. PTQ는 배포 속도와 개발 효율성을 중시하는 경우에 최적이며, 특히 IoT 디바이스와 같이 제한된 연산 자원을 가진 환경에서 실용적이다. 또한, VAE 기반 잠재 공간 압축이 모델 경량화와 양자화 친화성을 동시에 제공한다는 점에서, 향후 다른 사이버 보안 도메인(예: 악성코드 정적 분석, 네트워크 침입 탐지)에도 확장 가능성이 높다.