경량 LoRA 기반 연속 학습으로 구현하는 엣지 악성코드 탐지

초록

본 논문은 제한된 연산·메모리 환경의 엣지 디바이스에서 대형 언어 모델(LLM)을 활용한 악성코드 탐지를 가능하게 하는 연속 학습 프레임워크를 제안한다. DistilBERT·DistilGPT‑2·TinyT5와 같은 경량 트랜스포머에 LoRA 어댑터를 적용해 로컬 데이터에만 미세조정하고, 학습된 LoRA 파라미터만 중앙 코디네이터에 집계·통합 후 모든 디바이스에 재배포한다. Edge‑IIoTset·TON‑IoT 두 공개 데이터셋을 이용해 다라운드 실험을 수행했으며, 독립 미세조정 대비 20‑25%의 정확도 향상을 달성하고 모델 크기 증가율은 1% 미만(0.6‑1.8 MB)으로 유지한다.

상세 분석

이 연구는 엣지 환경에서 LLM을 직접 실행하기 어려운 현실적인 제약을 정확히 짚어낸다. 먼저, 기존 중앙집중형 보안 체계가 지연·확장성·프라이버시 문제를 야기한다는 점을 강조하고, 악성코드가 지속적으로 변형되는 특성상 정적 모델이 빠르게 성능 저하를 겪는다는 점을 지적한다. 이러한 배경에서 경량화된 트랜스포머( DistilBERT, DistilGPT‑2, TinyT5 )를 선택한 것은 모델 파라미터 수와 연산량을 크게 줄이면서도 텍스트 기반 네트워크 트래픽 분석에 충분한 표현력을 보유하고 있기 때문이다.

핵심 기법인 LoRA는 기존 파라미터를 고정하고 어텐션 가중치에 저랭크 행렬을 삽입해 학습한다. 이때 학습되는 파라미터는 전체 모델 대비 극히 일부(≈0.5‑1 %)에 불과하므로 엣지 디바이스의 메모리·전력 한계를 크게 초과하지 않는다. 논문은 LoRA 파라미터만을 중앙 코디네이터에 전송하고, 이를 단순 평균(또는 가중 평균)으로 집계한 뒤 모든 디바이스에 재배포하는 방식을 채택한다. 이는 전통적인 연합학습(Federated Learning)과 달리 전체 모델을 교환하지 않으면서도 업데이트 주기가 짧고 통신량이 최소화되는 장점을 제공한다.

실험 설계는 두 단계로 나뉜다. 첫 번째 단계에서는 각 디바이스가 자체 트래픽(예: Edge‑IIoTset의 특정 서브셋)으로 연속 미세조정을 수행한다. 두 번째 단계에서는 새로운 공격 유형이 포함된 라운드가 진행될 때, 기존에 학습된 LoRA 어댑터가 다른 디바이스에 전파되어 교차 도메인 일반화 능력을 검증한다. 결과는 독립 미세조정 대비 정확도가 20‑25% 상승하고, F1‑Score와 손실도 안정적으로 유지됨을 보여준다. 특히, 모델 크기 증가가 0.6‑1.8 MB 수준에 머물러 라즈베리파이·ESP‑32와 같은 저사양 하드웨어에서도 OTA(Over‑The‑Air) 업데이트가 현실적으로 가능함을 입증한다.

한계점으로는 LoRA 어댑터가 여러 라운드에 걸쳐 누적될 경우 파라미터 충돌이나 과적합 위험이 존재한다는 점을 들 수 있다. 또한, 현재는 단순 평균 집계 방식을 사용했으나, 공격 유형별 가중치를 고려한 보다 정교한 집계 전략이 필요하다. 마지막으로, 실험에 사용된 데이터셋이 IoT 트래픽에 국한돼 있어, 모바일·클라우드 환경으로 확장할 때 추가적인 검증이 요구된다.

전반적으로 이 논문은 “경량화 + 모듈화 + 연속 학습”이라는 세 축을 효과적으로 결합해, 엣지 기반 사이버 방어에 LLM을 적용할 수 있는 실용적인 로드맵을 제시한다는 점에서 학술적·산업적 의의가 크다.