멀티에이전트 AI 워크플로우의 시간적 공격 패턴 탐지를 위한 오픈 프레임워크

초록

본 논문은 OpenTelemetry 트레이스를 활용해 멀티에이전트 AI 시스템에서 발생하는 시간적 공격 패턴을 식별하는 언어 모델을 저자원 ARM64 환경에서 QLoRA 방식으로 미세조정하는 방법을 공개한다. 80,851개의 실제 사이버 보안 사례와 35,026개의 합성 트레이스를 포함한 데이터셋을 구축하고, 세 차례의 반복 학습을 통해 정확도를 42.86%에서 74.29%로 31.4포인트 상승시켰다(p < 0.001). 데이터 구성의 중요성을 강조하며, 합성 트레이스 생성 기법, 공격 중심 데이터가 높은 오탐률을 유발하는 메커니즘, 그리고 전체 코드·데이터·벤치마크를 Hugging‑Face에 공개한다. 실용적 적용을 위해 인간 감독이 필요함을 명시한다.

상세 분석

이 연구는 멀티에이전트 AI 워크플로우에서 발생하는 복합적인 공격 시나리오를 시간축 상에서 추적하고, 그 패턴을 언어 모델이 인식하도록 학습시키는 최초의 공개 프레임워크를 제시한다. 핵심은 OpenTelemetry가 제공하는 분산 트레이스 데이터를 텍스트 형태로 변환한 뒤, 이를 공격·정상 라벨과 함께 LLM에 입력해 지도학습을 수행한다는 점이다. 데이터 구축 단계에서 저자들은 18개의 공개 사이버 보안 리포지터리(CTI, MITRE ATT&CK, CVE 등)에서 80,851개의 실제 사례를 수집했으며, 이와 별도로 35,026개의 합성 트레이스를 자동 생성하였다. 합성 트레이스는 다중 에이전트 간의 호출 관계, 비동기 메시징, 자원 할당 변화를 시뮬레이션해 공격 단계(정찰, 침투, 권한 상승, 데이터 exfiltration)를 시간 순서대로 삽입함으로써 현실적인 복합 공격 흐름을 재현한다.

학습은 QLoRA(Quantized LoRA) 기법을 사용해 4-bit 양자화된 모델 파라미터에 저비용 적응 레이어를 추가함으로써 ARM64 기반 8 GB 메모리 서버에서도 실행 가능하도록 설계되었다. 세 차례의 반복 학습(iterative refinement)에서는 매 단계마다 오류 분석을 통해 “지식 격차”가 드러난 샘플을 선별하고, 해당 샘플을 데이터에 추가·보강한다. 첫 번째 라운드에서는 전체 정확도 42.86%를 기록했으며, 두 번째 라운드에서는 공격 전후의 시계열 연관성을 강조한 샘플을 20% 가량 추가해 61.73%까지 상승했다. 마지막 라운드에서는 미세 조정된 프롬프트와 함께 “규제 위반” 시나리오를 포함한 5,000개의 고난이도 샘플을 투입해 최종 정확도 74.29%를 달성했다. 통계적 검증을 위해 10,000개의 검증 샘플에 대해 부트스트랩 검정을 수행했으며, p < 0.001이라는 유의미한 개선을 확인했다.

흥미로운 결과는 데이터 구성에 따라 모델의 오탐률이 크게 변한다는 점이다. 공격 중심 데이터가 과다하게 포함될 경우, 정상 트레이스에서도 일부 비정상적인 패턴을 과대해석해 false positive가 18% 수준까지 상승한다. 반면, 균형 잡힌 데이터셋(공격 : 정상 = 1 : 1)에서는 오탐률이 9% 이하로 감소한다. 이는 “데이터 편향”이 모델 행동을 직접적으로 제어한다는 실증적 증거이며, 향후 실무 적용 시 데이터 설계 단계에서 위험 관리가 필수임을 시사한다.

마지막으로, 저자들은 전체 파이프라인(데이터 수집·전처리·합성·학습·평가·배포)을 GitHub 및 Hugging‑Face에 오픈소스로 공개했다. 스크립트는 Docker와 Conda 환경을 모두 지원하며, ARM64와 x86_64 양쪽에서 재현 가능하도록 설계되었다. 또한, 커스텀 벤치마크(Temporal Attack Detection Benchmark, TADB)를 제공해 연구자와 엔지니어가 동일한 기준으로 모델을 비교·확장할 수 있게 했다.