자동 로그 파싱을 위한 시퀀스‑투‑시퀀스 모델 비교 연구

초록

본 논문은 Transformer, Mamba 상태공간 모델, 단방향 LSTM, 양방향 LSTM 네 가지 시퀀스‑투‑시퀀스 아키텍처를 396가지 설정으로 학습·평가하여 로그 파싱 정확도와 연산 비용을 비교한다. 상대 레벤슈타인 편집 거리를 주요 지표로 사용했으며, Transformer가 0.111의 최저 값을 기록해 23.4% 오류 감소를 달성했고, Mamba는 유사한 정확도와 현저히 낮은 계산량을 보였다. 문자‑레벨 토크나이징이 전반적으로 성능을 향상시키고, 시퀀스 길이는 Transformer 정확도에 큰 영향을 주지 않았다. 또한 Mamba와 Transformer가 LSTM 계열보다 샘플 효율성이 뛰어남을 확인했다.

상세 분석

이 연구는 로그 파싱이라는 특수한 시퀀스 변환 문제에 최신 딥러닝 모델들의 실제 적용 가능성을 체계적으로 검증한다는 점에서 의미가 크다. 먼저 데이터셋으로는 LogHub‑2k와 합성된 HTTPd‑parse 두 종류를 사용했으며, 각각 로그 포맷 다양성, 필드 수, ELF/CLF 비율 등을 정량화해 실험 설계에 반영하였다. 모델은 Encoder‑Decoder 형태의 Transformer와 Mamba, 그리고 Encoder‑Decoder 없이 순수히 디코더만 활용한 단방향·양방향 LSTM을 구현했으며, 토크나이징은 문자 수준과 단어 수준 두 가지를 비교했다. 396개의 실험은 시퀀스 길이(최대 256, 512, 1024 토큰), 학습 샘플 수(1k, 5k, 10k), 그리고 토크나이징 방식의 조합을 포함한다.

성능 평가는 상대 레벤슈타인 편집 거리(DR)를 사용해 부분 일치까지 정량화했으며, 통계적 유의성 검증을 위해 부트스트랩 및 사후 검정도 수행했다. 결과는 Transformer가 평균 DR 0.111로 가장 낮은 오류를 보였으며, 이는 기존 LSTM 기반 방법보다 약 40% 개선된 수치다. Mamba는 0.145의 DR을 기록했지만, FLOPs와 메모리 사용량이 Transformer 대비 3~5배 낮아 실시간 혹은 리소스 제한 환경에 적합함을 보여준다.

토크나이징 실험에서는 문자‑레벨이 특히 짧은 로그와 필드 구분이 복잡한 경우에 유리했으며, 단어‑레벨은 토큰 수가 급증하는 긴 시퀀스에서 오히려 오버헤드를 초래했다. 시퀀스 길이 변화에 대한 민감도 분석에서는 Transformer가 256~1024 토큰 구간에서 정확도 변동이 거의 없었지만, LSTM 계열은 길이가 늘어날수록 기울기가 급격히 악화돼 장기 의존성 학습에 한계가 있음을 확인했다.

샘플 효율성 측면에서는 동일한 학습 데이터 양(예: 5k 샘플)에서 Transformer와 Mamba가 LSTM보다 10~15% 낮은 DR을 달성했으며, 특히 데이터가 희소하거나 포맷 변동이 큰 상황에서 두 모델이 더 안정적인 일반화 성능을 보였다. 이는 self‑attention과 상태공간 모델이 전역적인 컨텍스트를 효과적으로 포착하기 때문으로 해석된다.

전체적으로 논문은 로그 파싱에 있어 최신 Transformer가 정확도 면에서 최우수이지만, 연산 비용과 배포 환경을 고려하면 Mamba가 실용적인 대안이 될 수 있음을 설득력 있게 제시한다. 또한 토크나이징 선택과 시퀀스 길이 설정이 모델 선택에 미치는 영향을 정량화함으로써 실무자에게 구체적인 가이드라인을 제공한다.