다중계층 서비스 로그 감소를 통한 효율적 요청 추적

초록

본 논문은 대규모 데이터센터에서 다중계층 서비스의 요청 추적 시 발생하는 방대한 로그 데이터를 줄이기 위해, 첫 번째 계층에서 발생하는 단순 인과 경로를 식별하고 제거하는 알고리즘을 제안한다. k‑means 군집화를 이용해 첫 메시지 크기 기준 임계값을 설정하고, 스레드 상태를 추적해 가치 없는 로그를 필터링한다. 실험 결과, 전체 인과 경로의 84%를 제거하고 로그 양을 77% 감소시켰다.

상세 분석

이 연구는 기존의 화이트박스·블랙박스 추적 시스템이 생성하는 로그량이 데이터센터 규모에서 비현실적일 정도로 급증한다는 문제점을 인식하고, 로그 감소를 위한 선택적 필터링 메커니즘을 설계하였다. 핵심 아이디어는 “단순 인과 경로(simple causal path)”와 “복합 인과 경로(complex causal path)”를 구분하는 것이다. 단순 경로는 클라이언트가 첫 번째 웹 서버만을 통과하고 정적 컨텐츠를 반환받는 경우에 해당하며, 복합 경로는 이후 애플리케이션 서버와 데이터베이스까지 연쇄적으로 호출되는 경우이다. 두 경로는 로그 양에서는 차이가 크지만, 성능 디버깅 관점에서는 복합 경로만이 의미 있는 정보를 제공한다.

알고리즘은 각 스레드(Tid)를 상태(state) 머신으로 모델링한다. BEGIN 로그가 들어오면 상태를 ‘start’로 설정하고, 첫 번째 RECEIVE 로그(포트 80)를 관찰한다. 여기서 메시지 바이트 수가 사전에 k‑means 군집화를 통해 도출된 임계값(threshold)보다 크면 해당 요청을 ‘complex’ 상태로 전환하고, 작으면 ‘simple’ 상태로 유지한다. 이후 END 로그가 도착하면 상태를 ‘end’로 마감한다. ‘complex’ 상태인 경우에만 이후 SEND/RECEIVE 로그를 튜플 형태로 변환해 전송하고, ‘simple’ 상태인 경우는 전부 폐기한다. 이 과정은 로그 수집 노드(웹 서버)에서 로컬로 수행되므로 네트워크 대역폭 절감 효과도 얻는다.

핵심 기술적 기여는 다음과 같다. 첫째, 첫 메시지 크기라는 단순하지만 효과적인 특징을 이용해 요청 유형을 빠르게 분류한다. 둘째, 스레드 기반 상태 추적을 통해 로그 흐름을 실시간으로 제어함으로써 불필요한 데이터 전송을 방지한다. 셋째, 기존 PreciseTracer 시스템에 최소한의 변경만으로 적용 가능하도록 설계했으며, 전체 인과 경로 수를 84% 감소시키는 실험적 증명을 제공한다. 다만, 임계값 설정이 서비스별 트래픽 패턴에 민감할 수 있어, 동적 조정 메커니즘이나 머신러닝 기반의 다변량 특징 활용이 향후 연구 과제로 남는다.