고차원 메트릭 기반 다중작업 경쟁 식별을 위한 그래프 구조 딥러닝 프레임워크

초록

본 논문은 고차원 시스템 메트릭을 활용해 CPU, I/O, 메모리, 네트워크 등 다양한 자원 경쟁 유형을 동시에 식별하는 다중작업 학습 모델을 제안한다. 입력 시계열을 비선형 변환으로 공유 표현 공간에 매핑하고, 그래프 기반 전파를 통해 메트릭 간 잠재적 의존성을 학습한다. 이후 작업별 디코더 헤드를 두어 각 경쟁 유형을 구분하고, 적응형 손실 가중치 기법으로 공유와 개별 특징 학습을 균형 있게 조정한다. 알리바바 클러스터 트레이스 2018 데이터를 이용한 실험에서 정확도·재현율·정밀도·F1 모두 기존 MLP, XGBoost, GNN, GAT 대비 현저히 향상되었으며, 배치 크기·학습 데이터 규모에 대한 민감도 분석을 통해 모델의 안정성을 검증하였다.

상세 분석

이 연구는 현대 클라우드·분산 시스템에서 자원 경쟁이 단일 자원에 국한되지 않고 다차원 지표 간 복합적인 상호작용으로 나타난다는 점에 주목한다. 기존의 저차원 상관관계 기반 방법은 비선형·다중 스케일 의존성을 포착하지 못해 경쟁 유형을 정확히 구분하기 어렵다. 논문은 이러한 한계를 극복하기 위해 세 가지 핵심 설계를 도입한다. 첫째, 원시 메트릭 시퀀스를 고차원 텐서 (X\in\mathbb{R}^{T\times D}) 로 정의하고, 가변 비선형 변환 (f_{\theta}) 를 통해 잡음 억제와 구조적 정제 효과를 갖는 공유 표현 (H) 를 생성한다. 이 단계에서 다중 소스(CPU, 메모리, 디스크, 네트워크, 스케줄링 지연 등)의 동시 변화를 하나의 잠재 공간에 통합함으로써 교차 차원 동적 특성을 보존한다.

둘째, 메트릭 간 잠재적 경쟁·의존 관계를 그래프 (G=(V,E)) 로 모델링한다. 정점 (v_i) 는 개별 메트릭 차원을, 간선 (e_{ij}) 는 통계적 상관·인과관계 혹은 도메인 지식 기반 연결을 의미한다. 그래프 신경망 (g_{\phi}) (예: GAT 또는 GraphSAGE 변형)를 적용해 (H) 위에 구조 강화 전파 (H’ = g_{\phi}(G, H)) 를 수행한다. 이 과정은 경쟁이 전파되는 체인 효과(예: CPU 포화 → 스케줄링 지연 → 네트워크 대기)를 학습하게 하며, 다중 스케일 전파를 통해 장기·단기 패턴을 동시에 포착한다.

셋째, 다중 작업(다중 경쟁 유형) 학습을 위해 작업별 디코더 (D_k) 를 파라미터‑디커플링 방식으로 독립적으로 업데이트한다. 각 (D_k) 는 공유된 (H’) 를 입력받아 경쟁 유형 (k) 에 특화된 특징을 추출하고, 로짓 (z_k = D_k(H’)) 를 출력한다. 손실 함수는 (\mathcal{L} = \sum_{k=1}^{K} \alpha_k \mathcal{L}_k(z_k, y_k)) 형태이며, (\alpha_k)는 학습 중 동적으로 조정되는 가중치이다. 이 적응형 가중치 메커니즘은 특정 작업이 다른 작업에 비해 학습 난이도가 높을 때 손실 기여도를 자동으로 보정해 전체 최적화를 안정화한다.

실험에서는 알리바바 클러스터 트레이스 2018을 사용해 5가지 주요 경쟁 유형(CPU, I/O, 메모리, 네트워크, 복합)으로 라벨링하였다. 베이스라인으로 MLP, XGBoost, 일반 GNN, GAT을 비교했으며, 제안 모델은 정확도 0.932, 재현율 0.918, 정밀도 0.907, F1 0.912를 기록해 모든 지표에서 우수함을 보였다. 배치 크기 실험에서는 32~64가 최적이며, 과도한 배치(128)는 그래디언트 평활화로 인한 민감도 저하를 초래한다는 점을 확인했다. 또한 학습 데이터 규모가 증가할수록 성능이 비선형적으로 향상되지만, 일정 수준(≈70 % 전체) 이상에서는 포화 현상이 나타났다.

이러한 설계는 (1) 고차원 메트릭의 비선형·다중 스케일 특성을 보존, (2) 그래프 구조를 통한 잠재 의존성 학습, (3) 작업별 파라미터 디커플링과 적응형 손실 가중치로 다중 작업 간 간섭을 최소화한다는 세 가지 장점을 제공한다. 결과적으로 시스템 운영자는 실시간 혹은 근실시간으로 경쟁 유형을 정확히 파악하고, 자동 스케줄링·자동 스케일링·우선순위 조정 등 제어 루프에 바로 활용할 수 있다.