분산 컴퓨팅을 위한 다중 에이전트 기반 부하 균형 및 자원 할당

초록

본 논문은 다중 에이전트 시스템을 활용한 분산 자원 할당 프로토콜(dRAP)을 제안한다. 전역 작업 큐에서 각 작업의 CPU 요구량을 기준으로 에이전트(노드)들이 자율적으로 클러스터를 형성·해체하며 FIFO 스케줄링에 비해 전체 처리 시간, 평균 대기 시간, CPU 활용률을 약 20~25% 개선함을 시뮬레이션을 통해 입증한다. 또한 면역 시스템에서 영감을 얻은 서브모듈 설계와 복잡도 분석을 제공한다.

상세 분석

이 논문은 대규모 분산 그리드 환경에서 중앙 집중식 스케줄러가 초래하는 병목과 단일 장애점 문제를 해결하기 위해, 완전한 탈중앙화 방식을 채택한 dRAP(Distributed Resource Allocation Protocol)를 설계하였다. 핵심 아이디어는 각 컴퓨터를 ‘에이전트’로 보고, 에이전트가 자신의 현재 CPU 수와 남은 작업 시간을 로컬 상태로 유지하면서 네트워크 상에서 물리적으로 인접한 이웃과만 통신한다는 점이다. 이를 통해 지연 시간을 최소화하고, 클러스터 형성·해체 과정에서 전역 조정자를 필요로 하지 않는다.

알고리즘은 네 가지 모드로 구분된다.

• 모드 1: 클러스터에 속하지 않은 에이전트가 작업 큐를 스캔해 CPU 요구량(CPU_req)과 1(자신)의 차이를 최소화하는 작업을 선택한다.
• 모드 2: 작업을 수행 중이며, 아직 요구 CPU 수가 충족되지 않으면 인접 에이전트에게 클러스터 합류를 요청한다.
• 모드 3: 이미 클러스터에 속하지만 작업이 할당되지 않은 경우, 클러스터 규모(CPU_cluster)와 작업 요구량의 차이를 최소화하는 작업을 선택한다.
• 모드 4: 작업 수행 중이며 완료 시 클러스터에서 탈퇴하고 모드 1로 돌아간다.

이러한 로컬 규칙은 ‘게임 오브 라이프’와 유사한 셀룰러 오토마타 형태를 띠며, 전체 시스템은 복잡계 이론에 따라 전역적인 부하 균형과 자원 최적화를 달성한다. 복잡도 분석에서는 전역 큐 탐색이 O(n·m) (n: 평균 클러스터 수, m: 큐 길이)이며, 최악의 경우 O(n·m)으로 추정된다. 저자는 이를 개선하기 위해 면역 시스템에서 영감을 얻은 ‘인공 림프절’ 구조를 제안한다. 각 림프절은 일정 수의 클러스터와 작업 큐를 관리하고, 로컬 탐색 비용 O(n²)와 전역 탐색 비용 O(N/n)을 균형 있게 최소화하도록 n = O(N^{1/3}) 로 설계한다. 이는 시스템 규모가 커질수록 서브선형 확장을 가능하게 하여, 전체 통신 및 탐색 오버헤드를 크게 감소시킨다.

실험에서는 100개의 노드와 1,000개의 작업을 대상으로 dRAP와 전통적인 FIFO 스케줄러를 비교하였다. 결과는 dRAP가 전체 작업 완료 시간(T_complete)을 845.6 s(95% CI 829.3–862.0)로, FIFO는 1,071.2 s(95% CI 1,053.4–1,089.0)으로 약 20% 빠른 것으로 나타났다. 평균 대기 시간(T_wait) 역시 dRAP가 342.5 s, FIFO가 475.3 s로 25% 감소하였다. 또한 dRAP는 클러스터 내 모든 CPU를 완전 활용함으로써 자원 낭비를 최소화한다.

한계점으로는 시뮬레이션 기반 평가에 머물러 실제 네트워크 지연, 장애 복구, 이기종 자원(메모리, I/O) 고려가 부족하다는 점을 들 수 있다. 또한 클러스터 형성 시 ‘근접성’ 판단 기준이 단순 거리 기반으로 가정되어, 복잡한 토폴로지에서는 성능 저하 가능성이 있다. 향후 연구에서는 실제 분산 환경에서의 구현, 동적 작업 특성(우선순위, 의존성) 반영, 그리고 인공 림프절의 계층적 관리 모델을 확장하는 방향이 제시된다.