서버리스 환경에서 강화학습 기반 동적 파밍 스켈레톤 관리

초록

본 논문은 OpenFaaS 기반 서버리스 플랫폼 위에 구조화된 병렬 처리 스켈레톤인 파밍(Farm) 패턴을 구현하고, 워커 풀의 자동 스케일링을 QoS‑aware 의사결정 문제로 정의한다. Gymnasium 인터페이스를 활용한 모니터링·제어 레이어를 통해 큐 길이, 처리 시간, 도착률, QoS 등 9가지 상태 변수를 제공하고, 이를 기반으로 두 가지 강화학습(RL) 정책(SARSA와 Double‑DQN)을 설계한다. 제안된 RL 기반 자동 스케일러는 전통적인 모델 기반 반응형 정책과 비교했을 때, 플랫폼 고유의 콜드 스타트와 스케일‑업 지연을 효과적으로 보정하여 QoS 목표를 더 안정적으로 달성하면서 자원 사용 효율성을 유지한다.

상세 분석

이 연구는 서버리스(FaaS) 환경에서 고성능 병렬 처리를 지원하기 위해 알고리즘 스켈레톤이라는 추상화 레이어를 도입한 점이 가장 큰 특징이다. 기존의 서버리스 자동 스케일러는 함수 호출 빈도와 CPU·메모리 사용량만을 기준으로 스케일링을 수행하므로, 파밍과 같은 구조화된 병렬 패턴에서 발생하는 작업 큐의 백프레셔와 작업 마감시간(Deadline) 같은 QoS 요구를 만족시키기 어렵다. 논문은 이러한 한계를 극복하기 위해 파밍 스켈레톤을 세 개의 함수(Emitter, Worker, Collector)와 Redis 기반 큐로 구현하고, 워커 풀 크기(Nk)를 유일한 제어 변수로 설정하였다.

상태 공간 S는 9차원 실수 벡터로 정의되며, 여기에는 입력·작업·결과·출력 큐 길이, 현재 워커 수, 평균·최대 처리 시간, 평균 도착률, 그리고 현재 QoS 비율(qk)이 포함된다. 이러한 풍부한 관측값은 RL 에이전트가 시스템의 병목 현상과 QoS 위반을 조기에 감지하도록 돕는다. 행동 공간 A는 {scale‑down, no‑op, scale‑up}의 세 가지 정수 증분으로 제한되어 있어, OpenFaaS의 스케일‑업 지연(콜드 스타트)과 스케일‑다운 비용을 최소화한다.

보상 함수는 세 가지 목표를 가중합으로 설계하였다. 첫째, QoS 목표(q*)를 초과하면 양의 보상을, 미달이면 큰 패널티를 부여하여 마감시간 준수를 최우선으로 만든다. 둘째, 큐 길이와 평균 대기 시간을 최소화하는 항목을 통해 시스템 응답성을 향상시킨다. 셋째, 워커 수 변화량과 스케일링 빈도에 대한 비용을 부과해 과도한 스케일링을 억제한다. 이러한 다목적 보상 설계는 RL 에이전트가 장기적인 누적 보상을 최적화하면서도 안정적인 스케일링 행동을 학습하도록 만든다.

학습 알고리즘으로는 전통적인 온‑폴리시 방법인 SARSA(eligibility trace 포함)와 최신 딥 Q‑러닝 변형인 Double‑DQN을 적용하였다. SARSA는 환경 변동성이 큰 경우 정책이 부드럽게 변하도록 돕고, Double‑DQN은 과대평가 문제를 완화해 더 정확한 가치 추정이 가능하도록 한다. 두 에이전트 모두 동일한 Gymnasium 환경에 연결되어 동일한 데이터 스트림과 초기 조건에서 학습·평가되었다.

실험은 이미지 처리 파이프라인을 워크로드로 사용했으며, 각 이미지의 크기에 따라 순차 실행 시간 ˆTs(s)와 마감시간 Di=β·ˆTs(s) (β=2)를 사전에 캘리브레이션하였다. 워크로드는 비정상적인 도착률 변동을 포함하도록 설계되어, 에이전트가 비정상 상황에서도 QoS를 유지하도록 요구한다. 결과는 RL 기반 정책이 반응형 모델 기반 정책보다 평균 QoS 비율을 5~8% 향상시키고, 워커 평균 이용률을 10% 이상 높이며, 스케일링 진동을 감소시켰음을 보여준다. 특히 Double‑DQN은 급격한 부하 증가 시 사전 예측을 통해 선제적으로 워커를 추가함으로써 콜드 스타트 지연을 최소화했고, SARSA는 부드러운 스케일링 전환으로 시스템 안정성을 확보했다.

이 논문은 서버리스 플랫폼에서 구조화된 병렬 스켈레톤을 효율적으로 관리하기 위한 RL 기반 프레임워크를 최초로 제시했으며, 상태·행동·보상 설계가 실제 플랫폼 제약(콜드 스타트, 스케일링 지연)과 QoS 요구를 동시에 고려하도록 정교화된 점이 큰 의의이다. 또한 Gymnasium 인터페이스를 활용해 연구 재현성을 높였고, 오픈소스 코드와 실험 파이프라인을 제공함으로써 향후 다양한 스켈레톤(파이프라인, 파이프라인·파밍 혼합) 및 멀티테넌트 환경에 대한 확장 연구가 가능하도록 기반을 마련했다.