시청자 경험을 높이는 예측 기반 클라우드 자원 할당

본 논문은 급증하는 크라우드소싱 라이브 스트리밍 환경에서 시청자 품질 경험(QoE)을 최적화하고 서비스 제공자의 비용을 최소화하기 위한 예측 기반 자원 할당 프레임워크를 제시한다. 먼저, 연구진은 페이스북 2018년 라이브 비디오 데이터셋을 구축했으며, 이 데이터는 2백만 건 이상의 스트림 메타데이터와 시청자 위치 정보를 포함한다. 각 스트림에 대해 방송자 이름, 콘텐츠 카테고리, 생성 시간·요일, 방송자 위치, 시청자 위치 등 6가지 특징을 추출하고, 시청자 위치를 10개의 AWS 리전(아시아‑뭄바이, 아시아‑서울, 아시아‑싱가포르, 중국‑닝샤, 유럽‑프랑크푸르트, 유럽‑파리, 남미‑상파울루, 미국‑동부‑오하이오, 미국‑동부‑버지니아, 미국‑서부‑캘리포니아)으로 매핑한다. 이렇게 매핑된 리전별 시청자 수는 다중 출력 레이블이 되어, 각 비디오에 대해 10개의 예측값을 산출해야 하는 회귀 문제로 전환된다. 전처리 단계에서는 거리 기반 매핑을 통해 시청자를 가장 가까운 리전으로 할당하고, 시간대는 6개의 구간으로 군집화하였다. 범주형 변수(방송자 이름, 콘텐츠 카테고리)는 해시 트릭을 이용해 고차원 희소 벡터를 저차원 해시 벡터로 변환했으며, 나머지 변수는 원-핫 인코딩을 적용했다. 학습 데이터는 2021년 3·5·6월에 수집된 224,839개의 레코드 중 80%를 훈련, 20%를 검증에 사용하였다. 모델링에는 다층 퍼셉트론(MLP), 결정 트리(DT), 랜덤 포레스트(RF) 세 가지 회귀 알고리즘을 적용했으며, 하이퍼파라미터 탐색을 통해 최적 구조를 도출했다. 검증 결과, RF가 대부분의 리전에서 R² 0.74~0.91을 기록하며 가장 높은 예측 정확도를 보였고, 특히 시청자 수가 많은 서울·상파울루 리전에서 강점을 나타냈다. MLP는 레이어 수를 늘릴수록 성능이 개선되었지만, 복잡도와 학습 시간 때문에 7층 이상은 사용하지 않았다. DT는 전반적으로 낮은 성능을 보였다. 최종 모델은 RF를 선택했으며, 24시간 동안 시간별로 예측한 결과와 실제 시청자 수를 비교한 그래프에서 예측값이 실제값에 매우 근접함을 확인했다. 예측 모델을 기반으로 한 두 번째 단계는 비용‑지연 최적화이다. 시스템은 각 리전에서 S3 스토리지를 임대하고, 영상 복제 마이그레이션 비용과 시청자에게 서비스할 때 발생하는 데이터 전송 비용을 고려한다. 변수 정의는 다음과 같다. αᵣₐ는 리전 rₐ당 GB당 저장 비용, ηᵣ_b는 방송자 리전 r_b에서 할당 리전 rₐ로 복제할 때의 GB당 전송 비용, ωᵣₐ는 리전 rₐ에서 인터넷으로 전송할 때의 GB당 비용이다. 영상 크기 κ와 예측 시청자 수 p_{r_w}를 이용해 저장 비용 S, 마이그레이션 비용 M, 서비스 비용 R을 각각 식 (2)~(4)로 계산하고, 전체 비용 C=S+M+R를 최소화한다. 결정 변수 A(v,rₐ)는 영상 v를 리전 rₐ에 할당 여부, W(v,rₐ,r_w)는 리전 r_w의 시청자를 리전 rₐ에서 서비스할지 여부를 나타낸다. 제약식은 (6a)~(6f)로 구성되며, 기본 할당은 방송자와 가장 가까운 리전으로 고정하고, 서비스는 할당된 리전에서만 가능하도록 하며, 시청자가 없는 리전에는 서비스하지 않는다. 또한, 각 시청자 그룹은 하나의 리전에서만 서비스를 받도록 하고, 평균 지연이 사전에 정의된 임계값 D 이하가 되도록 제한한다. 이 MILP 문제는 표준 정수선형 프로그래밍 솔버로 해결 가능하며, 논문에서는 알고리즘 1을 통해 매 시간 단위로 입력 데이터를 받아 예측 → 최적화 → 자원 예약/해제 흐름을 구현한다. 실험에서는 예측 정확도가 높은 RF 모델을 사용해 최적화에 적용했으며, 비용 절감 효과와 지연 감소 효과를 동시에 달성했다. 특히, 과잉 할당을 방지해 스토리지 비용을 평균 15% 이상 절감하면서, 평균 접근 지연을 200ms 이하로 유지했다. 이는 기존 연구가 주로 히어리스틱 기반으로 근사해를 제공하고, 사전 할당이 어려워 과잉·부족 할당 사이에서 트레이드오프를 겪는 문제를 해결한다는 점에서 차별화된다. 하지만 논문에는 몇 가지 제한점이 있다. 첫째, 트랜스코딩 등 계산 자원을 고려하지 않아 전체 서비스 비용을 완전히 포괄하지 못한다. 둘째, 예측 모델이 리전별 시청자 수에 초점을 맞추어 개별 사용자 수준의 QoE(버퍼링, 화질)까지는 반영하지 않는다. 셋째, 데이터는 2018년 페이스북만을 대상으로 하므로, 다른 플랫폼이나 최신 트래픽 패턴에 대한 일반화 가능성은 검증되지 않았다. 향후 연구에서는 (i) 계산 자원과 네트워크 대역폭 비용을 포함한 다목적 최적화를 진행하고, (ii) 시청자 QoE를 직접 측정·예측하는 모델을 결합해 보다 세밀한 자원 배분을 구현하며, (iii) 다양한 스트리밍 플랫폼과 최신 데이터셋을 활용해 모델의 일반화 성능을 검증할 계획이다.