멀티테넌시 기반 클라우드 DNN 추론 혁신

초록

본 논문은 기존 VM·컨테이너 기반 DNN 추론이 초저지연·탄력성·비용 효율성에서 한계를 보이는 문제를 지적하고, 공유 멀티테넌트 시스템을 통해 추론을 클라우드 기본 서비스로 전환함으로써 자원 활용도와 비용 효율성을 크게 향상시킬 수 있음을 제안한다.

상세 분석

이 논문은 딥러닝 추론 워크로드가 갖는 특수성을 면밀히 분석한다. 첫째, DNN은 입력‑출력이 고정된 순수 수학 연산의 집합으로, 연산량과 메모리 요구량이 사전에 정확히 예측 가능하다. 이러한 예측 가능성은 전통적인 멀티테넌트 시스템에서 가장 어려운 ‘성능 격리’ 문제를 근본적으로 완화한다는 점에서 핵심이다. 둘째, 기존 클라우드 서비스는 VM 혹은 컨테이너 단위로 자원을 할당한다. 이는 급격한 트래픽 변동에 대해 스케일‑업·다운이 수분에서 수십 분까지 걸리며, 특히 GPU·TPU와 같은 고가 가속기를 사용할 경우 ‘과다 프로비저닝’ 혹은 ‘콜드 스타트’ 지연이 심각한 비용 손실을 초래한다. 셋째, 논문은 이러한 문제를 해결하기 위해 시스템 전체를 하나의 장기 실행 프로세스로 운영하고, 중앙 컨트롤러가 모델 배포·복제·로드 밸런싱을 담당하도록 설계한다. 워커 프로세스는 다수 테넌트의 모델을 메모리에 동시에 적재하고, 요청이 들어오면 해당 모델이 로드된 워커에게 라우팅한다. 고부하 모델은 여러 워커에 복제되어 장애 허용성과 탄력성을 확보한다. 넷째, 런타임은 ONNX 형식의 모델만을 허용함으로써 사용자 코드 실행을 차단하고, 보안 경계를 강화한다. 동시에 표준 레이어만 지원함으로써 최적화된 실행 엔진을 구축하고, 향후 새로운 레이어가 대중화되면 시스템에 추가할 수 있는 확장성을 유지한다. 다섯째, 성능 격리를 위해 요청 입구에서 ‘예측‑측정‑피드백’ 루프를 적용한다. 모델별 FLOP 수와 입력 크기를 기반으로 예상 지연을 산출하고, 실제 실행 시 측정된 지연을 실시간으로 피드백하여 스케줄러가 공정 큐잉과 리소스 할당을 조정한다. 실험 결과, 99번째 백분위 지연이 평균의 15% 이내로 유지되는 등 높은 일관성을 보인다. 마지막으로, 비용 모델을 ‘요청당 과금’으로 전환함으로써 사용자는 유휴 VM 시간에 대한 비용을 지불하지 않으며, 클라우드 제공자는 전체 시스템 자원 활용률을 극대화할 수 있다. 전체적으로 이 논문은 DNN 추론을 클라우드 기본 서비스로 승격시키기 위한 설계 원칙, 구현 방안, 그리고 기대 효과를 체계적으로 제시한다.