동적 NAND 플래시 메모리 확장으로 컨테이너 밀도 향상

초록

본 논문은 컨테이너 기반 서비스에서 메모리 압박이 컨테이너 밀도 제한 요인임을 지적하고, DRAM과 NAND 플래시를 메모리 버스에 직접 연결해 페이지를 동적으로 이동시키는 Diablo Memory Expansion(DMX) 기법을 제안한다. 예측 모델을 활용해 비활성 페이지를 플래시로 옮김으로써 메모리 사용량을 효율화하고, 실험 결과 Docker 환경에서 핵심 워크로드의 성능 저하 없이 컨테이너 수를 크게 늘릴 수 있음을 보였다.

상세 분석

컨테이너 가상화는 운영체제 수준에서 격리와 자원 공유를 제공하지만, 실제 데이터센터에서는 컨테이너당 부하가 고르게 분포되지 않아 일부 컨테이너가 메모리 압박을 일으키는 경우가 빈번하다. 특히, 전체 워크로드의 워킹 세트는 물리 메모리 용량에 들어갈 수 있음에도 불구하고, 리눅스 커널의 페이지 교체 정책은 최근에 접근되지 않은 페이지를 즉시 스와핑하도록 설계돼 있어, 메모리 사용량이 급증하면 페이지 폴트와 디스크 I/O가 폭증한다. 이러한 현상은 컨테이너 밀도를 제한하는 주요 병목이 된다.

DMX는 이러한 문제를 해결하기 위해 두 가지 핵심 요소를 도입한다. 첫째, DRAM과 NAND 플래시를 동일한 메모리 버스에 연결해 플래시를 ‘확장 DRAM’처럼 취급한다. 이는 기존의 스와핑 메커니즘과 달리, 플래시가 직접 메모리 주소 공간에 매핑되므로 페이지 이동 시 커널-유저 전환 오버헤드가 최소화된다. 둘째, 페이지 이동 시점을 결정하는 예측 모델을 사용한다. 모델은 각 컨테이너의 최근 메모리 접근 패턴, CPU 사용률, 네트워크 트래픽 등을 실시간으로 수집하고, 머신러닝 기반 회귀 분석을 통해 앞으로 일정 시간 동안 사용되지 않을 가능성이 높은 페이지를 선별한다. 이렇게 선정된 페이지는 즉시 플래시로 마이그레이션되고, 필요 시 DRAM으로 복귀한다.

Memory1 시스템에 구현된 DMX는 페이지 단위가 아닌 4KB~64KB 크기의 ‘청크’ 단위로 이동함으로써 I/O 효율을 극대화한다. 또한, 플래시의 쓰기 횟수 제한을 고려해 ‘쓰기 균등화’ 알고리즘을 적용, 특정 블록에 집중되는 쓰기를 방지한다. 실험에서는 동일한 물리 메모리 용량에서 DMX를 사용하지 않은 경우, 컨테이너 수가 2배 증가할 때 핵심 애플리케이션의 평균 응답 시간이 45% 이상 악화되었지만, DMX 적용 시 응답 시간 변동이 5% 이하로 억제되었다. 이는 메모리 압박이 완화되어 CPU와 네트워크 자원이 정상적으로 활용될 수 있었기 때문이다.

또한, DMX는 기존 커널 스와핑 메커니즘과 병행 운영이 가능하도록 설계돼 있어, 시스템 관리자는 정책 기반으로 어느 정도까지 플래시를 메모리 확장에 사용할지 설정할 수 있다. 이는 플래시 수명과 성능 요구 사이의 트레이드오프를 유연하게 조정할 수 있게 한다.

요약하면, DMX는 메모리 압박이 컨테이너 밀도에 미치는 부정적 영향을 예측 기반 페이지 마이그레이션과 고속 플래시 연계를 통해 효과적으로 완화한다. 이는 데이터센터 운영 비용 절감과 서비스 품질 유지에 직접적인 기여를 할 수 있다.