데이터센터 데이터베이스를 활용한 통합 연속 전체 모니터링

초록

본 논문은 HPC 시설·시스템·런타임·애플리케이션 전 단계의 센서 데이터를 하나의 프레임워크인 DCDB(Data Center Data Base)로 통합·연속·전체적으로 수집·저장·분석할 수 있는 구조를 제안한다. 플러그인 기반의 모듈러 설계와 MQTT 기반의 경량 전송, Apache Cassandra 기반의 분산 NoSQL 스토리지를 활용해 확장성과 낮은 오버헤드를 달성했으며, 전력 관리와 에너지 특성 분석을 위한 두 가지 실제 사례를 제시한다.

상세 분석

DCDB는 현대 슈퍼컴퓨터가 직면한 네 가지 핵심 모니터링 과제—확장성, 비교가능성, 간섭 최소화, 확장성(Extensibility)—에 대한 구체적인 해결책을 제공한다. 첫째, 센서 데이터를 푸시(pull) 방식이 아닌 푸시(push) 방식으로 수집함으로써 수천 개 노드·수백만 개 센서의 고주파 데이터를 중앙 집중식 병목 없이 처리한다. MQTT 프로토콜을 활용한 토픽 기반 계층 구조는 센서 위치(룸·랙·노드·CPU 등)를 직관적으로 표현하고, 토픽 구독자를 자유롭게 추가·제거할 수 있어 데이터 흐름을 유연하게 제어한다. 둘째, 모든 센서는 <센서, 타임스탬프, 값> 형태의 시계열 튜플로 표준화되며, 가상 센서(Virtual Sensor) 메커니즘을 통해 단위 변환, 선형 보간, 복합 연산을 지원한다. 이를 통해 물리적 전력 센서와 애플리케이션 성능 카운터를 결합해 PUE(Power Usage Effectiveness)와 같은 KPI를 실시간으로 도출할 수 있다. 셋째, 플러그인 기반 푸셔(Pusher)는 동적 라이브러리 형태로 제공돼 IPMI, SNMP, ProcFS, SysFS, GPFS, Omnipath, BACnet 등 다양한 프로토콜·소스와 손쉽게 연동한다. 새로운 센서가 추가될 경우 플러그인만 구현하면 시스템 재시작 없이 즉시 데이터 수집이 가능해 확장성을 크게 향상시킨다. 넷째, 데이터 저장은 Apache Cassandra를 기본 백엔드로 사용하지만, 설계상 다른 시계열 DB(InfluxDB, KairosDB, OpenTSDB 등)와도 교체 가능하도록 추상화하였다. Cassandra의 파티셔닝·복제 메커니즘은 스토리지 노드 수에 따라 선형적인 쓰기·읽기 확장성을 제공한다. 또한, 수집 에이전트(Collect Agent)는 MQTT 브로커 역할을 수행하면서 스토리지 백엔드 외에도 실시간 분석 모듈이나 자동 튜닝 시스템이 구독할 수 있도록 설계돼, 데이터 흐름을 다중 소비자 모델로 확장한다. 성능 평가에서는 개별 푸셔·에이전트·스토리지 단계별 오버헤드를 마이크로초 수준으로 측정했으며, 10,000 노드 규모 테스트에서 초당 수백만 건의 센서 레코드를 안정적으로 처리함을 보였다. 마지막으로 에너지 관리 사례에서는 노드별 전력 센서와 애플리케이션 실행 시간 데이터를 결합해 전력 제한 정책을 자동 적용하고, 데이터센터 전체 PUE를 3 % 개선하는 결과를 얻었다. 이러한 설계와 실험 결과는 DCDB가 대규모 HPC 환경에서 전반적인 운영 효율성을 높이고, 연구자와 관리자 모두에게 실시간·정밀·통합 인사이트를 제공할 수 있음을 입증한다.