케크 관측소 아카이브 실시간 메트릭 대시보드

초록

케크 관측소 아카이브(KOA)는 2022년부터 1분 이내에 데이터를 실시간으로 수집하고, 새로운 파이썬 기반 인프라와 Plotly‑Dash 프레임워크를 활용해 5~7초 간격으로 업데이트되는 메트릭 대시보드를 구축했다. 이 대시보드는 파일 수, 기기별 데이터량 등을 실시간으로 시각화하며, 향후 데이터 볼륨, 쿼리 횟수 등 추가 지표를 포함할 계획이다.

상세 분석

본 논문은 KOA의 급격한 데이터 증가와 새로운 과학 요구에 대응하기 위해 기존 C 기반 아키텍처를 파이썬 중심으로 전환하고, VO‑compliant nexsciTAP 서버와 SQLAlchemy를 결합한 고성능 쿼리 파이프라인을 설계한 점을 강조한다. 특히 Plotly‑Dash와 Jinja2 템플릿 엔진을 이용한 콜백 구조는 사용자 인터페이스와 백엔드 로직을 명확히 분리하면서도 5~7초 간격의 실시간 업데이트를 가능하게 한다. 데이터베이스 설계에서는 연도별 테이블을 도입하고, 시간·기기 컬럼을 기본 키로 삼아 전송 데이터를 최소화했으며, 과학·보정 파일 수를 가상 컬럼으로 정의해 쿼리 복잡도를 낮추었다. 또한 1994‑2024년 데이터를 일·월·연 단위로 사전 계산한 정적 테이블과 현재 연도 데이터를 동적으로 관리하는 두 종류의 테이블을 병렬 조회함으로써 전체 응답 시간을 20배 가량 단축시켰다. 백엔드 데몬은 nexsciTAP을 통해 신규 메트릭을 지속적으로 폴링하고 로그에 기록해 시스템 상태를 모니터링한다. KPI 카드와 CSV 다운로드 기능은 운영자와 과학자 모두에게 직관적인 인사이트를 제공한다. 향후 확장 계획에는 데이터 볼륨, 쿼리 수, 다운로드 트래픽 등 다양한 지표를 추가하고, 기기별 오버레이 플롯을 지원함으로써 복합적인 성능 분석이 가능하도록 설계된 점이 눈에 띈다. 전체적으로 오픈소스 스택을 기반으로 한 모듈형 구조와 병렬 처리 전략이 KOA의 확장성을 크게 향상시켰으며, 실시간 메트릭 제공을 통한 운영 효율성 증대와 향후 대규모 데이터 흐름에 대한 대비가 잘 구현되었다.