콘구스토 HTCondor 시각화 관리 도구

초록

본 논문은 HTCondor 클러스터의 사용 현황과 통계를 웹 기반 그래픽 인터페이스로 제공하는 도구인 ConGUSTo를 소개한다. 기존 로그와 통계 기능의 한계를 보완하기 위해, 단일 서버에서 주기적으로 데이터를 수집·가공하고 CSV 형태로 저장한 뒤 PHP와 JavaScript를 이용해 인터랙티브한 차트와 표로 시각화한다. 설치가 간편하고 기존 HTCondor 버전과 호환되며, 실시간 파노라마 뷰와 일·주·월 단위의 상세 보고서를 제공한다.

상세 분석

ConGUSTo는 HTCondor의 기본 로그 파일을 직접 파싱하는 대신, condor_status와 condor_q 같은 표준 명령어의 출력을 한 번에 수집한다. 이를 쉘 스크립트(grep, sed, awk 등)로 가공하여 CSV‑like 형식으로 저장함으로써, 로그 파일이 기계마다 다른 위치에 있거나 대용량일 때 발생하는 파싱 비용을 크게 절감한다. 데이터는 연·월·일 디렉터리 구조에 머신별 파일로 배치되어, 특정 기간·머신에 대한 조회가 파일 시스템 수준에서 빠르게 이루어진다.

시각화는 PHP로 동적 페이지를 생성하고, JavaScript 라이브러리를 활용해 인터랙티브 차트와 테이블을 구현한다. 주요 기능은 다음과 같다. 첫째, 개별 머신에서 실행된 모든 작업을 요약·상세 뷰로 제공한다. 둘째, 일·주·월 단위로 시간 범위를 지정해 그래프를 그릴 수 있어, 사용 패턴 분석이 용이하다. 셋째, 전체 클러스터의 현재 상태를 한눈에 보여주는 파노라마 뷰를 제공하며, 슬롯별 사용 현황, 마지막 작업 실행 시각, 시간 제한 정책, 디스크 여유량 등 HTCondor 기본 통계에 포함되지 않는 정보를 추가한다.

ConGUSTo는 별도의 데이터베이스를 요구하지 않는다. 텍스트 파일만으로 충분히 운영 가능하므로, 설치가 간단하고 유지보수가 용이하다. 또한, HTCondor의 이전 버전과도 호환되며, 추가적인 정보 항목을 삽입하는 것이 비교적 쉬운 구조로 설계되었다. 이러한 설계 선택은 시스템 관리자가 클러스터의 전력 절감 정책(예: 야간·주말 전원 차단)과 사용자 신뢰 확보를 동시에 달성하도록 돕는다.

한계점으로는 실시간 데이터 업데이트가 크론 잡에 의존하므로, 초단위의 변화는 반영되지 않을 수 있다. 또한, 웹 서버가 별도로 HTCondor를 설치하지 않아도 되지만, 데이터 수집을 담당하는 노드가 지속적으로 가동되어야 한다는 운영상의 제약이 존재한다. 향후 버전에서는 웹소켓 기반 실시간 스트리밍과 MySQL 등 관계형 데이터베이스 연동을 고려해 보다 정교한 쿼리와 대시보드 기능을 제공할 수 있을 것이다.