공개 클러스터 다중 블록 병렬 처리 시스템

초록

본 논문은 LIPI 공개 클러스터에서 다중 사용자가 동시에 서로 다른 작업을 수행할 수 있도록, 사용자별 MPI 설정 파일을 이용해 다중 데몬을 구동하고, 웹 기반 통합 관리·모니터링 시스템을 구현한 방식을 제안한다. 성능 평가 결과, 제안된 다중 블록 접근법은 시스템 전체 성능에 큰 영향을 주지 않으며 안정적으로 운영될 수 있음을 확인하였다.

상세 분석

이 연구는 전통적인 전용 슈퍼컴퓨터와 달리, 누구나 자유롭게 접근할 수 있는 공개 클러스터 환경에서 다중 사용자가 동시에 서로 다른 MPI 작업을 실행할 수 있는 구조적 해결책을 제시한다. 핵심 아이디어는 “다중 데몬(Multi‑Daemon) 방식”으로, 각 사용자를 하나의 논리적 블록으로 정의하고, 해당 블록에 전용 MPI 설정 파일과 실행 환경을 할당한다는 점이다. 이를 위해 시스템은 사용자 인증 후 자동으로 별도의 MPI 데몬 프로세스를 띄우며, 각 데몬은 독립적인 포트와 프로세스 그룹을 사용해 다른 사용자의 작업과 충돌을 방지한다.

보안 측면에서는 사용자별 파일 시스템 격리와 네트워크 포트 제한을 통해 악의적인 접근을 차단하고, 웹 기반 관리 인터페이스는 SSL/TLS 암호화를 적용해 관리자와 사용자가 실시간으로 노드 상태, 작업 진행률, 자원 사용량 등을 모니터링하도록 설계되었다. 또한, 시스템은 노드 별 CPU, 메모리, 네트워크 대역폭을 동적으로 할당하고, 사용자가 종료하거나 타임아웃이 발생하면 해당 블록의 데몬을 자동 정리함으로써 자원 누수를 최소화한다.

성능 분석에서는 표준 MPI 벤치마크인 Message Passing Interface (MPI) 엔진을 이용해, 단일 블록 환경과 다중 블록 환경에서의 실행 시간을 비교하였다. 결과는 다중 데몬 구조가 추가적인 프로세스 관리 오버헤드와 포트 충돌 방지를 위한 소규모 네트워크 라우팅 비용을 발생시키지만, 전체 실행 시간에 미치는 영향은 5 % 이하에 불과함을 보여준다. 이는 클러스터 규모가 수십 대에서 수백 대 노드로 확장되더라도, 적절한 자원 스케줄링과 데몬 관리가 이루어진다면 성능 저하를 최소화할 수 있음을 의미한다.

또한, 이 접근법은 기존의 PBS, Slurm 등 전통적인 작업 스케줄러와는 달리, 사용자가 직접 웹 인터페이스를 통해 작업을 제출·취소·모니터링할 수 있어 교육용·연구용 공개 클러스터에 적합한 사용자 친화적 환경을 제공한다. 다만, 다중 데몬이 동시에 많은 수의 MPI 작업을 실행할 경우, 시스템 콜 및 파일 디스크립터 제한에 도달할 위험이 존재하므로, 운영 체제 레벨에서 해당 제한을 조정하거나 데몬 수를 제한하는 정책이 필요하다.

요약하면, 본 논문의 다중 블록·다중 데몬 설계는 공개 클러스터에서 다중 사용자의 동시 작업을 안전하고 효율적으로 지원하는 실용적인 솔루션이며, 웹 기반 통합 관리와 경량화된 성능 손실이 결합된 점이 큰 장점으로 평가된다.