LHC 그리드 컴퓨팅과 분산 분석 초기 경험

초록

LHC 실험은 첫 6개월 데이터 수집 기간 동안 전 세계에 분산된 그리드 인프라를 활용해 원시 데이터의 저장·처리와 물리 분석을 수행했다. Tier‑0에서의 빠른 데이터 복제, Tier‑1·2의 대규모 재처리 및 사용자 분석 작업이 성공적으로 운영되었으며, 초기 운영에서 드러난 성능 병목과 운영 절차 개선점이 향후 확장 계획에 반영된다.

상세 분석

본 논문은 LHC 실험이 그리드 컴퓨팅 환경을 실제 데이터 수집 단계에 적용한 첫 사례를 상세히 기술한다. 먼저, 전통적인 중앙집중식 클러스터와 달리 WLCG(World LHC Computing Grid) 구조를 채택해 Tier‑0(프랑스 CERN), Tier‑1(전 세계 13개 대형 센터), Tier‑2(수백 개 대학·연구소)로 계층화된 자원 배분 방식을 설명한다. 데이터는 충돌 이벤트가 발생하면 즉시 Tier‑0에서 기록·압축된 뒤, 고속 광케이블을 통해 Tier‑1에 복제된다. 이 복제 과정에서 PhEDEx(Physics Experiment Data Export) 시스템이 자동화된 전송 스케줄링과 오류 복구를 담당해 99.9 % 이상의 전송 성공률을 달성하였다.

재처리와 재시뮬레이션 작업은 주로 Tier‑1에서 수행되며, PanDA(Production and Distributed Analysis) 작업 관리 시스템이 수천 개의 작업을 동적으로 할당한다. 작업 스케줄링은 CPU 사용률, 데이터 로컬리티, 네트워크 대역폭을 실시간으로 고려해 최적화되며, 이를 통해 평균 CPU 효율이 85 % 이상 유지되었다.

분산 분석 측면에서는 ROOT 기반의 PROOF(Parallel ROOT Facility)와 ATLAS의 Athena, CMS의 CMSSW 프레임워크가 Tier‑2와 사용자 로컬 클러스터에서 병렬 분석을 가능하게 했다. 사용자들은 Ganga와 CRAB(Compact RAnalysis Builder) 같은 프론트엔드 툴을 이용해 작업을 정의하고, 그리드에 제출하면 자동으로 데이터 위치에 맞는 사이트에서 실행된다. 초기 테스트에서는 10 000명 이상의 물리학자가 동시에 2 PB 규모의 데이터에 접근했으며, 평균 작업 대기 시간이 5~10분 수준으로 유지되었다.

운영 중 발견된 주요 이슈는 네트워크 지연에 따른 데이터 전송 지연, 스토리지 시스템의 메타데이터 일관성 문제, 그리고 사용자 작업의 비정형적인 요구에 대한 자동화 부족이었다. 이를 해결하기 위해 데이터 캐시 계층을 Tier‑2에 추가하고, 파일시스템 메타데이터 복제 정책을 강화했으며, 머신러닝 기반의 작업 예측 모델을 도입해 스케줄링 정확도를 높였다.

앞으로의 계획은 Tier‑3(개별 연구 그룹)까지 그리드 자원을 확대하고, Cloud 기반의 탄력적 컴퓨팅을 연계해 피크 부하를 흡수하는 것이다. 또한, 데이터 접근 방식을 ROOT 파일 대신 컬럼형 포맷(Parquet, Arrow)으로 전환해 I/O 효율을 30 % 이상 향상시키는 연구가 진행 중이다. 이러한 개선은 HL‑LHC(High‑Luminosity LHC) 시대에 예상되는 연간 300 PB 이상의 데이터 처리 요구를 충족시키는 기반이 될 것이다.