ATLAS 분산 컴퓨팅을 위한 확장 가능한 데이터베이스 접근 기술

초록

ATLAS 실험의 조건 데이터베이스(Conditions DB)를 전 세계 그리드에 효율적으로 배포하고, 장애 시 대체 기술을 활용해 10억 건 이상의 질의와 0.5 PB 규모의 재처리 작업을 안정적으로 수행한 경험을 정리한다. 또한 사용자 분석 단계에서의 데이터베이스 접근 효율성을 높이기 위한 여러 후보 기술을 평가·비교한다.

상세 분석

ATLAS는 이벤트 데이터와 별도로 수백 테라바이트에 달하는 비이벤트 데이터(센서 교정, 환경 조건, 정렬 상수 등)를 관계형 데이터베이스에 저장한다. 이러한 조건 데이터는 재구성(reconstruction)과 분석 단계에서 반드시 필요하므로, 전 세계 200여 개 이상의 컴퓨팅 사이트에 걸쳐 일관된 접근성을 보장해야 한다. 논문은 기존에 Oracle 기반의 중앙 데이터베이스를 사용하던 방식을 그대로 유지하면서, 네트워크 지연·서버 과부하에 대비해 다중 백업 체계를 구축한 점을 강조한다. 주요 백업 기술로는 (1) SQLite 파일을 사전 복제해 로컬에서 직접 읽는 방식, (2) Frontier/Squid 캐시 프록시를 이용한 HTTP 기반 조회, (3) 복제된 Oracle 인스턴스를 통한 다중 엔드포인트 접근이 있다.

재처리 캠페인에서는 5 × 10⁸ 건 이상의 조건 질의가 0.5 PB 데이터와 함께 수행되었으며, 이때 평균 응답 시간은 30 ms 이하, 최대 동시 연결 수는 10 000을 초과했다. 시스템은 자동 부하 분산과 동적 캐시 갱신을 통해 “데이터베이스 병목 현상”을 사전에 차단했으며, 장애 발생 시 즉시 SQLite 로컬 복제로 전환해 작업 중단을 최소화했다.

사용자 분석 단계에서는 대규모 병렬 작업이 짧은 시간에 수천 건의 질의를 발생시키므로, Frontier/Squid 구조가 가장 효율적인 것으로 나타났다. HTTP 캐시가 질의 결과를 95 % 이상 재사용함으로써 네트워크 트래픽을 크게 감소시켰다. 반면, 직접 Oracle 접속은 높은 일관성을 제공하지만, 대규모 동시 접속 시 스케일 아웃이 어려워 보조 캐시 없이 사용하기엔 제한적이었다. SQLite는 배포가 간편하고 읽기 전용 작업에 최적이지만, 최신 조건 업데이트가 실시간 반영되지 않아 최신 데이터가 필요한 경우에는 부적합했다.

결론적으로, ATLAS는 “다중 기술·다중 경로” 전략을 통해 조건 데이터베이스 접근의 신뢰성과 확장성을 확보했으며, 각 기술의 장단점을 정량적으로 평가해 작업 유형별 최적화 방안을 제시한다.