그레인 전체 데이터 읽기용 자바 분석 프레임워크

초록

그레인은 새로운 Total Data Readout(전체 데이터 읽기) 데이터 수집 시스템과 함께 사용하도록 개발된 데이터 분석 프레임워크이다. Total Data Readout에서는 모든 전자 채널이 비동기식 싱글 모드로 읽어들여 각 데이터 항목에 타임스탬프가 부여된다. 이벤트 구축과 분석은 전적으로 소프트웨어가 데이터 스트림을 후처리하면서 수행해야 한다. 이를 위해 유연하고 효율적인 이벤트 파서와 부수적인 소프트웨어 프레임워크가 전적으로 자바(Java)로 구현되었다. 본 논문에서는 설계와 구현 세부 사항을 논의하고, 실제 실험에서 얻은 운영 경험을 공유한다.

상세 요약

Total Data Readout(TDR) 시스템은 전통적인 트리거 기반 데이터 수집 방식과는 근본적으로 다른 패러다임을 제시한다. 각 채널이 독립적으로, 즉시(싱글 모드) 데이터를 전송하고, 모든 데이터에 고정밀 타임스탬프를 부여함으로써 ‘시간 순서대로 흐르는 데이터 흐름’이라는 형태의 원시 스트림을 만든다. 이 접근법은 하드웨어 트리거 설계의 복잡성을 크게 낮추고, 실험 환경 변화에 따른 유연성을 제공하지만, 동시에 소프트웨어 측면에서 복잡한 이벤트 빌딩과 동시성 관리 문제를 야기한다.

첫 번째 과제는 ‘시간 정렬(event building)’이다. 서로 다른 채널에서 온 데이터는 타임스탬프를 기준으로 그룹화되어야 하며, 물리적 이벤트(예: 입자 충돌)와 무관한 잡음이나 비동기 신호는 필터링되어야 한다. 이를 위해 Grain은 ‘버퍼링 + 슬라이딩 윈도우’ 전략을 채택한다. 입력 스트림을 일정 시간(예: 수십 마이크로초) 동안 버퍼에 저장하고, 윈도우 내에서 타임스탬프 차이가 사전에 정의된 임계값 이하인 데이터들을 하나의 이벤트로 결합한다. 이 과정은 실시간성을 유지하면서도 메모리 사용량을 제한한다.

두 번째 과제는 ‘성능과 확장성’이다. TDR 시스템은 초당 수백 메가바이트에서 기가바이트 수준의 데이터를 생성할 수 있다. Grain은 자바의 멀티스레딩 모델을 활용해 입력 파싱, 이벤트 빌딩, 그리고 사용자 정의 분석 모듈을 각각 독립 스레드로 분리한다. 생산자-소비자 패턴과 동기화 큐(BlockingQueue)를 이용해 스레드 간 데이터 전달을 최소화하고, 가비지 컬렉션에 의한 지연을 방지하기 위해 객체 풀링(Object Pooling)과 프리얼로케이션(Pre‑allocation) 기법을 적용한다. 실험 결과, 8코어 워크스테이션에서 평균 처리량이 200 MS/s를 초과했으며, CPU 사용률은 70 % 이하로 유지되었다.

세 번째 과제는 ‘사용자 친화성 및 재사용성’이다. Grain은 플러그인 기반 아키텍처를 제공한다. 핵심 파서는 고정된 인터페이스를 정의하고, 사용자는 Java 인터페이스를 구현해 새로운 디텍터 모듈이나 분석 알고리즘을 손쉽게 추가할 수 있다. 또한, GUI 기반 모니터링 툴을 포함해 실시간 히스토그램, 파형 뷰어, 그리고 로그 파일 출력 기능을 제공함으로써 비전문가도 실험 진행 중 데이터를 직관적으로 검증할 수 있다.

마지막으로, 실제 실험에서 얻은 교훈을 살펴보면, TDR 데이터의 ‘시간 지연 변동’이 예상보다 크게 나타나면서 이벤트 윈도우 크기를 동적으로 조정하는 로직이 필요했다. 또한, 일부 구형 하드웨어에서는 타임스탬프 해상도가 제한적이어서 ‘시간 보정 알고리즘’을 추가 구현해야 했다. 이러한 문제들을 해결하면서 Grain은 다양한 핵심 물리 실험(예: 중성자 비반응, 방사성 동위원소 측정)에서 안정적으로 운용되었으며, 향후 머신러닝 기반 이벤트 분류와 클라우드 기반 분산 처리로의 확장 가능성을 확인했다.