벨리 II 픽셀 검출기에서 비지도 이상 탐지와 지도 학습 비교

초록

본 연구는 벨리 II 픽셀 검출기(PXD)에서 기록된 원시 픽셀 히트 데이터를 이용해 비지도 학습 알고리즘인 자기조직 지도(SOM)와 오토인코더(AE)를 적용하고, 이를 지도 학습 기반 다층 퍼셉트론(MLP)과 성능을 비교한다. 가상의 자기단극자 신호를 배경 데이터에 삽입해 평가했으며, 높은 배경 억제 수준(10⁻⁴)에서 AE가 60 % 이상의 신호 효율을 달성해 MLP보다 우수함을 확인했다. 결과는 비지도 머신러닝이 전통적인 검색 전략을 보완하고, 향후 온라인 트리거 시스템에 적용될 가능성을 제시한다.

상세 분석

이 논문은 고에너지 물리 실험에서 최소 가공된 원시 데이터에 직접 머신러닝을 적용하는 최신 흐름을 벨리 II 실험의 픽셀 검출기(PXD) 데이터에 구체화한다. PXD는 DEPFET 센서를 사용해 4 백만 개의 픽셀을 보유하고 있으며, 초당 5 kHz의 트리거율을 처리한다는 점에서 대용량, 고속 데이터 스트림을 다루는 대표적인 사례다. 저자들은 먼저 단일 빔 백그라운드 데이터를 수집해 배경 히트를 정의하고, 가상의 장기 수명 자기단극자(질량 3 GeV, 디랙 전하 68.5 e)를 시뮬레이션해 신호 샘플을 만든다. 각 이벤트는 9 × 9 픽셀 매트릭스로 추출되며, 매트릭스 중심 픽셀(시드)과 전역 좌표를 포함해 총 84개의 정규화된 특성을 사용한다.

세 가지 알고리즘의 설계와 하이퍼파라미터 튜닝이 상세히 기술된다. 지도 학습 MLP은 350k 배경·신호 각각을 학습에 사용하고, 교차 검증을 통해 과적합을 방지한다. 비지도 SOM은 100개의 노드와 가우시안 이웃 함수를 적용해 고차원 데이터를 1차원 격자에 매핑한다. AE는 ReLU 활성화와 MSE 손실 함수를 사용해 배경만을 학습시킨 뒤, 재구성 오차를 이상 점수로 활용한다. 모든 모델은 동일한 데이터 분할과 5회 반복 실험을 통해 평균 성능과 불확실성을 추정한다.

성능 평가는 ROC 곡선과 AUC, 그리고 특히 배경 억제 10⁻², 10⁻³, 10⁻⁴에서의 신호 효율을 중점으로 한다. MLP은 AUC 99.69 %로 가장 높은 전반적 정확도를 보였지만, 배경 억제 10⁻⁴에서 신호 효율이 39.5 %에 불과했다. SOM은 MLP에 근접한 억제 능력을 보였으나, 신호 효율은 약 30 % 수준에 머물렀다. 반면 AE는 AUC가 MLP보다 약 1 % 낮음에도 불구하고, 억제 10⁻⁴에서 60.1 %의 신호 효율을 달성해 고순도 신호 탐지에 유리함을 입증했다. 이는 AE가 배경 패턴을 효과적으로 압축·재구성하면서, 비정형 신호(자기단극자)의 특이성을 높은 재구성 오차로 드러내기 때문이다.

또한 저자들은 AE의 강인성을 검증하기 위해 신호·배경 샘플을 교체하거나 하이퍼파라미터를 변동시킨 추가 실험을 수행했으며, 결과가 크게 변동하지 않음을 보고한다. 이는 온라인 트리거 시스템에 적용할 경우, 실시간 빔 조건 변화나 검출기 노이즈 변동에 대한 적응력이 뛰어남을 시사한다. 마지막으로, 비지도 기반 이상 탐지가 실험 보호(예: 빔 불안정, 검출기 고장 감지)와 데이터 품질 모니터링에도 활용될 수 있음을 제안한다.

전반적으로 이 연구는 비지도 머신러닝이 전통적인 지도 기반 분류를 보완하고, 특히 높은 배경 억제가 요구되는 희귀 신호 탐지 시나리오에서 실용적인 대안을 제공한다는 중요한 교훈을 제공한다.