노이즈를 가르는 실시간 이상치 탐지: 머신러닝 원자간 포텐셜의 견고한 학습법

초록

본 논문은 전자구조 계산에서 발생하는 수치적 노이즈를 자동으로 식별·감쇠시키는 실시간 이상치 탐지 기법을 제안한다. EMA 기반 손실 분포를 추적해 3σ 이상인 샘플을 가중치 0에 가깝게 낮추어 단일 학습 과정에서 과적합을 방지한다. 물리적 관측값 복원, 액체 물의 확산계수 재현, 그리고 대규모 SPICE 데이터셋을 이용한 유기 화학 기반 모델에서 에너지 오차를 3배 감소시키는 등 다양한 규모에서 효과를 검증하였다.

상세 분석

이 연구는 머신러닝 인터아토믹 포텐셜(MLIP) 학습 시 데이터에 내재된 수치적 노이즈가 모델 정확도를 크게 저해한다는 점에 주목한다. 기존 방법은 전문가가 직접 데이터를 검토하거나, 전체 데이터셋을 여러 번 재학습하면서 고오차 샘플을 제거하는 iterative refinement 방식에 의존했으며, 이는 인력·시간·컴퓨팅 비용이 크게 소요된다. 저자들은 이러한 문제를 해결하기 위해 ‘실시간 부트스트래핑(bootstrapping)’이라는 동적 가중치 조정 방식을 도입한다. 핵심 아이디어는 배치 손실을 지수 이동 평균(EMA)으로 추적해 평균(µ)과 분산(σ²) 를 지속적으로 업데이트하고, 각 샘플의 손실 L_i 를 현재 분포와 비교해 z‑score 를 계산한다. z‑score 가 사전 정의된 임계값(z_t, 보통 3)보다 크면 해당 샘플을 이상치로 간주하고, 가중치 w_i 를 0에 가깝게 낮춘다. 가중치는 Gaussian 누적분포함수(CDF)를 이용해 부드럽게 전환되므로 학습 초기에 급격한 변화가 없으며, 학습이 진행될수록 깨끗한 샘플과 노이즈 샘플이 명확히 구분된다.

수식적으로는 기존 손실 L_total = Σ_i L_i 에 대해 L′ = Σ_i w_i² L_i 로 변형한다. 여기서 w_i² 형태는 ‘soft target’ 학습과 유사하게, 모델이 자체 예측 y_pred와 레퍼런스 y_ref 사이를 보간하도록 만든다. EMA의 감쇠율 α는 배치 수에 따라 자동 조정되며, 일반적으로 α≈0.99 (epoch당 배치 >100) 로 설정한다. 이는 배치‑투‑배치 변동성을 억제하고, 전체 데이터셋에 대한 손실 분포를 안정적으로 추정하게 한다.

실험에서는 두 가지 규모의 벤치마크를 사용한다. 첫 번째는 MD17과 revMD17(노이즈 제거 버전) 데이터를 혼합해 10%만 노이즈 라벨을 삽입한 합성 데이터셋이다. 부트스트래핑 없이 학습하면 모델이 노이즈 라벨에 과적합해 검증 RMSE가 상승하지만, 제안 방법은 10번째 epoch까지 가중치를 거의 0으로 낮추어 노이즈를 무시하고, 실제(노이즈 없는) 레이블에 근접한 예측을 유지한다. 두 번째는 실제 물리 시뮬레이션인 액체 물 시스템이다. 불완전한 DFT 계산으로부터 얻은 레퍼런스를 그대로 사용했을 때 확산계수가 크게 왜곡되었지만, 실시간 이상치 탐지 모델은 과적합을 방지하고 실험값에 근접한 확산계수를 복원한다.

마지막으로 대규모 SPICE 2.0 데이터셋(수백만 구성)으로 훈련한 유기 화학 기반 ‘foundation model’에 적용했을 때, 에너지 RMSE가 기존 베이스라인 대비 약 3배 감소하였다. 이는 데이터 규모가 커질수록 노이즈 비율이 작아도 전체 성능에 미치는 영향이 커질 수 있음을 시사한다. 또한, EMA 기반 손실 추적은 추가 레퍼런스 계산 없이도 자동으로 노이즈를 억제하므로, 데이터 전처리 비용을 크게 절감한다.

전반적으로 이 방법은 (1) 단일 학습 루프 내에서 노이즈 샘플을 실시간으로 식별·감쇠, (2) 과적합을 방지하면서 물리적 관측값을 정확히 재현, (3) 대규모 데이터셋에서도 높은 스케일러빌리티와 낮은 연산 오버헤드를 제공한다는 점에서 기존 수동 필터링·반복 재학습 전략을 대체할 강력한 대안으로 평가된다.