기계학습 사전의 기억 현상과 지구물리 역문제에 미치는 영향

초록

본 논문은 제한된 지구물리 데이터로 학습된 딥 생성 모델이 훈련 샘플을 기억(메모리제이션)할 경우, 사전이 경험분포와 동일해지고 사후분포는 데이터 적합도에 따라 가중된 조회표가 됨을 보인다. 특히 확산 모델에서는 기억된 사전이 가우시안 혼합으로 표현되며, 전방 연산자를 각 샘플 주변에서 선형화하면 가우시안 혼합 사후분포를 얻는다. 이 이론을 저차원 예제와 전주파수 전파역학(FWI) 실험으로 검증한다.

상세 분석

논문은 지진역학과 같은 고차원 지구물리 역문제에서 데이터가 극히 제한적일 때, 최대우도(MLE) 기반 딥 생성 모델이 훈련 데이터 자체를 재생산하는 ‘기억’ 현상에 빠질 위험을 정량적으로 분석한다. 일반적인 생성 모델(정규화 흐름, VAE, 확산 모델 등)은 모델 분포 pθ와 경험분포 ˆpN 사이의 KL 발산을 최소화하도록 학습되며, 충분히 표현력이 크고 정규화가 부족하면 최적해는 pθ=ˆpN이 된다. 이 경우 사전은 N개의 Dirac 델타의 합으로 변하고, 베이즈 정리식에 대입하면 사후는 각 훈련 샘플 xₙ에 대한 가중치 wₙ∝exp(−‖F(xₙ)−y‖²/2γ²) 로 표현되는 조회표가 된다.

특히 확산 모델에 대해 저자는 Baptista et al. (2025)의 결과를 활용해, 완전한 메모리화 상태에서의 노이즈가 섞인 데이터 분포가 평균 m(t)·xₙ, 공분산 σ²(t)I 를 갖는 가우시안 혼합으로 수렴함을 보인다. 전방 연산자를 각 샘플 주변에서 1차 선형화(F(x)≈F(xₙ)+Jₙ(x−xₙ))하면, 각 가우시안 사전 성분과 선형화된 likelihood가 결합해 새로운 가우시안 혼합 사후를 만든다. 여기서 공분산 Σₙ= (σ⁻²I+γ⁻²JₙᵀJₙ)⁻¹ 은 사전의 폭 σ와 데이터 잡음 γ, 그리고 Jacobian Jₙ에 의해 조절되고, 평균 μₙ= xₙ+Σₙγ⁻²Jₙᵀ(y−F(xₙ)) 은 adjoint Jacobian에 의해 데이터 잔차가 모델 공간으로 투사된 형태가 된다. σ→0 일 때는 가중치 wₙ이 순수히 likelihood에 비례해 조회표 형태로 수렴한다.

실험에서는 저차원 비선형 전방 연산을 이용해 σ를 변화시켰을 때 사후가 부드러운 연속형에서 훈련 샘플에 집중되는 ‘후퇴’ 현상을 시각화하였다. 또한 200×200 격자 기반의 속도 모델을 100차원 KL 기반으로 차원 축소하고, 다양한 훈련 샘플 수(N=50,200,1000)로 확산 모델을 학습시킨 뒤, DPS(Diffusion Posterior Sampling)로 FWI 사후를 추정했다. 결과는 N이 작을수록 사전이 거의 완전 메모리화되어 사후도 훈련 샘플에 강하게 끌리는 반면, N=1000에서는 메모리화가 사라지고 데이터 적합도가 사후를 주도함을 보여준다. 또한 사후 불확실성은 실제 오류보다 과소평가되는 과신(over‑confidence) 현상을 나타냈다.

이러한 분석은 고차원 지구물리 문제에서 학습 데이터가 충분히 풍부하지 않을 경우, 생성 모델이 실제 지질 분포를 학습하기보다 기억에 머무를 위험을 명확히 경고한다. 메모리화 진단 지표(ratio r)와 사전·사후의 가우시안 혼합 형태를 이용한 정량적 평가가 필요함을 강조한다.