불완전 데이터에서도 강력한 신경망 파라미터 추정: 마스킹 방식과 MCEM 방식의 비교

초록

본 논문은 결측 데이터를 포함한 상황에서 신경망 기반 베이즈 추정기(NBE)를 구현하는 두 가지 방법—마스킹 접근법과 몬테카를로 EM(MCEM) 접근법—을 제안하고, 시뮬레이션 및 북극 해빙 데이터 분석을 통해 통계적 효율성과 계산 효율성을 비교한다.

상세 분석

이 연구는 최근 인공지능과 딥러닝이 복잡한 과학 문제를 빠르게 해결하는 데 활용되는 흐름 속에서, 데이터가 결측으로 인해 전통적인 신경망 구조를 바로 적용하기 어려운 현실을 짚는다. 기존에 제안된 “마스킹” 방식은 결측값을 고정값(예: 0)으로 채우고, 결측 패턴을 바이너리 마스크와 함께 신경망에 입력함으로써 구조적 제약을 회피한다. 그러나 이 방법은 두 가지 근본적인 한계를 가진다. 첫째, 결측 메커니즘을 명시적으로 모델링해야 하며, 모델이 잘못 지정될 경우 추정 편향과 효율성 저하가 발생한다. 둘째, 마스크 자체가 네트워크에 추가적인 입력 차원을 제공함으로써 학습 난이도가 상승하고, 특히 결측 패턴이 복잡하거나 비무작위(MCAR가 아닌)일 때 일반화 성능이 급격히 떨어진다.

이에 저자들은 고전적인 EM 알고리즘의 아이디어를 차용한 MCEM 접근법을 제안한다. 핵심 아이디어는 결측 데이터를 잠재 변수로 간주하고, 현재 파라미터 추정값을 이용해 결측값을 조건부 시뮬레이션(샘플링)한 뒤, 완전 데이터에 대해 사전에 학습된 NBE를 그대로 적용해 MAP 추정값을 얻는 것이다. 이 과정에서 E‑step은 Monte Carlo 샘플링으로 근사하고, M‑step은 “숫자적 최적화” 없이 사전 학습된 NBE가 제공하는 MAP 매핑을 사용한다. 따라서 전통적인 EM이 요구하는 복잡한 로그우도 계산이나 수치 최적화가 필요 없으며, “likelihood‑free”라는 장점을 유지한다.

통계적 효율성 측면에서 MCEM은 결측 메커니즘에 대한 명시적 가정을 필요로 하지 않는다. 결측값을 실제 데이터 분포에 따라 샘플링함으로써, 마스킹 방식이 겪는 편향 문제를 회피하고, 완전 데이터와 동일한 추정 정확도를 달성한다. 계산 효율성에서는 마스킹 방식이 한 번의 전방패스만으로 추정을 수행해 빠르지만, MCEM은 매 반복마다 결측값 샘플링이 추가되므로 약간 더 무겁다. 그러나 저자들은 샘플링 비용이 비교적 낮고, 전체 EM 반복 횟수가 적은 경우(특히 수렴이 빠른 경우) 전체 실행 시간이 마스킹 방식과 비슷하거나 오히려 빠를 수 있음을 실험적으로 보여준다.

시뮬레이션에서는 다양한 공간 모델(예: 가우시안 필드, 마코프 랜덤 필드 등)과 결측 메커니즘(MCAR, MAR, MNAR)을 조합해 두 방법의 성능을 평가한다. 결과는 MCEM이 특히 MNAR 상황에서 편향이 거의 없으며, 평균 제곱 오차(MSE)와 신뢰구간 커버리지가 마스킹보다 현저히 우수함을 나타낸다. 실제 데이터 적용으로는 북극 해빙 두께를 설명하기 위해 복잡한 숨은 Potts 모델을 도입했으며, 이 모델의 우도는 계산적으로 불가능했음에도 MCEM 기반 NBE가 안정적인 파라미터 추정을 제공했다.

마지막으로 저자들은 두 방법을 모두 Julia와 R에서 사용할 수 있는 오픈소스 패키지 “NeuralEstimators”에 구현해 배포함으로써, 연구자들이 손쉽게 적용하고 확장할 수 있도록 지원한다. 전체적으로 이 논문은 결측 데이터 상황에서 신경망 기반 베이즈 추정기의 설계 원칙을 명확히 제시하고, 통계적 견고함과 계산적 실용성을 동시에 만족시키는 새로운 방법론을 제시한다.