불완전 데이터 학습을 위한 AI&M 절차

초록

본 논문은 결측이 무작위가 아닌 경우에도 프로파일 가능도(profile likelihood)를 최적화할 수 있는 새로운 AI&M(Adjusting Imputation and Maximization) 절차를 제안한다. 파라미터 공간 대신 데이터 완성(completion) 공간에서 탐색함으로써 고차원 최적화의 어려움을 완화하고, 베이지안 네트워크 파라미터 학습에 적용한다. 실험 결과는 보수적 추론(conservative inference)보다 강력하고, EM 알고리즘도 여전히 유효함을 보여준다.

상세 분석

AI&M 절차는 기존 프로파일 가능도 최적화의 두 가지 핵심 난제—다중 지역 최적점과 고차원 파라미터 공간—중 후자를 주된 목표로 해결한다. 구체적으로, 결측 메커니즘을 명시적으로 모델링하지 않고, 모든 가능한 결측 패턴에 대해 데이터 완성을 가정한다. 각 완성에 대해 완전 데이터에 대한 최대가능도 추정(Maximization)을 수행하고, 그 결과를 바탕으로 불완전 데이터에 대한 임시 완성을 조정(Adjusting)한다. 이 과정은 EM 알고리즘의 E‑step과 M‑step을 교차적으로 재구성한 형태이며, 완성 공간에서의 탐색은 파라미터 공간보다 차원이 현저히 낮아 계산 효율성을 크게 향상시킨다.

베이지안 네트워크에 적용할 때, AI&M은 네트워크 구조는 고정된 채 각 조건부 확률표(CPT)를 학습한다. 실험에서는 결측이 MAR(Missing At Random)이 아닌 상황을 시뮬레이션하여, 보수적 추론이 모든 가능한 완성을 평균화해 과도하게 보수적인 추정값을 내는 반면, AI&M은 실제 생성 메커니즘에 가까운 파라미터를 회복한다는 점을 확인했다. 또한, EM 알고리즘은 초기값에 민감하지만, 적절한 초기화와 충분한 반복을 통해 여전히 경쟁력 있는 성능을 보였다.

이 논문의 주요 기여는 (1) 데이터 완성 공간에서의 최적화 프레임워크 제시, (2) 프로파일 가능도 최적화가 반드시 고차원 파라미터 탐색을 필요로 하지 않음을 증명, (3) 베이지안 네트워크 파라미터 학습에 실용적인 알고리즘을 제공한다는 점이다. 한계점으로는 완성 공간이 여전히 지수적으로 커질 수 있어, 큰 규모 데이터셋에서는 샘플링 기반 근사나 히스토리 기반 탐색 전략이 필요하다는 점을 언급한다. 향후 연구는 AI&M을 다른 그래픽 모델이나 딥러닝 구조에 확장하고, 결측 메커니즘을 부분적으로 추정하는 하이브리드 방법과 결합하는 방향으로 진행될 수 있다.