불확실 입력과 결측 출력에 대한 반지도 학습을 위한 가우시안 프로세스 프레임워크

초록

본 논문은 입력에 불확실성이나 결측값이 존재하는 경우와 출력에 라벨이 부족한 반지도 학습 상황을 동시에 다룰 수 있는 가우시안 프로세스(GP) 기반 모델을 제안한다. 변분 제약 메커니즘과 인덕팅 포인트를 활용해 입력 불확실성을 명시적 분포로 표현하고, 이를 통해 자동 회귀 예측 및 데이터 임퓨테이션을 베이지안 방식으로 수행한다. 실험 결과, 제안 방법이 기존 기법보다 예측 정확도와 불확실성 추정에서 우수함을 보인다.

상세 분석

이 연구는 두 가지 주요 문제, 즉 ‘반묘사 학습(semi‑described learning)’과 ‘반지도 학습(semi‑supervised learning)’을 하나의 통합 프레임워크로 해결하고자 한다. 기존 GP는 입력이 완전하게 관측될 때만 효율적으로 동작했으며, 입력에 노이즈가 있거나 일부 차원이 누락될 경우 비선형 매핑을 통한 불확실성 전파가 계산적으로 불가능했다. 저자들은 이를 극복하기 위해 변분 하한을 기반으로 한 새로운 변분 제약(variational constraint) 방식을 도입한다. 구체적으로, 관측된 입력 Z 와 잠재 입력 X 사이의 관계를 사전분포가 아닌 사후분포 수준에서 제약함으로써, 각 데이터 포인트마다 다른 불확실성 수준을 가우시안 형태의 변분 파라미터 Sᵢ 로 직접 모델링한다. 또한, 인덕팅 포인트 U 와 가우시안 과정의 일관성을 이용해 p(F|U,X) 를 변분 분포 q(F,U)=p(F|U,X)q(U) 로 치환함으로써, 입력 X 가 공분산 행렬의 역에 나타나는 비선형성을 제거하고 전체 하한을 닫힌 형태로 계산 가능하게 만든다. 이 과정은 기존 GP‑LVM에서 사용된 전역 라틴트 변수와 달리, 각 차원·데이터 포인트별로 독립적인 불확실성을 허용한다는 점에서 확장성이 크다.

제안된 프레임워크는 세 가지 응용에 적용된다. 첫째, 반지도 학습에서는 라벨이 없는 데이터에 대해 변분 제약을 통해 입력 X 의 사후분포를 샘플링하고, 이를 라벨 추정에 활용함으로써 부트스트래핑 방식의 과신 문제를 회피한다. 둘째, 자동 회귀 시계열 예측에서는 이전 시점의 예측값을 다음 입력으로 사용하면서 그 불확실성을 그대로 전파해, 누적 오차를 최소화한다. 셋째, 일반적인 회귀·분류 문제에서 결측 입력을 가진 샘플을 직접 임퓨테이션하고, 그 불확실성을 모델에 반영함으로써 보다 견고한 예측을 얻는다. 실험에서는 시뮬레이션 데이터와 실제 센서·이미지 데이터에 대해 기존 순간 매칭(moment‑matching) 방식, 로컬 근사 방식, 그리고 단순 평균 임퓨테이션과 비교했을 때, 제안 방법이 평균 제곱오차와 로그우도 측면에서 일관되게 우수함을 확인하였다.

전반적으로 이 논문은 변분 베이지안 추론을 활용해 입력 불확실성을 명시적 확률분포로 다루고, 이를 다양한 반지도·반묘사 학습 시나리오에 자연스럽게 연결함으로써 GP 모델의 적용 범위를 크게 확장한다는 점에서 학술적·실용적 의의가 크다.