측정일관성 정규화 이론적 분석과 적용

초록

부분관측 데이터에서 측정일관성 정규화가 신경망 거리 관점에서 일반화 향상을 어떻게 제공하는지 이론적 근거와 실험을 제시한다

상세 분석

본 논문은 부분관측 데이터의 결측 문제를 해결하기 위한 새로운 정규화 기법인 측정일관성 정규화 MCR을 신경망 거리 NND와 결합하여 이론적 분석을 수행한다
먼저 완전관측 데이터와 결측 데이터에 대한 경험적 측정 πl 과 πfu 를 정의하고 두 측정 간의 차이를 IPM 형태의 신경망 거리 dGnn 으로 정량화한다
정규화 목표는 기존 감독 손실 L에 λd dGnn 을 가중치로 추가한 목적식 f*u = argminf∈F πl Lf + λd dGnn (πl ,πfu ) 로 표현된다
주요 정리 1에서는 MCR을 적용한 학습의 추정오차 상한을 1/√(n+m) 형태로 도출하여 관측 데이터 양이 증가할수록 일반화 오차가 감소함을 보인다
정리 2에서는 훈련 손실이 완전 수렴하지 못하고 작은 잔차 ε 에 머무를 때의 오류 전파를 분석한다 여기서 MCR의 이점이 항상 유지되지 않을 수 있음을 확인한다
이를 해결하기 위해 논문은 이중성 갭을 모니터링하는 조기 종료 프로토콜을 제안한다 이 프로토콜은 갭이 일정 임계값 이하로 감소하면 학습을 중단하여 MCR의 일반화 이점을 보존한다
실험 부분에서는 이미지 인페인팅 텍스트 데이터 복원 그리고 단일세포 멀티오믹스 데이터에 대해 다양한 신경망 구조를 적용하고 제안된 조기 종료 기준이 기존 방법보다 높은 임퓨테이션 정확도와 안정적인 수렴을 보여준다
또한 MCR이 기존 도메인 적응이나 반지도 학습과 구별되는 점을 강조한다 즉 x 입력 분포는 동일하지만 목표 변수 z 에 대한 가정이 없으며 측정 일관성을 직접 손실에 포함함으로써 모델이 보다 현실적인 데이터 분포를 학습하도록 유도한다