다중 연결 매니폴드 위에서 잠재 랜덤 필드가 구조화하는 랜덤 신경망의 지도 학습

초록

본 논문은 결정론적 입력에 대해 강한 비-가우시안 확률적 출력을 보이는 복잡 불확실 시스템을 모델링하기 위한 새로운 확률론적 프레임워크를 소개한다. 컴팩트하고 경계가 없으며 다중 연결된 매니폴드 위에 정의된 잠재 이방성 가우시안 랜덤 필드에 의해 신경망 구조 전체(뉴런 위치, 연결성, 가중치)가 확률적으로 생성된다. 학습은 가중치 최적화가 아닌, 이 생성 과정을 제어하는 하이퍼파라미터의 통계적 추론으로 정의된다.

상세 분석

이 논문의 핵심 기여는 신경망 구조 자체를 고정된 객체가 아닌, 기하학적 공간(매니폴드) 위의 연속적인 잠재 확률 과정의 실현으로 재정의한 개념적 프레임워크에 있다. 기존의 그래프 신경망(GNN)이나 베이지안 신경망이 주로 고정된 그래프 구조에 확률적 가중치를 부여하는 것과 달리, 이 모델은 뉴런의 공간적 배치부터 연결 패턴, 가중치 분포까지 모두 하나의 통일된 잠재 가우시안 랜덤 필드(U)에서 도출된다. 이는 구조적 불확실성을 모델의 본질적 특징으로 내재화한다.

기술적 핵심은 다음과 같이 요약된다:

1. 기하학적 토대: 모델의 무대는 2차원 컴팩트 다중 연결 매니폴드(S)로, 토러스와 같은 복잡한 위상을 가질 수 있다. 이 위에 SPDE를 통해 정의된 이방성 가우시안 랜덤 필드가 구성된다.
2. 구조 생성 메커니즘: 필드 U의 강도에 비례하는 불균일 포아송 과정으로 뉴런 위치를 샘플링한다. 입력/출력 뉴런은 필드 값의 극대/극소점으로 자동 지정된다. 연결성은 측지선 거리와 필드 값 유사성(ΔS_ij)을 기반으로 한 확산 커널로 정의되며, 퍼센타일 임계값 기반 마스킹을 통해 계산 효율적인 희소 그래프로 희소화된다.
3. 가중치와 매핑의 확률성: 가중치 행렬 W_ij는 거리 함수 g(d_g, ΔS_ij)로 생성되며, 이는 필드 실현 U에 조건부이다. 따라서 동일한 결정론적 입력에 대해서도 매번 샘플링되는 구조와 가중치에 따라 확률적 출력이 생성된다.
4. 학습 패러다임의 전환: 기존의 가중치 θ에 대한 경사하강법이 아니라, 생성 과정의 하이퍼파라미터 θ_t (필드의 이방성, 유사성 척도, bias 저차원 표현 등)를 추정한다. 손실 함수는 단일 관측 데이터셋으로부터 몬테카를로 샘플링으로 추정된 출력의 조건부 로그 가능도로 정의된다.

이 모델의 강점은 기하학과 위상을 사전 지식으로 자연스럽게 통합할 수 있으며, 소규모 네트워크(예: 200개 뉴런)와 적은 데이터(예: 1000개 샘플)로도 구조적 랜덤성에서 비롯된 비-가우시안 출력 분포를 모델링할 수 있다는 점이다. 이론적 기초로서 well-posedness, 가측성 등이 논의되었으며, 이는 향후 “기하학 주도 확률적 학습” 이론의 초석을 마련한다.