ReLU 네트워크와 데이터 정보 행렬을 통한 특이 폴리케이션 구조 탐구

초록

본 논문은 ReLU 활성화 함수를 갖는 분류 신경망을 이용해 데이터 공간에 자연스러운 기하 구조를 부여한다. 모델이 정의하는 데이터 정보 행렬(DIM)을 통해 데이터 공간에 ‘데이터 폴리케이션’이라 부르는 특이한 foliation을 발견하고, 특이점이 전체 공간에서 측도 0임을 이론적으로 증명한다. 실험에서는 MNIST·Fashion‑MNIST 등에서 데이터가 foliation의 leaf와 높은 상관관계를 보이며, DIM 스펙트럼을 활용해 데이터셋 간 거리와 지식 전이 가능성을 평가한다.

상세 분석

논문은 먼저 기존의 manifold learning 가정이 고차원 데이터에 적용하기 어렵다는 점을 지적하고, 대신 singular foliation이라는 보다 일반적인 기하 구조를 도입한다. 핵심 도구인 Data Information Matrix(DIM)는 Fisher 정보 행렬을 입력 공간에 대해 전이시킨 형태로, Dᵢⱼ(x,w)=E_Y|x,w