그룹 이론으로 보는 딥러닝 작동 원리

초록

본 논문은 딥러닝의 사전학습 과정을 그룹 이론의 궤도·안정자 개념에 매핑한다. 실제 네트워크는 그룹이 아니지만, ‘섀도우 그룹’이라는 근사 그룹을 정의해 자동인코더가 작은 궤도를 가진 특징을 먼저 학습한다는 설명을 제시한다. 층이 깊어질수록 이러한 과정이 반복돼 고차원 표현이 점진적으로 형성된다.

상세 분석

논문은 먼저 사전학습(pre‑training)이 “입력 샘플을 재생성하는 변환을 찾는 과정”이라고 정의하고, 이를 그룹 행동에서의 안정자(stabilizer)와 궤도(orbit)의 관계에 빗댄다. 안정자는 입력을 변형 없이 그대로 반환하는 변환이며, 궤도는 그 입력이 변환군에 의해 도달할 수 있는 모든 상태의 집합이다. 안정자와 궤도의 크기는 역관계에 있는데, 이는 유한군에서는 |Orbit|·|Stabilizer|=|G| 로, 연속군에서는 차원(dim) 혹은 Haar 측정으로 일반화된다. 논문은 실제 신경망이 군이 아니므로 직접적인 적용이 어려움을 인정하고, 대신 ‘섀도우 그룹’이라는 근사군을 구성한다. 이 섀도우 그룹은 네트워크가 수행하는 비선형 변환을 선형화하거나, 파라미터 공간을 국소적으로 군 구조로 보는 방식이다.

그 후, 학습 과정을 무작위 워크(random walk) 혹은 마코프 체인(MCMC) 형태의 탐색으로 모델링한다. 탐색이 큰 안정자를 만나면 빠르게 수렴한다는 가정 하에, 큰 안정자를 갖는 특징—즉, 궤도가 작은 특징—이 먼저 발견된다고 주장한다. 여기서 “단순한 특징”은 궤도가 작아 변형 가능성이 적은 구조, 예컨대 2‑차원 이미지에서 직선(에지)와 같은 형태를 의미한다. 실험적 증거로는 GL(2,ℝ) 위에서 에지, 원, 타원에 대한 안정자 차원을 계산해 에지의 안정자 차원이 가장 크다는 점을 제시한다.

다층 구조에 대해서는 각 층이 이전 층의 출력(새로운 ‘입력 공간’)에 대해 동일한 안정자‑궤도 메커니즘을 적용한다. 따라서 첫 번째 층에서는 에지와 같은 저차원 특징이 학습되고, 두 번째 층에서는 이러한 에지를 조합해 더 복합적인 패턴(예: 코너, 텍스처)으로, 그 이하 층에서는 점점 더 추상적인 고차원 표현이 형성된다. 이 과정에서 시그모이드 함수는 비선형성을 제공하면서도 연속적인 변환을 유지해 섀도우 그룹의 구조를 보존한다는 역할을 한다.

전체적으로 논문은 딥러닝이 “단순한 대칭을 보존하는 변환”을 단계적으로 학습함으로써 복잡한 데이터 구조를 효율적으로 인코딩한다는 그룹 이론적 해석을 제공한다. 비록 수학적 엄밀성이나 실험적 검증이 부족한 점이 있지만, 안정자와 궤도 개념을 통해 사전학습이 왜 층별로 점진적인 특징 추출을 가능하게 하는지 직관적인 설명을 제시한다.