그룹 이론으로 바라본 비지도 딥러닝

이 논문은 최근 딥러닝의 성공 뒤에 숨겨진 이론적 메커니즘을 그룹 이론의 관점에서 조명한다. 저자는 두 가지 핵심 원칙, 즉 (P1) “컴퓨터 비전을 위해서는 먼저 컴퓨터 그래픽스를 배워야 한다”는 Hinton의 주장과 (P2) “전체 네트워크를 한 번에 학습하기보다 층별로 학습한다”는 사전학습 방식을 출발점으로 삼는다. 사전학습은 자동인코더(autoencoder)를 이용해 각 층이 입력을 재구성하도록 학습하는 과정이며, 학습이 끝난 뒤 입력 f 가 그대로 출력 f′≈f 가 되는 변환을 ‘안정자(stabilizer)’라고 정의한다. 그룹 G가 집합 X 위에서 작용할 때, 각 원소 x∈X 에 대해 궤도 Oₓ와 안정자 Sₓ가 정의되고, 궤도와 안정자의 크기는 역관계에 있다. 논문은 실제 신경망이 정확히 군을 이루지는 않지만, 학습 과정에서 발생하는 변환들의 집합을 ‘그림자 그룹’이라 부르고, 이 그림자 그룹 위에서 궤도‑안정자 원리가 적용된다고 가정한다. 사전학습을 마코프 체인 혹은 MCMC와 같은 확률적 탐색으로 모델링하면, 탐색이 큰 안정자를 만나면 빠르게 수렴한다. 큰 안정자는 작은 궤도를 의미하므로, 네트워크는 변형에 덜 민감하고 구조가 단순한 특징을 먼저 학습한다. 예를 들어, 직선 에지는 다양한 선형 변형에도 형태가 크게 변하지 않아 작은 궤도를 가지며, 복잡한 꽃 모양보다 먼저 발견된다. 이는 실험적으로도 자동인코더가 초기 층에서 에지와 같은 저차원 구조를 학습한다는 사실과 일치한다. 다층 구조로 확장하면, 각 층의 출력은 새로운 입력 공간이 된다. 이 새로운 공간에서도 동일한 궤도‑안정자 원리가 적용되며, “단순”이라고 판단되는 특징은 이전 층의 출력에 대한 에지와 유사한 구조가 된다. 따라서 두 번째 층은 첫 번째 층이 만든 에지들의 조합을 단순한 특징으로 인식하고, 세 번째 층은 그 조합을 다시 더 높은 차원의 패턴으로 재구성한다. 이렇게 층을 거듭할수록 원래 입력 공간에서의 복잡도는 증가하지만, 각 층이 보는 관점에서는 여전히 ‘단순’한 형태를 학습한다는 점에서, 깊은 네트워크가 점진적으로 고차원 추상 표현을 형성한다는 현상을 설명한다. 또한, 그림자 그룹 개념은 실제 신경망이 비가역적·비선형적이라도 근사적으로 군 구조를 활용할 수 있음을 시사한다. 이는 사전학습이 단순히 초기 가중치를 좋은 값으로 설정하는 기술적 트릭이 아니라, 본질적으로는 큰 안정자를 찾는 최적화 문제임을 의미한다. 따라서 사전학습이 없을 경우 탐색이 작은 안정자(복잡한 궤도)에 머물 가능성이 높아, 학습 효율이 떨어진다. 논문은 이론적 논증 외에도 기존 연구(Lee et al., 2009; Salakhutdinov & Hinton, 2009 등)의 실험 결과와 일치함을 강조한다. 특히, 자동인코더가 초기 층에서 에지를, 이후 층에서 점점 복잡한 패턴을 학습한다는 관찰은 제시된 그룹 이론적 프레임워크와 자연스럽게 연결된다. 마지막으로, 저자는 이 접근법이 딥러닝의 일반화, 표현 학습, 그리고 새로운 최적화 알고리즘 설계에 활용될 수 있는 가능성을 제시하며, 향후 연구 방향으로 그림자 그룹의 구체적 구성 방법과 비가역적 변환에 대한 정량적 분석을 제안한다.