절대 추상화와 재규격화 그룹: 깊이와 폭의 통합적 시각

초록

본 논문은 추상화가 단순히 신경망의 깊이에 의존하지 않고, 학습 데이터의 다양성(폭)과 깊이의 결합에 의해 결정된다고 주장한다. 이를 재규격화 그룹(RG) 프레임워크에 매핑하여, 데이터 폭이 확대될 때 나타나는 변환의 고정점으로 ‘계층적 특징 모델(Hierarchical Feature Model, HFM)’을 제시한다. DBN과 오토인코더 실험을 통해 깊이와 폭이 동시에 증가할 때 내부 표현이 HFM에 수렴함을 확인한다.

상세 분석

논문은 추상화를 “불필요한 세부 정보를 제거하고 본질적인 특징만을 남기는 과정”으로 정의하고, 기존 연구가 강조한 ‘깊이’를 넘어 ‘데이터 폭(breadth)’이 추상화 수준을 결정한다는 새로운 가설을 제시한다. 이를 위해 저자들은 재규격화 그룹(RG)의 두 단계—코스 그레이닝과 스케일 복원—를 학습 과정에 대응시킨다. 코스 그레이닝은 작은 스케일(세부) 특징을 버리고 큰 스케일(추상) 특징을 강조하는 과정이며, 스케일 복원은 데이터 집합을 확장함으로써 새로운 큰 스케일 특징을 도입한다는 의미로 해석된다.

수학적으로는 숨겨진 층의 이진 변수 s = (s₁,…,sₙ) 위의 확률분포 p(s)를 고려한다. 데이터 폭이 확대될 때 변환 ℛ↑는 (1) 새로운 무작위 특징 s₀를 엔트로피가 최대인 ½ · p(s₁:ₙ) 형태로 추가하고, (2) 기존 특징들을 재정렬·통합하여 정보 효율성을 유지한다. 이 과정에서 저자들은 ‘최대 관련성(principle of maximal relevance)’과 ‘최대 엔트로피(maximum entropy)’ 원리를 동시에 만족하는 고정점 p*를 찾는다. 고정점은 단일 충분통계인 평균 상세도(average level of detail)만을 매개변수로 하는 HFM으로, 이는 “추상화가 데이터에 독립적인 보편적 분포”라는 주장과 일치한다.

실험에서는 제한된 용량을 가진 DBN과 오토인코더를 사용해, (i) 데이터 폭을 단계적으로 확대하고, (ii) 네트워크 깊이를 늘리는 두 축을 독립·동시적으로 조절한다. 결과는 깊이만 증가시킬 경우 표현이 점차 복잡해지지만 HFM에 수렴하지 않으며, 폭을 확대할 때는 표현이 고차원 특징을 포착하면서 엔트로피가 감소한다는 점을 보여준다. 특히 깊이와 폭이 동시에 증가할 때 내부 층의 분포가 HFM과 거의 일치함을 정량적으로 확인한다(예: KL divergence 감소, 관련성 지표 상승). 이는 RG 고정점이 실제 학습 시스템에서도 실현 가능함을 입증한다.

이론적·실험적 결과는 두 가지 중요한 함의를 가진다. 첫째, 추상화는 “데이터 독립적인 보편적 구조”를 목표로 할 때 깊이와 폭이 모두 필요함을 시사한다. 둘째, HFM이라는 고정점은 신경망 설계 시 목표 표현으로 삼을 수 있는 명시적 기준을 제공한다. 향후 연구는 이 고정점을 다양한 지도·비지도 학습, 멀티모달 데이터에 적용하고, 인간 뇌의 계층적 인지 구조와 연결짓는 작업이 기대된다.