딥러닝 표현력의 비밀: 텐서 분석을 통한 깊이와 효율성

**1. 연구 배경 및 동기** 딥러닝에서 ‘깊이(depth)’가 표현력을 크게 향상시킨다는 경험적 증거는 풍부하지만, 이를 뒷받침하는 이론은 주로 비현실적인 모델(완전 연결 신경망, Boolean 회로 등)에 국한돼 있었다. 특히, 현재 가장 성공적인 구조인 **컨볼루션 신경망(ConvNet)** 은 **지역성(locality)**, **가중치 공유(weight sharing)**, **풀링(pooling)** 라는 세 가지 핵심 설계 원칙을 갖고 있는데, 기존 이론은 이들을 전혀 고려하지 않았다. 따라서 이 논문은 이러한 실제 ConvNet 특성을 반영한 새로운 이론적 프레임워크를 구축한다. **2. 컨볼루션 산술 회로(Convolutional Arithmetic Circuit) 설계** - **노드 종류**: sum node(가중합)와 product node(곱) 두 종류만 사용. - **지역성·공유 구현**: sum node는 동일한 가중치를 여러 위치에 적용해 1×1 컨볼루션 형태를 만든다(지역성+공유). - **풀링 구현**: product node는 인접 영역의 출력을 곱해 풀링을 수행한다(곱 풀링). - **표현 함수**: 입력 \(\mathbf{x}_i\in\mathbb{R}^s\)에 대해 \(M\)개의 파라미터화된 함수 \(f_{\theta_d}(\mathbf{x}_i)\)를 계산하고, 이를 텐서 곱 형태 \(\bigotimes_{i=1}^N f_{\theta_{d_i}}(\mathbf{x}_i)\) 로 결합한다. **3. 텐서 관점에서의 모델 해석** 스코어 함수는 \