신경망 기반 경로 집합 해석

초록

본 논문은 그래프 이론 관점에서 신경망의 Basis Path(기저 경로)를 정의하고, 완전 연결 신경망에서의 구조적 특성을 분석한다. 이를 바탕으로 네트워크를 독립적인 병렬 서브구조로 분해하여 공유 에지가 없는 경로 집합 B를 효율적으로 찾는 계층적 알고리즘 HBSS(Hierarchical Basis Path Search)를 제안한다. 실험 결과, HBSS가 기존 G‑SGD와 SGD 대비 학습 속도와 일반화 성능에서 우수함을 보인다.

상세 분석

본 연구는 신경망 최적화에서 최근 주목받고 있는 Basis Path 개념을 그래프 이론적으로 정형화한다. 먼저, 완전 연결(fully‑connected) 신경망을 유향 그래프로 모델링하고, 각 뉴런을 정점, 가중치가 부여된 연결을 간선으로 정의한다. 이때 입력‑출력 사이의 모든 경로는 네트워크의 함수 표현을 구성하는 기본 단위가 되며, 그 중 선형 독립성을 만족하는 최소 집합을 ‘Basis Path’라 명명한다. 논문은 Basis Path가 네트워크의 파라미터 공간을 효과적으로 압축하고, 경사 하강법(G‑SGD)의 업데이트 방향을 보다 구조적으로 안내한다는 가설을 제시한다.

구조적 분석에서는 완전 연결 레이어가 동일한 차원을 갖는 경우, 각 레이어 사이의 완전 이분 그래프가 ‘완전 매칭’ 형태를 이루어 Basis Path가 레이어별로 균등하게 분포함을 증명한다. 특히, 레이어 수 L과 각 레이어의 뉴런 수 n에 대해 전체 가능한 경로 수는 n^L이지만, Basis Path의 수는 O(n·L) 수준으로 크게 축소된다. 이는 경로 간 중복을 제거하고, 독립적인 경로만을 선택함으로써 파라미터 차원을 실질적으로 감소시키는 효과를 만든다.

핵심 기여는 ‘독립 서브구조’ 개념이다. 네트워크를 여러 개의 서브그래프로 분할할 때, 각 서브그래프는 내부 경로들 간에 공유 간선이 없도록 설계한다. 이렇게 하면 각 서브구조는 서로 영향을 주지 않는 독립적인 Basis Path 집합을 형성한다. 논문은 이를 달성하기 위해 두 단계의 알고리즘을 제안한다. 첫 번째 단계는 레이어별 간선 가중치의 절대값을 기준으로 ‘핵심 간선’과 ‘보조 간선’으로 구분하고, 핵심 간선만을 이용해 최대 매칭을 구한다. 두 번째 단계에서는 매칭 결과를 기반으로 서브그래프를 구성하고, 각 서브그래프 내에서 깊이 우선 탐색(DFS)으로 경로를 추출한다. 최종적으로 얻어진 Basis Path 집합 B는 공유 에지가 전혀 없으며, 이는 G‑SGD가 각 경로에 대해 독립적인 학습률을 적용할 수 있게 해준다.

실험에서는 MNIST, CIFAR‑10, 그리고 작은 규모의 ImageNet 변형 데이터셋에 대해 표준 SGD, G‑SGD, 그리고 제안된 HBSS를 적용하였다. 학습 곡선은 HBSS가 초기 수렴 속도가 가장 빠르고, 최종 테스트 정확도에서도 평균 1.2~2.3%p의 향상을 보였다. 또한, 파라미터 수 대비 메모리 사용량이 30% 이상 감소했으며, 경로 집합의 독립성 덕분에 학습 과정에서 발생하는 그래디언트 충돌이 현저히 줄어들었다는 정량적 분석 결과도 제시한다. 이러한 결과는 Basis Path가 신경망 내부 구조를 보다 명시적으로 파악하고, 효율적인 최적화 경로를 제공한다는 가설을 실증한다.

마지막으로 논문은 몇 가지 한계점을 언급한다. 현재 HBSS는 완전 연결 구조에 최적화돼 있어, 컨볼루션 레이어나 잔차 연결이 포함된 현대적인 아키텍처에는 직접 적용하기 어렵다. 또한, 서브그래프 분할 과정에서 발생하는 계산 복잡도(O(n^2·L))가 큰 네트워크에서는 실시간 적용에 제약이 될 수 있다. 향후 연구에서는 이러한 제약을 완화하기 위한 근사 알고리즘과, 비선형 활성화 함수가 경로 독립성에 미치는 영향을 탐구할 계획이다.