곱 부분다양체를 이용한 합성곱 커널 최적화

초록

본 논문은 서로 다른 정규화 제약을 가진 커널들을 하나의 곱 부분다양체(PEM)로 결합하여 CNN을 학습하는 새로운 방법을 제시한다. 이를 위해 PEM을 구성하는 세 가지 전략을 제안하고, 해당 공간의 거리·곡률 등 기하학적 특성을 분석한다. 분석 결과를 바탕으로 기하학을 고려한 SGD(G‑SGD)를 설계하여 CIFAR‑10/100 및 ImageNet에서 기존 방법보다 빠른 수렴과 향상된 정확도를 입증하였다.

상세 분석

이 연구는 기존에 개별 커널에 대해 스테플러(Stiefel)나 구(Sphere)와 같은 리만 다양체 제약을 적용한 최적화 방법이 존재함에도, 다중 제약을 동시에 적용하려 할 때 조기 발산이나 기울기 소실·폭발 문제가 발생한다는 점을 지적한다. 이를 해결하기 위해 저자는 “곱 부분다양체(Product of Embedded Manifolds, PEM)”라는 개념을 도입한다. PEM은 동일 레이어 내에서 입력 채널 혹은 출력 채널 별로 서로 다른 서브다양체를 선택해 카테고리화하고, 이를 카테시안 곱으로 결합한다. 세 가지 구성 전략(PI, PO, PIO)은 각각 입력 채널, 출력 채널, 그리고 양쪽 모두를 기준으로 서브다양체를 나누어 비중첩 혹은 중첩 집합을 만들 수 있게 한다.

기하학적 분석에서는 각 서브다양체 Mᵢ에 정의된 리만 계량 dᵢ와 곡률 텐서 Cᵢ를 이용해 PEM 전체의 계량 d_G와 곡률 C_G를 합산한다(Lemma 3.2). 중요한 결과는 PEM이 비음의 섹션 곡률을 갖지 않으며, 구성 요소가 동일하더라도 곱 구조 때문에 섹션 곡률이 0이 되는 평면이 존재한다는 점이다. 이러한 특성은 학습률(step size)을 곡률에 따라 적응적으로 조정해야 함을 의미한다. 저자는 이를 정리한 Theorem 3.3과 Corollary 3.4를 통해, 구(Sⁿ)와 스테플러(St) 조합에 대한 구체적 학습률 함수를 도출한다.

G‑SGD 알고리즘은 (1) 기울기를 각 서브다양체의 접공간에 투영, (2) 접공간 상에서 적절한 리트랙션(재투영)으로 이동, (3) 이동된 파라미터를 다시 PEM에 맞는 리만 구조에 투영하는 과정을 반복한다. 특히 학습률은 각 레이어·에폭·커널별 섹션 곡률에 기반해 자동 조정되므로, 기존 고정 학습률 SGD보다 안정적인 수렴을 보인다. 실험에서는 PI, PO, PIO 각각에 대해 서로 다른 비중첩/중첩 구성을 시험했으며, 특히 다중 제약을 결합한 PEM이 단일 제약보다 일반화 성능을 크게 향상시켰다.