깊은 신경 회귀 붕괴 현상
본 논문은 회귀 문제에 적용된 신경 붕괴(Neural Collapse) 현상이 마지막 층에만 국한되지 않고, 깊은 네트워크의 여러 중간 층에서도 나타난다는 것을 실증한다. 저자들은 네 가지 정량적 조건(NRC1‑4)을 제시하고, 다양한 MLP·CNN 아키텍처와 합성·실제 데이터셋을 통해 “깊은 신경 회귀 붕괴(Deep NRC)”가 발생함을 확인한다. 또한, Deep NRC가 저차원 목표의 내재 차원을 학습하고, 가중치 감쇠(weight deca…
저자: Akshay Rangamani, Altay Unal
**1. 서론**
신경 붕괴(Neural Collapse, NC)는 깊은 분류 모델이 학습 말기에 클래스 평균이 등각tight frame(ETF) 구조를 이루고, 내부·외부 공분산이 특정 비율로 수렴한다는 현상으로, 모델이 “최소 깊이”라는 암묵적 편향을 갖는다는 이론적 해석을 가능하게 한다. 최근 Andriopoulos et al.
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기