다차원에서 ReLU를 신뢰성 있게 학습하는 다항시간 알고리즘
본 논문은 단일 ReLU 함수와 일정 깊이의 ReLU 네트워크를, 라벨이 임의적이거나 잡음이 섞인 상황에서도, 단위 구면 위의 어떤 분포에 대해서도 ε = Ω(1/log n) 수준의 정확도로 다항시간에 학습할 수 있는 최초의 차원 효율적 알고리즘을 제시한다. 핵심은 저차·저중량 다항식 근사와 커널 방법을 결합한 “dual‑loss” 최적화 기법이며, 이를 통해 거짓 양성률을 최소화하면서 양성 라벨에 대한 손실도 최적에 가깝게 만든다. 또한 이 …
저자: Surbhi Goel, Varun Kanade, Adam Klivans
본 논문은 현대 딥러닝에서 핵심적인 활성화 함수인 ReLU(Rectified Linear Unit)를, 라벨이 임의적이거나 잡음이 섞여 있는 상황에서도 신뢰성 있게(리라이어블) 학습할 수 있는 최초의 차원 효율적 알고리즘을 제시한다. 연구는 크게 네 부분으로 구성된다.
1. **문제 정의와 모델**
- 입력 공간 X를 n차원 단위 구면 S^{n‑1}로, 출력 공간 Y를
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기