데이터 기반 스플라인 활성화 함수 학습
본 논문은 각 뉴런마다 독립적으로 적응 가능한 활성화 함수를 구현하기 위해 3차 스플라인 보간을 활용한다. 제어점(노드)을 로컬하게 조정하고, 초기 하이퍼볼릭 탄젠트 형태에서 크게 벗어나지 않도록 하는 ‘댐핑’ 정규화 항을 도입한다. 배치 학습에 맞춘 효율적인 구현과 두 개의 회귀 벤치마크 실험을 통해, 특히 가중치 정규화가 강하게 적용된 상황에서 기존 고정 활성화 함수보다 낮은 테스트 오류를 달성함을 보인다.
저자: Simone Scardapane, Michele Scarpiniti, Danilo Comminiello
본 논문은 신경망에서 활성화 함수를 고정된 형태로 사용하는 전통적인 관행이 최적이 아닐 수 있다는 점을 출발점으로, 각 뉴런이 데이터에 따라 독립적으로 활성화 함수를 학습하도록 설계된 새로운 프레임워크를 제시한다. 핵심 아이디어는 3차 스플라인 보간, 특히 Catmull‑Rom 스플라인을 이용해 활성화 함수를 파라미터화하는 것이다.
먼저, 입력 벡터 x와 가중치 w의 내적 s = wᵀx 를 계산하고, 사전에 정의된 간격 Δx 로 구간을 나눈 뒤, s가 속한 구간의 인덱스 i와 정규화 위치 u = (s/Δx) − ⌊s/Δx⌋ 를 구한다. 그 구간에 해당하는 4개의 제어점 q_i =
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기