대칭 퍼셉트론의 교사‑학생 학습 분석
대칭 이진 퍼셉트론을 교사‑학생 설정으로 전환하고, 두 종류의 손실 함수(상수형·선형형)를 이용해 고차원 한계에서 자유에너지(annealed·quenched) 계산을 수행하였다. 샘플 밀도 α, 마진 κ, 온도 T 세 변수에 대한 위상도를 제시하고, 교사와의 상관이 서서히 나타나는 2차 전이 뒤에 교사와 완전 정렬되는 1차 전이가 이어지는 특이한 학습 메커니즘을 밝혀냈다. 또한 손실 함수의 매끄러움이 메타안정성·융해 과정에 미치는 영향을 분석하…
저자: Giovanni Catania, Aurélien Decelle, Suhanee Korpe
본 연구는 대칭 이진 퍼셉트론을 교사‑학생(Teacher‑Student) 설정으로 재정의하고, 이를 통해 전통적인 저장 문제를 플랜트된 추론 문제로 전환한다. 대칭 퍼셉트론은 가중치 벡터 w와 −w가 동일한 해를 이루는 두 개의 대칭 초평면(κ ± w·x = 0)으로 정의되며, 마진 파라미터 κ가 두 초평면 사이의 거리 역할을 한다. 기존 연구에서는 주로 무작위 라벨을 사용해 저장 용량을 분석했지만, 본 논문은 교사가 생성한 라벨을 이용해 언제든지 해가 존재한다는 보장을 얻는다.
모델은 두 종류의 손실 함수를 사용한다. 첫 번째는 상수형 포텐셜 V⁽⁰⁾(ω,σ)로, 오분류된 샘플에 동일한 비용 1을 부여한다. 두 번째는 선형형 포텐셜 V⁽¹⁾(ω,σ)로, 오분류 정도에 비례해 비용을 가중한다. 두 포텐셜 모두 T→0에서 동일한 제약을 갖지만, 유한 온도에서는 에너지와 엔트로피의 균형이 달라 위상 전이가 서로 다른 양상을 보인다.
고차원 한계(N→∞, M=αN)에서 replica 방법을 적용해 replica‑symmetric(RS) 해석을 수행하였다. 핵심 순서 매개변수는 학생‑교사 중첩 R=(1/N)∑_i w_i w⁰_i 로, R≈0이면 무작위 해, R≈1이면 교사와 완전 일치를 의미한다. 자유에너지는 엔트로피 항 G_S(ĤR)와 에너지 항 G_E(R)로 분리되며, G_S는 주어진 R에서 가능한 가중치 구성 수를, G_E는 평균 손실을 나타낸다.
annealed 계산에서는 로그 평균 대신 평균 로그를 취해 자유에너지의 상한을 제공한다. 이 근사만으로도 R에 대한 자유에너지 곡선 f(R)에서 두 개의 최소점(0
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기