파동 산란을 이용한 무잠금 역전파

초록

본 논문은 딥러닝의 역전파와 최적제어의 폰트리악 맥시멈 원리를 두 점 경계값 문제로 보는 관점을 탈피한다. 최적화 시간을 추가 차원으로 도입해 1+1 차원의 세계시트를 구성하고, 전·후향 파동 변수와 파동 산란 관계를 이용해 문제를 초기값 문제로 전환한다. 파동 에너지의 비반사·소산 조건을 파라미터 업데이트 규칙으로 연결함으로써, 모든 층이 로컬 변수만으로 동시에 업데이트되는 ‘무잠금’ 학습 알고리즘을 제시한다.

상세 분석

논문은 먼저 역전파가 폰트리악 맥시멈 원리(PMP)의 이산 형태임을 지적하고, PMP가 입력 시점(t=0)과 출력 시점(t=T)에서 각각 상태와 코스테이트를 고정하는 두 점 경계값 문제(TPBVP)임을 강조한다. 이 구조가 “forward‑backward lock”을 초래한다는 점을 물리적 파동 전파 현상과 대비한다. 저자는 최적화 시간을 τ라는 추가 차원을 도입해 원래의 시간 구간