측정 간 변환을 구현하는 트랜스포머: 연속 흐름과 최적 운송의 통합
안내: 본 포스트의 한글 요약 및 분석 리포트는 AI 기술을 통해 자동 생성되었습니다. 정보의 정확성을 위해 하단의 [원본 논문 뷰어] 또는 ArXiv 원문을 반드시 참조하시기 바랍니다.
초록
본 논문은 트랜스포머를 입출력 토큰의 경험적 측정이 아닌 일반 확률 측정 사이의 연속 흐름으로 해석하고, 하나의 파라미터 집합만으로 N개의 임의 입력‑출력 측정 쌍을 근사적으로 매핑할 수 있음을 보인다. 핵심은 자기‑어텐션과 레이어 정규화를 이용한 입체적인 클러스터링·분리·매칭 절차이며, 파라미터는 구간별 상수이며 스위치 수는 O(d·N) 수준이다.
상세 분석
논문은 트랜스포머를 연속 시간 동역학 (1.3) 으로 모델링한다. 여기서 토큰은 구면 S^{d‑1} 위의 입자이며, 자기‑어텐션 AB
댓글 및 학술 토론
Loading comments...
의견 남기기