최적 이진 오토인코더: 쌍별 상관관계만으로 완전 복원
본 논문은 이진 데이터의 압축·복원을 위해 인코딩 비트와 디코딩 비트 사이의 쌍별 상관관계만을 기억하는 방식을 제안한다. 이 정보를 이용한 최소-최대 게임을 정의하고, 최적 디코더가 로지스틱 시그모이드 뉴런 한 층임을 증명한다. 인코더와 디코더 파라미터는 각각 볼록 최적화 문제로 풀 수 있어 교대 최적화 알고리즘으로 효율적으로 학습된다. 실험 결과는 제안 방법이 기존 비선형 오토인코더와 경쟁하거나 우수함을 보여준다.
저자: Akshay Balsubramani
본 논문은 이진 데이터에 대한 효율적인 오토인코딩 방법을 제시한다. 전통적인 오토인코더는 인코더와 디코더를 신경망으로 설계하고, 전체 파라미터를 비볼록 손실(예: 교차 엔트로피) 하에서 역전파로 학습한다. 그러나 이러한 접근은 전역 최적화가 어려워 과적합과 학습 불안정성을 초래한다. 저자는 이를 회피하기 위해 **쌍별 상관관계** \(B\) 라는 제한된 정보를 메모리로 사용한다.
### 1. 문제 정의
- 데이터: i.i.d. \(V\) 비트 벡터 \(x^{(i)}\in\{-1,1\}^V\), \(i=1,\dots,n\).
- 인코딩 차원: \(H
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기