적응형 학습을 통한 랜덤 매핑 데이터 양자화

본 논문은 데이터 양자화, 즉 고차원 실수 데이터를 저차원 이진 코드로 변환하는 과정에서 발생하는 정보 손실 문제를 해결하고자 한다. 기존 연구에서는 주로 PCA, LSH, Spectral Hashing, ITQ 등 다양한 방법이 제안되었으며, 특히 코사인 기반 랜덤 양자화(Cosine Quantization, CQ)가 코사인 함수의 유계성(‑1~1) 덕분에 이진 코드를 생성하기에 자연스러운 매핑으로 주목받았다. 그러나 CQ는 무작위로 선택된 변환 벡터 w 와 편향 b 에 크게 의존하고, 이들 파라미터가 데이터 분포와 불일치할 경우 출력이 불안정하고, 이진 코드가 데이터의 구조적 정보를 충분히 반영하지 못한다는 한계가 있었다. 이를 극복하기 위해 저자들은 “Adaptive Training Quantization”(ATQ)이라는 새로운 프레임워크를 제안한다. ATQ는 두 단계의 적응적 학습을 통해 랜덤 매핑을 데이터에 맞게 조정한다. 1. **선형 매핑 W 의 적응적 학습** - 입력 데이터 X∈ℝ^{d×n} 에 대해 변환 행렬 W∈ℝ^{d×r} 을 학습한다. - 목표는 코사인 매핑 결과 Cos(WᵀX) 가 2‑way(양극) 클러스터링 구조를 잘 반영하도록 하는 것이다. 이를 위해 라플라시안 행렬 Π=I−(1/n)eeᵀ 를 사용해 목적함수 J(W)=‖Cos(WᵀX) Π Cos(WᵀX)ᵀ‖_F 를 정의한다. 이 함수는 같은 클러스터에 속한 샘플들의 코사인 값이 서로 가깝게, 다른 클러스터와는 멀게 만들려는 의도다. - 전통적인 고유값 분해가 적용되지 않으므로, 저자는 Conjugate Gradient(CG) 방법을 채택한다. CG는 1차 미분만 필요하고, Fletcher‑Reeves θ 계산과 Armijo 조건에 기반한 단계 크기 α 조정을 통해 충분히 감소하는 방향을 찾는다. 또한, 목적값 감소량 기반 ε‑stopping 규칙을 도입해, 그래디언트 크기에 의존하지 않고 수렴을 판단한다. 2. **편향 b 의 적응적 학습** - 기존 CQ에서는 b 를 균등하게 무작위 선택하지만, 이는 하이퍼플레인 상에서 이진 코드가 한쪽으로 치우치게 만든다. 저자는 J(b)=∑_{i=1}^n cos²(wᵀx_i + b) 를 최대화하는 문제를 삼각함수 변형을 통해 J(b)=max_b cos(2b + arctan μ) 형태로 정리한다. 여기서 μ= (∑ sin(2wᵀx_i)) / (∑ cos(2wᵀx_i)) 이다. - 최적 b 는 b = -½ arctan μ (또는 π/2 주기 보정)으로 직접 계산 가능하다. 이 과정은 각 차원의 코사인 매핑이