친화도 가중 임베딩으로 성능 향상하기

본 논문은 대규모 데이터에 적용 가능한 선형 임베딩 모델의 한계점을 지적하고, 이를 보완하기 위한 새로운 프레임워크인 “Affinity Weighted Embedding”(친화도 가중 임베딩)을 제안한다. 기존 모델은 f(x,y)=xᵀUᵀVy 형태의 단순 선형 결합으로, 입력 특징 x와 라벨 y를 각각 저차원 임베딩 공간으로 투사한 뒤 내적을 취해 점수를 산출한다. 이러한 구조는 구현이 간단하고 학습이 효율적이며, Wsabie와 PSI 같은 알고리즘에서 성공적으로 활용되었지만, 비선형성을 전혀 포함하지 않기 때문에 복잡한 데이터 분포를 충분히 모델링하지 못하고 과소적합되는 경우가 빈번하다. 이를 해결하기 위해 저자는 임베딩 점수에 가중치 함수 G(x,y)를 곱하는 형태로 모델을 확장한다. G는 이전 학습 단계에서 얻은 임베딩을 기반으로 정의되며, 두 샘플 간의 거리(또는 유사도)를 이용해 친화도를 측정한다. 구체적인 정의는 G(x,y)=∑_{i=1}^m exp(−λ_x‖U x−U x_i‖²)·exp(−λ_y‖y−y_i‖²) 이며, 여기서 (x_i, y_i)는 학습 데이터의 각 샘플이다. λ_x와 λ_y는 거리 감소 속도를 조절하는 하이퍼파라미터이다. λ_y를 크게 잡으면 라벨이 동일한 경우에만 가중치가 1이 되고, 그 외에는 0에 가까워 라벨 차원에서의 가중치를 사실상 이진화한다. 학습 절차는 다음과 같이 네 단계로 구성된다. 1) 기본 선형 임베딩 모델을 학습한다(표준 Wsabie와 동일). 2) 학습된 U와 V를 이용해 모든 (x_i, y_i) 쌍에 대해 G(x_i, y_i)를 계산한다. 3) G를 가중치로 사용해 새로운 손실 함수를 정의하고, 동일한 최적화 알고리즘으로 다시 임베딩을 학습한다. 4) 필요에 따라 2~3 단계를 반복한다(논문에서는 한 번만 수행). G를 전체 매트릭스로 저장하면 메모리 요구량이 급증하므로, 저자는 G를 희소화한다. 각 입력 x에 대해 임베딩 공간에서 가장 가까운 n개의 이웃(논문에서는 n=20)을 찾고, 이 이웃에 해당하는 라벨에만 비제로 가중치를 부여한다. 이렇게 하면 저장 비용이 크게 감소하면서도 중요한 유사도 정보를 유지할 수 있다. 또한 G를 계산하는 과정은 각 샘플에 대해 독립적으로 수행되므로 MapReduce와 같은 분산 프레임워크를 이용해 효율적으로 병렬 처리할 수 있다. 실험은 두 가지 도메인에서 수행되었다. 첫 번째는 음악 태그 예측 데이터셋인 Magnatagatune이다. 여기서는 MFCC 특징을 사용하고 임베딩 차원을 10으로 설정했다. Wsabie와 비교했을 때 Prec@1이 48.7%에서 52.7%로, Prec@3도 37.5%에서 39.2%로 소폭 향상되었다. 데이터 규모가 작고 라벨 수가 제한적이어서 큰 차이가 나타나지 않은 것으로 해석한다. 두 번째는 ImageNet(2011년 버전)으로, 10M 이미지, 21k 라벨, 474개의 KPCA 특징을 사용했다. 임베딩 차원을 128로 늘렸으며, G를 합산이 아닌 최대값(max)으로 정의했을 때 가장 좋은 결과를 얻었다. Wsabie 기반 Prec@1이 9.2%였던 반면, 제안 방법은 16.4%를 기록해 거의 두 배에 가까운 향상을 보였다. 이는 같은 데이터와 특징을 사용한 최신 ConvNet(15.6%)과도 경쟁할 수 있는 수준이다(단, 평가용 데이터 분할이 다름). 논문은 제안 방법이 기존 선형 모델의 단순함을 유지하면서도 비선형적인 재가중치를 도입해 모델 용량을 효과적으로 확장한다는 점을 강조한다. 그러나 G를 계산·저장하는 비용이 증가하고, 특히 전체 거리 계산을 수행하면 O(N²) 복잡도가 발생한다는 단점도 있다. 이를 해결하기 위한 향후 연구 방향으로는 근사 최근접 이웃 검색, G를 저차원 행렬 분해 형태로 표현, 다중 반복 학습 등을 제시한다. 결론적으로, Affinity Weighted Embedding은 기존 대규모 선형 임베딩 모델에 비해 더 높은 표현력을 제공하며, 특히 라벨 수가 많고 데이터 규모가 큰 상황에서 큰 성능 향상을 기대할 수 있다.