비모수 발산 추정으로 샘플 집합에 대한 커널

초록

본 논문은 개별 데이터 포인트가 아니라 데이터 집합 자체를 분석 대상로 삼아, 각 집합을 해당 집합을 생성한 확률분포의 i.i.d. 샘플로 간주한다. 비모수적 발산 추정기를 이용해 두 분포 사이의 커널 함수를 추정하고, 추정된 Gram 행렬을 양의 반정밀 행렬(SPSD)으로 투영함으로써 커널 머신을 분포 수준에서 적용한다. 분류, 회귀, 이상 탐지 및 저차원 임베딩 등 다양한 태스크에서 기존 방법보다 우수한 성능을 보인다.

상세 분석

이 논문은 “샘플 집합을 객체로 하는 커널 학습”이라는 새로운 패러다임을 제시한다. 전통적인 커널 방법은 각 데이터 포인트를 고정 차원의 벡터로 보고, 그 벡터들 사이에 정의된 양성정정함수(positive‑definite kernel)를 이용해 Gram 행렬을 만든다. 저자들은 여기서 한 단계 나아가, 각 데이터 포인트 대신 데이터 집합 자체를 관측값으로 삼고, 그 집합을 해당 확률분포의 i.i.d. 샘플이라고 가정한다. 이렇게 하면 두 집합 사이의 유사도는 두 확률분포 사이의 거리 혹은 발산(divergence)으로 정의될 수 있다.

핵심 아이디어는 두 분포 (P)와 (Q)에 대해
\