통계적 다양성 탐색을 위한 피셔 정보 임베딩

본 논문은 고차원 데이터가 전통적인 유클리드 공간에 자연스럽게 매핑되지 않을 때, 데이터가 확률밀도함수(PDF)의 집합, 즉 통계적 다양체(statistical manifold) 위에 존재한다는 가정을 출발점으로 삼는다. 이러한 상황에서는 각 데이터셋을 직접 확률분포로 모델링하고, 분포 간의 차이를 측정하는 것이 보다 의미 있는 거리 정의가 된다. 저자들은 이 목적을 위해 정보기하학의 핵심 도구인 피셔 정보 메트릭(Fisher Information Metric, FIM)을 활용한다. FIM은 파라미터화된 확률분포 공간에 자연스러운 리만 계량을 제공하며, 두 분포 사이의 최소 경로(지오데식)의 길이가 피셔 정보 거리(Fisher Information Distance, FID)로 정의된다. 하지만 실제 응용에서는 파라미터화가 알려지지 않은 경우가 대부분이다. 이를 해결하기 위해 저자들은 비모수적 방법으로 각 데이터셋의 PDF를 추정한다. 구체적으로 커널 밀도 추정(KDE) 혹은 히스토그램을 이용해 샘플 집합으로부터 연속적인 확률밀도 함수를 근사한다. 이렇게 얻어진 비모수적 PDF들 사이의 피셔 정보 거리를 직접 계산하는 것은 어려우므로, 저자들은 두 PDF 사이의 대칭 Kullback‑Leibler 발산을 이용해 FID를 근사한다. 이 근사는 샘플이 충분히 많을 경우 피셔 정보 거리와 동일한 수렴 특성을 보이며, 파라미터화에 대한 의존성을 완전히 제거한다. 다음 단계에서는 이렇게 정의된 거리 행렬을 저차원 유클리드 공간에 임베딩한다. 논문에서는 다차원 스케일링(MDS)을 기본 임베딩 기법으로 채택했으며, 필요에 따라 t‑SNE, Isomap 등 비선형 차원 축소 방법도 적용 가능함을 언급한다. MDS는 거리 보존을 목표로 하여, 고차원에서 정의된 피셔 정보 거리 구조를 저차원 좌표계에 그대로 재현한다. 결과적으로 각 데이터셋은 저차원 벡터로 표현되며, 이 벡터는 클러스터링, 분류, 시각화 등에 바로 활용될 수 있다. 논문은 두 가지 실험을 통해 제안 방법의 유효성을 검증한다. 첫 번째는 의료 분야의 플로우 사이토메트리 데이터이다. 각 환자의 혈액 샘플은 다수의 세포와 여러 형광 마커로 구성된 고차원 측정값을 제공한다. 기존 방법은 이러한 데이터를 임의의 피처 벡터로 변환하는 ‘더러운 세탁’ 과정을 거쳐야 했지만, FINE은 각 환자 데이터를 확률분포로 모델링하고, 피셔 정보 거리를 기반으로 저차원 임베딩을 수행함으로써 질병 군집을 명확히 구분한다. 두 번째는 텍스트 문서 분류이다. 문서는 단어 빈도라는 이산형 확률분포로 표현될 수 있으며, 저자들은 각 문서를 단어 분포로 추정한 뒤 피셔 정보 거리를 계산한다. 결과적으로 FINE은 기존 TF‑IDF 기반 코사인 유사도보다 더 뚜렷한 군집 구조와 높은 분류 정확도를 달성한다. FINE이 기존 연구와 차별화되는 주요 포인트는 다음과 같다. 첫째, 파라미터화된 모델에 의존하지 않는다. 기존 통계적 다양체 기반 방법은 다항분포, 가우시안 혼합 모델 등 특정 분포군에 제한되었으며, 파라미터 추정이 필수적이었다. 반면 FINE은 비모수적 밀도 추정만으로 모든 종류의 연속·이산 확률분포에 적용 가능하다. 둘째, 지오데식 근사는 전체 다양체가 구면이나 단순한 매니폴드가 아니라 복잡한 서브다양체일 경우에도 유연하게 동작한다. 논문에서는 서브다양체가 n+1 차원 구면 위에 놓인 경우를 시각화하고, 정확한 피셔 정보 거리를 구할 수 없을 때에도 근사 지오데식을 통해 거리 추정을 수행한다. 셋째, 비선형 차원 축소와 결합함으로써 복잡한 비유클리드 구조를 저차원에 효과적으로 보존한다. 이는 기존 선형 방법(PCA)만을 사용했을 때 발생하는 정보 손실을 크게 감소시킨다. 알고리즘 복잡도 측면에서는 비모수적 밀도 추정 단계가 O(N·m·d) (N: 데이터셋 수, m: 샘플 수, d: 차원)이며, 거리 행렬 계산이 O(N²)이다. 저자들은 대규모 데이터에 대한 확장성을 위해 근사 최근접 이웃 검색이나 랜덤 샘플링 기반 거리 추정 기법을 도입할 수 있음을 제시한다. 결론적으로, FINE은 통계적 다양체 위에서 비모수적 피셔 정보 거리를 정의하고, 이를 다차원 스케일링을 통해 저차원 유클리드 공간에 임베딩함으로써 고차원 비유클리드 데이터의 클러스터링, 분류, 시각화를 효과적으로 수행할 수 있는 통합 프레임워크를 제공한다. 이는 기존 유클리드 기반 차원 축소가 한계에 부딪히는 의료, 텍스트, 이미지 등 다양한 분야에 새로운 분석 도구로 활용될 가능성을 열어준다.