정보 거리의 최신 흐름과 응용

초록

본 논문은 단일 객체, 객체 쌍, 다중 객체 집합 사이의 정보량을 객관적으로 정의하는 ‘정보 거리’ 개념을 정리하고, 최근 이론적 확장과 실용적 적용 사례들을 종합적으로 검토한다. 특히 Kolmogorov 복잡도 기반 거리, 정규화된 정보 거리, 그리고 확률적 모델을 이용한 일반화된 거리 정의를 중점적으로 다루며, 패턴 인식·학습·데이터 마이닝 분야에서의 활용 가능성을 제시한다.

상세 요약

정보 거리라는 개념은 두 객체 사이의 변환에 필요한 최소한의 알고리즘적 정보량을 측정함으로써, 객체 간 유사성을 절대적인 척도로 표현한다는 점에서 기존의 통계적 거리와 근본적으로 차별된다. 논문은 먼저 Kolmogorov 복잡도 K(x)와 조건부 복잡도 K(x|y)를 이용해 정의되는 기본 정보 거리 D(x,y)=max{K(x|y),K(y|x)}를 소개하고, 이 거리의 대칭성, 삼각 부등식, 비정규화된 형태의 한계점을 논의한다. 이어서 정규화된 정보 거리(NID)인 NID(x,y)=D(x,y)/max{K(x),K(y)}를 제시함으로써 객체 크기에 독립적인 비교가 가능함을 증명한다. 최근 연구에서는 NID를 실제 데이터에 적용하기 위해 압축 알고리즘을 근사치로 활용하는 방법이 널리 채택되고 있으며, 이때 압축기의 선택이 거리의 정확도에 미치는 영향을 정량적으로 분석한다. 또 다른 주요 발전은 확률적 모델, 특히 마코프 체인과 베이지안 네트워크를 기반으로 한 기대 정보 거리(EID) 정의이다. EID는 데이터 생성 과정의 불확실성을 반영하여, 잡음이 섞인 실세계 데이터에서도 견고한 유사도 측정을 가능하게 한다. 논문은 이러한 확장된 거리 정의들이 다중 객체 집합에 어떻게 일반화되는지를 탐구한다. 다중 정보 거리(MID)는 집합 내 모든 쌍의 정보 거리를 평균하거나 최대값을 취함으로써 정의되며, 클러스터링이나 군집 구조 탐지에 직접 활용된다. 마지막으로, 정보 거리 기반 알고리즘이 패턴 인식, 이미지 분류, 텍스트 유사도 측정, 바이오인포매틱스 등 다양한 도메인에서 실험적으로 검증된 사례들을 제시한다. 특히, 유전 서열 비교에서 NID를 이용한 비지도 클러스터링이 전통적인 BLAST 기반 방법보다 높은 정확도를 보였으며, 자연어 처리에서는 압축 기반 거리와 임베딩 기반 거리의 결합이 의미론적 유사도 평가에 새로운 가능성을 열어줬다. 전체적으로 논문은 정보 거리 이론의 수학적 엄밀성과 실용적 적용 사이의 격차를 메우기 위한 최신 연구 흐름을 포괄적으로 정리하고 있다.