정보 거리와 보편적 인지 유사성

초록

이 논문은 개별 유한 객체 사이의 정보 거리를 정의하고, 이를 콜모고로프 복잡도 기반의 보편적 메트릭으로 정형화한다. 일반 및 가역(비소산) 계산 모델을 이용한 여러 정의가 로그 항만 차이 나는 동등성을 보이며, 정보 거리는 인지적 유사성을 측정하는 보편적 거리임을 증명한다. 또한 프로그램 상관성, 비상관성(스레피안‑워프 일반화), 거리 공간의 밀도 특성, 비가역성 거리와 열역학적 작업량을 탐구한다. 패턴 인식과 계산 열역학에의 적용 가능성을 제시한다.

상세 요약

본 연구는 콜모고로프 복잡도가 개별 객체의 정보량을 절대적으로 측정하는 도구임을 전제로, 두 객체 사이의 “정보 거리”라는 개념을 정량화하려는 시도이다. 저자들은 먼저 가장 직관적인 정의인 “두 객체를 서로 변환하는 가장 짧은 프로그램 길이”를 제시한다. 여기서 프로그램은 튜링 기계의 입력으로서 한 객체를 주면 다른 객체를 출력하도록 설계된다. 이 정의는 비가역적(일반) 계산 모델에 기반한다. 이어서 가역(리버시블) 계산 모델을 도입해, 변환 과정에서 에너지 손실이 없는 최소 프로그램 길이를 측정한다. 가역 모델은 물리적 열역학과 직접 연결되며, 비가역적 변환에 비해 추가적인 “비가역성 비용”을 정의한다.

핵심 정리는 이 두 정의가 로그 항(log n) 정도의 차이만을 보이며, 따라서 동일한 보편적 메트릭으로 간주될 수 있다는 것이다. 이는 정보 거리의 정의가 선택에 따라 크게 달라지지 않음을 의미한다. 논문은 또한 정보 거리의 “보편적 인지 유사성 거리”라는 성질을 증명한다. 즉, 어떤 다른 거리 함수가 두 객체 사이의 인지적 유사성을 측정하려면, 그 함수는 정보 거리보다 크게(또는 동등하게) 측정해야 한다는 것이다.

프로그램 상관성 분석에서는 두 최단 프로그램 사이의 최대 상관관계를 조사한다. 여기서 상관관계는 프로그램이 공유하는 공통 비트열의 길이로 정의되며, 이는 정보 거리의 하한을 제공한다. 반대로, “최대 비상관성” 개념은 스레피안‑워프 정리의 일반화로, 두 프로그램이 거의 독립적인 정보를 담도록 설계될 수 있음을 보인다. 이는 압축 및 전송 효율성에 대한 새로운 통찰을 제공한다.

거리 공간의 밀도 특성에 대해서는, 정보 거리로 정의된 이산 메트릭 공간이 “밀도 높은” 구조를 갖는다는 정리를 제시한다. 구체적으로, 임의의 반경 r 내에 존재하는 객체의 수가 2^{r+O(log r)} 정도로 급격히 증가함을 보이며, 이는 고차원 데이터 군집화와 패턴 인식에 유용한 수학적 기반을 제공한다.

마지막으로 비가역성 거리와 열역학적 작업량을 연결한다. 가역 계산 이론에 따라, 한 객체를 다른 객체로 변환하는 가장 효율적인 과정에서 소모되는 최소 작업량은 두 객체 사이의 비가역성 거리와 직접 비례한다. 이는 정보 이론과 물리학을 연결하는 중요한 결과이며, 실제 컴퓨팅 시스템에서 에너지 효율을 설계하는 데 이론적 한계를 제공한다.

전체적으로 이 논문은 정보 거리라는 개념을 다각도로 정형화하고, 그 수학적·물리적 특성을 폭넓게 탐구함으로써, 패턴 인식, 데이터 압축, 그리고 열역학적 계산 효율성 등 다양한 분야에 적용 가능한 통합 프레임워크를 제시한다.