조합적 정보 거리와 이진 문자열 비교

초록

본 논문은 유한 집합 A와 B 사이의 정보를 집합론적 관점에서 정의하고, 이를 기반으로 d(A,B)=max{δ(A,B),δ(B,A)} 라는 새로운 거리 함수를 제시한다. δ는 교집합과 전체 집합 크기의 곱에 로그를 취한 형태이며, t(x) 함수를 통해 1 미만인 값을 1로 보정한다. 이 거리 함수는 서로 다른 길이의 이진 문자열을 집합으로 변환해 적용할 수 있으며, 콜모고로프의 조합적 정보 개념을 근거로 한다. 논문은 거리의 대칭성, 비음성, 항등성, 삼각 부등식 등을 증명하고, 기존의 해밍·레벤슈타인 거리와 비교하여 장·단점을 논의한다.

상세 분석

논문은 먼저 |A|·|B∩Ā| 와 |B|·|A∩ B̄| 라는 두 개의 곱을 통해 각각 δ(A,B) 와 δ(B,A) 를 정의한다. 여기서 t(x)=x (x≥1), t(x)=1 (x<1) 라는 보정 함수는 로그 연산 시 0 이하가 되는 경우를 방지하여 거리값이 항상 비음수가 되도록 만든다. δ는 실질적으로 “A에 포함되지 않은 B의 원소 수”와 “A의 전체 크기”의 곱에 대한 이진 로그이므로, A와 B가 얼마나 겹치지 않는가를 정량화한다.
d(A,B)=max{δ(A,B),δ(B,A)} 로 정의함으로써 대칭성을 확보한다. 이는 두 집합 중 어느 쪽이 더 큰 정보를 제공하는지를 고려해 최악의 경우를 거리로 삼는 설계이다. 논문은 이 정의가 다음 네 가지 거리 공리를 만족함을 증명한다.

1. 비음성: t(x)≥1 이므로 로그는 0 이상이며, 따라서 d≥0.
2. 항등성: A=B 일 때 B∩Ā=∅ 이므로 |B∩Ā|=0, t(0)=1, δ=log₂1=0, 따라서 d=0. 반대로 A≠B이면 적어도 하나의 δ가 양수가 되어 d>0.
3. 대칭성: 정의 자체가 max{δ(A,B),δ(B,A)} 이므로 d(A,B)=d(B,A).
4. 삼각 부등식: 논문은 |C∩Ā|·|A| ≤ |C∩ B̄|·|B|·|A|·|C| 와 같은 부등식을 이용해 log₂ 형태로 변환, 결국 d(A,C) ≤ d(A,B)+d(B,C) 를 보인다. 이 과정에서 t 함수가 1 이하를 1로 고정하는 특성이 중요한 역할을 한다.

이 거리의 계산 복잡도는 집합의 크기와 교집합을 구하는 O(|A|+|B|) 수준으로 매우 효율적이다. 이진 문자열을 집합으로 매핑하는 방법은 보통 ‘1’이 나타나는 위치 집합을 사용한다. 따라서 서로 다른 길이의 문자열도 자연스럽게 서로 다른 크기의 집합으로 변환되어 동일한 공식에 적용 가능하다.

다른 유명 거리와 비교했을 때, 해밍 거리는 동일 길이 문자열에만 정의되고, 레벤슈타인 거리는 삽입·삭제·치환 연산을 고려해 복잡도가 O(mn)이다. 반면 본 거리 d는 길이 차이를 직접 반영하면서도 O(n) 수준의 선형 시간에 계산된다. 또한 압축 기반의 정규화된 콜모고로프 거리(NCD)와 달리 실제 압축 알고리즘에 의존하지 않아 구현이 단순하고, 압축 효율에 따른 변동성을 피한다.

하지만 d는 집합 원소의 구체적 배치 정보를 무시하고 오직 “몇 개가 겹치지 않는가”만을 측정한다. 따라서 구조적 패턴(예: 연속된 0·1 블록)이나 순서 정보는 반영되지 않는다. 이는 특정 응용(예: 텍스트 유사도)에서는 정보 손실로 이어질 수 있다. 또한 t 함수가 1 이하를 1로 고정함으로써 매우 작은 교집합에 대해 거리 차별력이 감소한다는 점도 주의해야 한다.

결론적으로, 이 논문은 콜모고로프의 조합적 정보 개념을 집합론적 거리로 구체화함으로써, 길이 차이가 있는 이진 데이터에 대한 빠르고 이론적으로 타당한 유사도 측정 방법을 제시한다. 향후 연구에서는 순서 정보를 포함하도록 확장하거나, t 함수의 임계값을 조정해 민감도를 조절하는 방안이 제시될 수 있다.