독립성 증폭의 불가능성 및 콜모고로프 복잡도 추출기 한계

초록

본 논문은 콜모고로프 복잡도 관점에서 두 문자열의 의존성을 정의하고, 제한된 의존성을 가진 소스로부터 무작위성을 추출하는 알고리즘을 제시한다. 길이 n 인 문자열 x, y 의 복잡도 s(n)와 의존성 α(n) 에 대해, 복잡도 s(n) 길이의 출력 z 를 생성하면서 C(z | x) 및 C(z | y) 가 α(n) 만큼 감소하는 계산가능 추출기 f를 설계한다. 또한 이러한 파라미터가 최적임을 증명하고, 입력 의존성을 크게 감소시키는 ‘독립성 증폭’ 함수는 존재하지 않으며, 가능한 최소 의존성 β(n) 은 α(n)−O(log n) 보다 작을 수 없음을 보인다.

상세 분석

논문은 먼저 두 문자열 x 와 y 의 의존성을 dep(x,y)=max{C(x)−C(x|y), C(y)−C(y|x)} 로 정의한다. 이는 한 문자열을 다른 문자열이 얼마나 압축할 수 있는지를 측정하는 자연스러운 지표이며, 기존의 통계적 독립성 개념을 콜모고로프 복잡도 체계에 옮겨 놓은 형태다. 저자들은 s(n) 이라는 복잡도 하한을 갖는 n‑비트 문자열 쌍에 대해, 의존성 α(n) 이 충분히 작을 경우(예: α(n)=o(s(n))) ‘Kolmogorov extractor’ f를 구성한다. 이 추출기는 단순히 두 입력을 결합하는 것이 아니라, 복잡도 손실을 최소화하도록 설계된 복잡도‑조건부 압축 함수이며, 출력 길이는 정확히 s(n) 이다. 핵심 정리는 C(f(x,y) | x) ≥ s(n)−α(n) 및 C(f(x,y) | y) ≥ s(n)−α(n) 을 만족한다는 점이다. 즉, 어느 한쪽 입력을 알고 있더라도 출력은 거의 완전한 무작위성을 유지한다. 이때 손실 α(n) 은 입력 사이의 의존성에 의해 불가피하게 발생한다.

다음으로 저자들은 이러한 파라미터가 최적임을 증명한다. 상한을 보이기 위해 임의의 계산가능 추출기 g에 대해, 입력 쌍을 고의로 의존성을 α(n) 만큼 크게 만들고, g 가 출력 길이를 s(n) 이상으로 늘리면 C(g(x,y) | x) 또는 C(g(x,y) | y) 가 α(n) 보다 더 큰 손실을 초래한다는 모순을 도출한다. 따라서 s(n) 길이와 α(n) 손실은 이론적으로 더 개선될 수 없는 한계다.

마지막으로 ‘독립성 증폭’ 가능성을 탐구한다. 가정: 두 계산가능 함수 f₁, f₂가 존재해 dep(f₁(x,y), f₂(x,y))≤β(n) 을 만족한다면, 입력 의존성 α(n) 을 크게 감소시킬 수 있을 것이라 기대한다. 그러나 저자들은 반증을 제시한다. 입력을 의도적으로 α(n) 정도의 의존성을 갖도록 선택하고, f₁, f₂ 가 어떠한 변환을 하더라도 β(n)≥α(n)−O(log n) 임을 보인다. 이는 로그 수준의 부정확성을 제외하고는 독립성 증폭이 불가능함을 의미한다. 증명은 복잡도 체인의 삼각 부등식과 정보‑이론적 압축 한계를 활용하며, ‘trivial case’(예: f₁ 또는 f₂가 상수 함수)만을 제외하면 일반적인 경우에 적용된다. 결과적으로, 콜모고로프 복잡도 모델에서는 독립성을 크게 강화하는 효율적인 알고리즘이 존재하지 않으며, 의존성 감소는 입력 자체의 구조에 의해 근본적으로 제한된다는 결론에 도달한다.