효과적 복잡도와 논리적 깊이의 관계

본 논문은 M. Gell‑Mann과 S. Lloyd가 제안한 효과적 복잡도(effective complexity)의 개념을 수학적으로 정형화하고, 그 기본 성질과 다른 복잡도 척도와의 관계를 체계적으로 탐구한다. 서론에서는 Kolmogorov 복잡도 C(x)와 전위 Kolmogorov 복잡도 K(x)의 정의를 상기하고, 무작위 문자열이 직관적으로 “복잡하지 않음”에도 불구하고 C(x)가 크게 나오는 문제점을 지적한다. 이를 보완하기 위해 객체의 “규칙성”만을 측정하는 효과적 복잡도의 필요성을 제시한다. 섹션 II에서는 기본 기호와 전제 조건을 정리한다. 문자열 집합 {0,1}*와 길이 ℓ(x), 확률분포(ensemble) E, 그리고 엔트로피 H(E)=−∑_x E(x)log E(x)를 정의한다. 또한 prefix Kolmogorov 복잡도 K(·)와 조건부 복잡도 K*(·|·)를 소개하고, 체인 룰 K(x,y) ≈ K(y)+K*(x|y)를 만족하는 복잡도 정의가 필요함을 강조한다. 다음으로 ensemble에 대한 복잡도 K(E)를 정의한다. 프로그램 p는 입력 (s,n) 에 대해 E(s)의 근사값을 2⁻ⁿ 정확도로 출력해야 하며, K(E)는 이러한 프로그램의 최소 길이이다. 여기서 중요한 점은 모든 고려 대상 ensemble가 computable이며, 엔트로피 H(E)도 계산 가능해야 한다는 점이다. 실제로 computable ensemble라도 H(E)가 비계산적일 수 있음을 부록 A의 예시로 보여준다. 따라서 정의에서는 K(E)와 함께 H(E)를 동시에 포함하는 형태 K(E):=K(E, H(E))를 채택한다. 섹션 III에서는 효과적 복잡도의 핵심 정의를 제시한다. 데이터 x에 대해 “좋은 이론”은 (i) K(E) 가 작고, (ii) H(E) 가 작으며, (iii) x 가 E에 대해 δ‑typical(즉, E(x) ≥ 2^{-H(E)}·(1+δ))인 ensemble이다. 이러한 조건을 만족하는 ensemble들의 총 정보량 Σ(E)=K(E)+H(E)를 최소화하는 것이 목표이며, 최소 Σ(E)를 달성하는 ensemble 중 K(E)값을 효과적 복잡도 EC(x)로 정의한다. 섹션 IV에서는 EC의 기본 성질을 증명한다. Lemma 3은 K(x)와 최소 Σ(E) 사이에 K(x) ≤ inf_{x δ‑typical E} Σ(E) ≤ K(x)+O(1)라는 양쪽 경계를 제공한다. Theorem 10은 압축 불가능한 무작위 문자열이 EC(x)=O(log |x|) 수준으로 낮아 “효과적으로 단순함”을 보인다. 이는 Kolmogorov 복잡도가 크게 나와도 규칙성이 없다는 직관과 일치한다. 반면 Theorem 14는 길이 n인 문자열 중 EC(x)≥n−O(log n)인 문자열이 존재함을 보이며, 이는 “효과적으로 복잡한” 문자열이 실제로 존재한다는 것을 증명한다. 이러한 존재 증명은 Gács‑Kolmogorov 최소 충분 통계(minimal sufficient statistic) 개념을 활용한다. 섹션 V가 논문의 핵심이다. 여기서는 Bennett의 논리적 깊이(logical depth)와 EC 사이의 정량적 관계를 제시한다. Theorem 18은 EC(x) 가 특정 임계값 θ를 초과하면, x를 생성하는 최소 프로그램의 실행 시간이 최소 2^{Ω(EC(x))} 정도로 급격히 커짐을 보인다. 즉, 높은 효과적 복잡도는 “천문학적 깊이”를 요구한다. 반대로 Theorem 19는 EC(x) 가 θ 이하이면 깊이를 임의로 작게 만들 수 있음을 증명한다. 이 두 정리는 그림 2에서 보이는 위상 전이(phase transition)와 유사하게, EC 축을 따라 논리적 깊이가 급격히 변하는 현상을 설명한다. 섹션 VI에서는 Kolmogorov 최소 충분 통계와 EC의 관계를 정리한다. 최소 충분 통계는 데이터의 모든 유의미한 규칙성을 압축한 모델이며, EC는 이러한 모델의 복잡도 K(E)를 그대로 채택한다는 점에서 두 개념이 일치한다. 마지막 부록에서는 computable ensemble이지만 엔트로피가 비계산적인 사례를 제시한다. 이는 EC 정의 시 H(E)를 함께 포함해야 함을 강조하고, 실제 계산 가능성에 대한 한계를 보여준다. 전체적으로 논문은 효과적 복잡도를 엄밀히 정의하고, 무작위와 고복잡도 문자열 사이의 구분, 그리고 효과적 복잡도와 논리적 깊이 사이의 급격한 전이 현상을 통해 복잡도 이론의 새로운 통합적 시각을 제공한다.