엔트로피 최소화와 관련 문제들의 난이도 분석

초록

본 논문은 고정된 주변분포를 갖는 확률분포 집합(운송 다면체) 위에서 공동 엔트로피 (H(X,Y)), 조건부 엔트로피 (H(X|Y), H(Y|X))의 최소화와 상호정보량 (I(X;Y))의 최대화를 다룬다. 이들 문제는 서로 동등하며, 전통적인 NP‑hard 문제인 Subset‑Sum 및 Partition 과 직접 연결된다. 일반적인 다면체에서도 동일한 난이도가 전이됨을 보이고, 특정 단순 다면체에서는 문제들의 복잡도가 서로 달라짐을 보여준다. 마지막으로 변동 정보량을 기반으로 한 두 개의 새로운 (준)거리(metric)를 제안하고, 그 계산이 역시 NP‑hard임을 증명한다.

상세 요약

논문은 먼저 정보 이론의 기본량인 엔트로피와 상호정보량을 최적화 문제의 관점에서 정의한다. 특히 주변분포가 고정된 경우, 즉 운송 다면체(transportation polytope) 위에서 확률 행렬 (P_{XY})를 선택하는 문제로 전환한다. 이때 (H(X,Y)= -\sum_{i,j}p_{ij}\log p_{ij})와 (I(X;Y)=H(X)+H(Y)-H(X,Y))는 동일한 목적 함수를 최소·최대화하는 형태가 된다. 저자들은 이 최적화 문제를 이진 선택 변수와 연결시켜, 각 행과 열의 합이 미리 정해진 값인 제약식 아래에서 (p_{ij})를 0 혹은 양의 값으로 배정하도록 구성한다. 이렇게 하면 특정 행·열 조합이 선택될 때마다 전체 엔트로피가 감소하거나 증가하는 효과가 발생한다. 이를 이용해 전통적인 NP‑hard 문제인 Subset‑Sum(또는 Partition) 인스턴스를 엔트로피 최소화 문제로 정확히 변환한다. 변환 과정은 다면체의 정점(극점)에서만 최적해가 존재한다는 사실을 활용해, 최적해가 존재하면 원래의 정수 문제도 해를 가진다는 논리적 귀결을 만든다.

다음으로 저자들은 일반적인 다면체(제약식이 선형이지만 주변분포가 고정되지 않은 경우)에서도 동일한 난이도가 유지된다는 점을 보인다. 이는 운송 다면체가 일반 다면체의 특수한 경우이므로, NP‑hardness가 상속된다는 간단한 논증으로 설명된다.

흥미로운 부분은 특정 단순 다면체, 예를 들어 각 행에 정확히 하나의 양의 원소만 허용하고 열 합이 자유로운 경우를 고려했을 때, 문제들의 복잡도가 서로 다르게 나타난다. 이 경우 (H(X,Y))와 (H(Y|X))는 행마다 하나의 비제로 원소만 존재하므로 최소값이 바로 행의 엔트로피와 일치해 계산이 trivial하게 된다. 반면 (H(X|Y))와 (I(X;Y))는 열에 대한 자유도가 남아 있어, 여전히 Subset‑Sum 형태의 조합 최적화 문제로 귀결된다. 따라서 이 두 문제는 강한 NP‑hardness(입력 크기에 대한 다항 시간 근사 불가능성)를 가진다.

마지막으로 변동 정보량(variation of information, VI) (V(P,Q)=H(P)+H(Q)-2I(P;Q))을 기반으로 두 개의 새로운 거리 함수를 정의한다. 이 거리들은 확률분포 사이의 차이를 정량화하는데 유용하지만, 최적화 관점에서 보면 두 분포 사이의 공동분포를 찾아야 하므로 다시 한 번 운송 다면체 위의 엔트로피 최소화 문제와 동등해진다. 따라서 이 거리들을 정확히 계산하는 문제도 NP‑hard임을 증명한다.

전체적으로 논문은 정보 이론적 목표 함수를 전통적인 조합 최적화 문제와 연결함으로써, 엔트로피 기반 최적화의 계산 복잡성을 명확히 규명한다. 특히 운송 다면체라는 구조적 제약이 문제를 단순화하거나 복잡하게 만드는 메커니즘을 체계적으로 분석하고, 새로운 거리 개념까지 확장함으로써 이 분야의 이론적·실용적 연구에 중요한 토대를 제공한다.