다항 조건 선형 루프 종료 문제의 복잡성

1. 서론 논문은 프로그램 검증에서 가장 기본적인 문제 중 하나인 루프 종료 판정의 난이도를 조사한다. 일반적인 while‑loop은 “while (조건) { 업데이트 }” 형태이며, 조건과 업데이트가 모두 선형이면 Tiwari가 실수 영역에서, Braverman이 정수 영역에서 각각 결정 가능함을 보였다. 저자는 이 결과를 확장해, 조건을 다항식으로, 업데이트는 그대로 선형으로 제한한 새로운 클래스 P₁을 정의한다. 2. 정수 영역에서의 불가능성 증명 정수 해 존재 여부가 결정 불가능한 Hilbert’s 10th 문제를 이용한다. 구체적인 루프 P₂를 구성한다:  while ( x_{m+1} – f(x₁,…,x_m)² > 0 ) { X := A·X } 여기서 A = diag(1,…,1,½)이고 f는 정수 계수를 가진 다항식이다. f가 정수 해를 갖는 경우 초기값 (y₁,…,y_m,1)에서 x_{m+1}은 매 반복마다 ½씩 감소하지만, x₁…x_m은 변하지 않으므로 조건은 영원히 양수이다. 반대로 f가 정수 해가 없으면 x_{m+1}은 0에 수렴해 결국 조건이 거짓이 되어 루프가 종료한다. 따라서 정수 해 존재 문제와 루프 종료 문제가 동치가 되며, 정수 해 존재가 결정 불가능함을 통해 P₁의 정수 종료 판정이 불가능함을 증명한다. 동일한 논리는 “≥” 조건에도 적용되어 P₁′(≥) 역시 불가능함을 얻는다. 3. 실수 영역에서의 알고리즘 설계 (가정 하) 3.1. Aⁿ·X의 일반식 도출 Jordan 형태 대신 생성함수와 선형 재귀식을 이용한다. A의 특성 다항식 D(x)=xᵈ+α₁x^{d-1}+…+α_d 로부터 Aⁿ·X는 차수가 d‑1 이하인 다항식과 고유값 ξ_iⁿ의 선형 결합으로 표현된다. 구체적으로, f_j(n)=∑_{i=1}^q p_{ji}(n)·ξ_i^{\,n} (p_{ji}는 차수가 중복도보다 작은 다항식)이다. 3.2. 루프 조건의 n‑표현 조건 다항식 P(X) = (P₁,…,P_m)ᵀ 를 Aⁿ·X에 대입하면 각 P_j은 형태  P_j(X,n)=p_{j0}(X,n)+∑_{k=1}^M p_{jk}(X,n)·η_k^{\,n} 을 갖는다. 여기서 η_k는 고유값들의 곱이며, η_k = r_k·e^{2πiα_k} 로 절대값 r_k와 위상 α_k 로 분해한다. 3.3. 지배항(leading term) 정의 및 비교 r_k를 크기 순으로 정렬하고, 같은 r_k에 대해서는 n의 차수(l)로 비교한다. 정의에 따라 n^{l₁}·r_i^{\,n} ≺ n^{l₂}·r_j^{\,n} iff (r_i0)”, “음(<0)”, “0”으로 판정할 수 있다. 여기서 C_{jkl}(X,n) 은 상수항, 유리 위상 항, 무리 위상 항으로 나뉘며, 무리 위상 항은 삼각함수( sin, cos ) 로 표현된다. 무리 위상 항에 대해서는 유리 독립성 집합을 찾아 유한 차원 구간에서 최소값을 계산함으로써 부호를 결정한다. 3.5. 알고리즘 흐름 ① A의 고유값과 다항식 p_{ji}를 계산한다. ② 각 P_j에 대해 η_k와 r_k, α_k 를 구한다. ③ 지배항을 찾고, 가정에 따라 부호를 판단한다. ④ 모든 P_j의 지배항이 양이면 비종료, 하나라도 음이면 종료를 반환한다. 3.6. 정당성 증명 가정 하에 지배항이 충분히 큰 n에 대해 전체 식의 부호를 지배함을 보인다. 따라서 알고리즘은 P₁의 실수 종료 여부에 대해 완전(decidable)함을 증명한다. 4. 일반적인 경우에 대한 추측 가정 없이 모든 α_k가 유리인지 판단할 수 없고, 무리 위상 항의 부호 판단이 어려운 경우가 존재한다. 저자는 이러한 경우를 수론적 Diophantine 문제와 동역학적 에르고딕 이론(예: 토러스 회전의 밀도 문제)과 연결한다. 특히, 고유값이 단위 원 위에 있을 때 상태공간이 토러스 위의 회전으로 해석될 수 있으며, 이 회전이 특정 정수 격자점에 무한히 가까워지는지 여부가 미해결인 경우가 존재한다. 따라서 일반적인 P₁의 실수 종료 판정이 결정 불가능할 가능성을 제시하고, 이를 정식으로 증명하기 위한 향후 연구 방향을 제시한다. 5. 결론 정수 영역에서는 Hilbert’s 10th 문제와의 귀착을 통해 종료 판정이 불가능함을 명확히 보였으며, 실수 영역에서는 고유값 기반 일반식과 지배항 부호 판단을 통한 완전 알고리즘을 제시했다(단, 위에서 언급한 두 가정이 필요). 마지막으로 일반적인 경우의 미해결성을 추측하고, 수론·동역학 이론과의 연관성을 강조함으로써 향후 연구의 폭을 넓혔다.