4차 다항식 볼록성 판단의 NP 어려움

초록

본 논문은 차수가 4인 다변량 다항식의 전역 볼록성을 판별하는 문제가 P=NP가 성립하지 않는 한 다항시간(또는 의사다항시간) 알고리즘으로 해결될 수 없음을 증명한다. 또한 엄격·강볼록성, 준볼록성, 의사볼록성 등 관련 개념들의 판별도 차수가 4 이상인 짝수 차수 다항식에 대해 강 NP‑hard임을 보인다. 반면 차수가 홀수인 경우에는 준볼록성과 의사볼록성을 다항시간에 결정할 수 있음을 제시한다.

상세 분석

논문은 먼저 다항식의 볼록성 정의를 고전적인 헤시안 양정성 조건과 전역적인 정의(모든 두 점 사이의 선분이 함수값보다 크지 않음)으로 정리한다. 차수가 4인 다항식은 일반적으로 3차 이하의 다항식보다 복잡한 형태를 가지며, 헤시안 행렬이 변수에 따라 2차식으로 나타난다. 저자들은 이 헤시안이 반정치(positive semidefinite)인지 여부를 결정하는 문제를, 알려진 NP‑hard 문제인 “양의 정수 3‑SAT” 혹은 “정수 프로그래밍”으로부터 다항식 환원(reduction)한다. 구체적으로, 임의의 3‑SAT 인스턴스를 변수와 절을 나타내는 다항식 항들로 변환하고, 해당 다항식이 볼록이면 원래 논리식이 만족가능함을 보인다. 이 과정에서 다항식의 차수를 4로 유지하기 위해 추가적인 보조 변수와 제곱항을 도입하지만, 차수 상승을 방지하면서도 환원이 다항시간에 수행됨을 증명한다.

이후 논문은 엄격 볼록성(헤시안이 양정(positive definite)인 경우), 강볼록성(볼록성에 일정한 강도 μ>0이 존재하는 경우), 준볼록성 및 의사볼록성의 정의를 각각 살펴보고, 동일한 환원 기법을 적용해 이들 판별 문제가 모두 강 NP‑hard임을 보인다. 특히, 준볼록성과 의사볼록성은 일반적인 비선형 최적화에서 중요한 개념이며, 차수가 짝수인 경우에만 복잡도가 급격히 상승한다는 점을 강조한다.

반면, 차수가 홀수인 다항식에 대해서는 구조적 특성을 이용해 효율적인 알고리즘을 설계한다. 홀수 차수 다항식은 무한히 큰 양·음 방향으로 발산하므로, 함수값이 단조적으로 증가하거나 감소하는 구간을 쉽게 파악할 수 있다. 이를 기반으로 함수의 레벨셋(level set)이 볼록한지 여부를 다항시간에 검증하는 절차를 제시한다.

마지막으로 저자들은 복잡도 결과가 실용적인 최적화 소프트웨어 설계에 미치는 영향을 논의한다. 현재 상용 솔버들은 일반적인 4차 다항식에 대해 볼록성 검증을 시도하지만, 이 논문의 결과는 근본적으로 이러한 시도가 NP‑hard임을 의미한다. 따라서 실무에서는 특수 구조(예: 합성곱 형태, 대칭성)나 근사적 판단 기준에 의존해야 함을 시사한다.