조각선형 어피니 시스템 식별의 복잡도 분석

본 논문은 조각선형(Piecewise Affine, PWA) 시스템 식별 문제의 계산 복잡도를 체계적으로 분석한다. 서론에서는 하이브리드 시스템 식별이 회귀 문제와 결합된 비선형 최적화 문제임을 강조하고, 기존의 휴리스틱·근사 방법들은 전역 최적성을 보장하지 못한다는 점을 지적한다. 특히 연속 PWA 모델에 대해 전역 최적 해를 구하는 기존 연구는 데이터 수 N에 대해 지수적 복잡도를 갖는 브랜치‑앤‑바운드 방식을 사용했으며, 이는 실용적인 적용에 한계가 있다. 문제 정의(섹션 2)에서는 입력‑출력 데이터 (x_i, y_i)∈X×ℚ, X⊂ℚ^d 로 제한하고, PWA 모델을 f(x)=w_{h(x)}^T x 로 표현한다. 여기서 h: X→{1,…,n}은 선형 분류기 집합 H (식 (1) 혹은 (2))에 속한다. 목표는 손실 함수 ℓ:ℚ→ℚ_+ (예: 제곱 손실)로 정의된 총 오차를 최소화하는 (w, h) 쌍을 찾는 것이다. 이때 n은 사전에 주어진 정수이며, N≫d가 가정된다. 섹션 3에서는 문제의 NP‑hardness를 증명한다. Partition 문제(다중 집합을 두 부분으로 나누어 합이 동일하게 만드는 문제)를 PWA 회귀의 결정 형태(문제 3)로 다항식 시간에 변환한다. 데이터 포인트를 특수하게 구성하고, 두 모드와 선형 분류기 h를 이용해 각 포인트가 어느 서브모델에 속하는지를 강제한다. 변환 과정에서 손실 ℓ(e)=0 ⇔ e=0이라는 최소 조건을 사용해, 최적 해가 존재하면 Partition 문제의 해도 존재함을 보인다. 따라서 문제 3은 NP‑complete이며, 원래의 최적화 문제는 NP‑hard임을 결론짓는다. 섹션 4에서는 고정 차원 d와 모드 수 n에 대해 전역 최적 해를 구할 수 있는 다항식 시간 알고리즘을 제시한다. 핵심 아이디어는 (i) 가능한 분류 h를 먼저 탐색하고, (ii) 각 분류에 대해 독립적인 선형 회귀를 수행하면 전체 최적 해를 얻을 수 있다는 점이다. 이를 위해 먼저 문제 1을 식 (8) 형태로 재구성한다. 여기서 고정된 h에 대해 각 모드 j에 대한 파라미터 w_j는 최소 ℓ 손실을 갖는 선형 회귀 문제로 변환되며, 이는 가정 2에 따라 O(T(N)) 시간에 해결 가능하다. 다음으로, 가능한 분류 h를 제한된 수만큼만 열거한다. 정의 1·2에 따라 H를 데이터 집합 S={x_i}에 투사한 라벨링 집합 H_S를 고려한다. 이진 affine 분류기의 성장 함수 Π_H(N)는 통계학습 이론에 의해 O(N^{d+1})로 상한이 잡히지만, 실제 열거는 더 효율적으로 가능하다. 저자는 각 분류 경계가 d개의 점에 의해 정의된다는 사실을 이용해, N개의 데이터 중 d개를 선택하고 그 조합을 (n−1)/2번 반복함으로써 모든 가능한 라벨링을 생성한다. 이는 정확히 O(N^{d·(n−1)/2}) 연산으로 구현된다. 섹션 4.1·4.2에서는 이진 경우(n=2)에 대한 구체적인 알고리즘을 제시하고, 섹션 4.3에서는 다중 클래스(n≥3) 상황을 일반화한다. 각 경우 모두 라벨링을 열거한 뒤, 각 라벨링에 대해 선형 회귀를 수행해 전체 비용을 계산하고 최소값을 선택한다. 복잡도는 최종적으로 O(N^{d·n·(n−1)/2})·T(N)이며, 여기서 T(N)은 고정 차원 회귀의 시간 복잡도(예: O(N) for ℓ(e)=e^2)이다. 섹션 5에서는 향후 연구 방향을 논의한다. 차원 d가 커지는 경우 현재 알고리즘은 실용적이지 않으므로, 차원 축소, 근사적 라벨링 탐색, 혹은 특수 구조(예: 스파스 분류 경계)를 활용한 알고리즘 개발이 필요함을 강조한다. 또한, NP‑hardness 결과가 보여주듯, 정확한 전역 최적화를 위한 알고리즘은 차원에 대해 지수적 복잡도를 피할 수 없으며, 따라서 실시간 혹은 대규모 데이터 상황에서는 휴리스틱·메타휴리스틱 접근이 여전히 중요하다는 점을 재확인한다. 전체적으로, 이 논문은 PWA 시스템 식별 문제의 이론적 복잡도 지형을 명확히 그리며, 데이터 수에 대해서는 다항식 시간 전역 최적화가 가능하고, 차원에 대해서는 지수적 복잡도가 불가피함을 증명한다. 이는 연구자들에게 언제 정확한 전역 해를 추구하고 언제 근사 방법을 선택해야 하는지에 대한 명확한 가이드라인을 제공한다.