함수 근사 한계와 신경망 구조 탐색의 계산적 분석

본 논문은 최근 인공지능 연구에서 큰 관심을 받고 있는 신경망 구조 탐색(Neural Architecture Search, NAS)의 계산적 한계를 이론적으로 규명하고자 한다. 이를 위해 저자는 먼저 함수 근사 문제를 기존의 파라미터 최적화가 아닌 “함수 시퀀스” 형태로 재정의한다. 입력 함수 F와 제한된 함수 집합 S(검색 공간), 최대 시퀀스 길이 n, 그리고 평가에 사용할 입력 서브셋 σ를 주어, S에서 선택된 함수들의 연속적 조합 f = (φ₁,…,φ_k) 가 F와의 근사 오차 ε_σ(f,F)를 최소화하도록 하는 최적 시퀀스를 찾는 것이 FA(Function Approximation) 문제이다. 이 정의는 기존의 머신러닝이 “고정된 모델 구조에 파라미터만 조정”하는 접근과 달리, 모델 자체를 조합하는 메커니즘을 명시함으로써 NAS와 직접적인 연관성을 만든다. 논문은 FA 문제에 대한 두 가지 핵심 정리를 제시한다. 첫 번째 정리(정리 1)는 모든 연속 실값 함수에 대해 제로 오차를 보장하는 일반적인 계산 절차가 존재하지 않음을 증명한다. 이는 두 튜링 기계가 동일 언어를 인식하는지를 판단하는 문제가 결정 불가능함을 이용한 귀결이며, 따라서 어떤 알고리즘도 모든 함수에 대해 완전한 근사를 제공할 수 없다는 강력한 부정 결과를 도출한다. 이로써 FA 문제는 본질적으로 근사 오차를 허용해야 함을 강조한다. 두 번째 정리(정리 2)는 검색 공간 S에 기본 함수 집합 E(예: 사칙연산, 기본 활성화 함수, 미분 연산 등)가 포함될 경우, 어떤 입력 함수 F에 대해서도 최소 오차를 달성하는 시퀀스 f₀가 존재함을 보인다. E가 완전한 함수 생성 능력을 갖추면, S⋆,n 은 E⋆,n 을 포함하게 되고, 이론적으로는 최적 근사 시퀀스를 찾을 수 있다. 그러나 S⋆,n 의 크기가 n에 대해 지수적으로 증가하므로, 실제 탐색 비용은 급격히 상승한다. 이는 검색 공간 설계와 시퀀스 길이 제한이 실용적인 NAS 설계에서 핵심적인 트레이드오프임을 의미한다. 이후 논문은 세 가지 해결 전략을 비교한다. 첫 번째는 전통적인 머신러닝(ML) 접근이다. 여기서는 모델 구조가 고정되고 파라미터만 최적화되므로, 검색 공간이 제한적일 때만 제한적인 근사 성능을 보인다. 따라서 FA 문제에 대해 비효율적이며, 일반화 능력도 제한적이다. 두 번째는 NAS 자체를 의미하는 Architecture Search Problem(ASP)이다. 구조와 파라미터를 동시에 탐색함으로써 이론적으로 가장 일반적인 근사 능력을 제공하지만, 탐색 복잡도가 NP‑hard 수준에 머물러 실용적인 시간 안에 해결하기 어렵다. 세 번째는 Approximate Architecture Search Problem(a‑ASP)이다. 여기서는 검색 공간을 사전에 제한하고, 허용 오차 범위를 정의함으로써 탐색을 폴리노미얼 시간 내에 수행할 수 있는 조건을 제시한다. 특히, 검색 공간에 E가 포함되고, 시퀀스 길이 n과 평가 도메인 σ가 적절히 제한될 경우, a‑ASP는 ASP와 동일한 근사 품질을 유지하면서도 계산량을 크게 절감한다는 결론을 도출한다. 논문은 또한 정보 용량(Information Capacity)이라는 개념을 도입해, 시퀀스가 담을 수 있는 정보량과 검색 공간의 일반화 능력을 정량화한다. 이는 검색 공간 설계 시 “얼마나 많은 정보를 내포할 수 있는가”를 수학적으로 평가할 수 있게 하며, 자동화된 NAS 설계에서 검색 공간을 최적화하는 새로운 기준을 제공한다. 결론적으로, 저자는 FA 문제를 통해 NAS를 함수 근사의 한 형태로 재해석하고, 모든 함수에 대한 제로 오차 근사는 불가능함을 증명함으로써 NAS 연구가 반드시 근사 오차와 검색 공간 설계 사이의 트레이드오프를 명시적으로 고려해야 함을 강조한다. 또한, 검색 공간에 기본 함수 집합이 포함될 경우 최소 오차를 달성할 수 있음을 보이며, a‑ASP가 특정 조건 하에 폴리노미얼 시간 내에 FA 문제를 해결할 수 있는 실용적인 대안임을 제시한다. 이론적 분석과 기존 문헌을 종합함으로써, NAS와 함수 근사 사이의 근본적인 연결 고리를 수학적으로 정립하고, 향후 연구 방향에 대한 구체적인 가이드를 제공한다.