재귀 분해 기반 비볼록 최적화: RDIS 알고리즘

본 논문은 인공지능 및 과학 분야에서 흔히 마주치는 비볼록 연속 최적화 문제를 해결하기 위해, 문제를 재귀적으로 분해하고 각 부분을 독립적으로 최적화하는 RDIS 알고리즘을 제안한다. 서론에서는 비볼록 최적화가 지역 최적점에 머무르는 전통적 방법(다중 시작, 시뮬레이티드 어닐링 등)의 한계를 지적하고, 이산 문제 해결에 성공한 분해 기법(DPLL, recursive conditioning 등)을 연속 최적화에 적용할 가능성을 제시한다. 핵심 이론은 “지역적 구조”(local structure) 개념이다. 함수 f(x)가 전역적으로는 분리되지 않더라도, 특정 변수 집합 C에 값을 할당하면 나머지 변수 U에 대한 함수가 두 개 이상의 독립적인 하위 함수로 분해될 수 있다. 정의 1에서는 완전 분해, 전역 분해, 지역 분해, 그리고 근사 지역 분해를 수학적으로 정의하고, 근사 분해는 허용 오차 ε 로 제어한다. 이러한 구조는 특히 함수가 여러 항의 합으로 표현될 때 자연스럽게 나타난다. 예를 들어 단백질 접힘 에너지 함수는 원자 쌍 간 거리 기반 항들의 합이며, 몇몇 핵심 원자 위치가 고정되면 다른 원자들 간 상호작용이 거의 사라져 독립적인 서브문제로 나뉜다. 알고리즘 RDIS는 다음 절차로 구성된다. 1) 변수 선택: 하이퍼그래프 파티셔닝을 이용해 최소 컷을 찾아 변수 집합 C를 선택한다. 이때 그래프의 정점은 변수, 하이퍼엣지는 함수 항을 나타낸다. 2) 값 선택: 서브스페이스 최적화기 S(다중 시작 컨주게이트 그라디언트, 레벤버그‑마쿼트 등)를 사용해 현재 남은 변수 U를 고정한 상태에서 C의 최적값 ρ_C 를 탐색한다. 3) 단순화: ρ_C 를 고정하고, 각 항의 상·하한을 계산해 충분히 작으면 상수로 대체한다. 이 과정은 허용 오차 ε 에 따라 정확도와 계산량을 조절한다. 4) 분해: 단순화된 함수가 독립적인 하위 함수들 {f_i(x_Ui)} 로 분리되면, 각각에 대해 RDIS를 재귀 호출한다. 재귀 깊이가 충분히 깊어 C가 전체 변수 집합이 되면, S에 의해 직접 전역 최적화가 수행된다. 알고리즘은 반복적으로 C와 ρ_C 를 갱신하며, 사전에 정의된 정지 기준(예: 재시작 횟수, 시간 제한 등)에 도달하면 현재 최적값을 반환한다. 이론적 분석에서는 RDIS가 특정 클래스의 함수에 대해 전통적인 비볼록 최적화보다 지수적으로 빠른 탐색을 보임을 증명한다. 변수 집합 크기 d와 분해된 하위 문제 수 k가 일정하면, 전체 복잡도는 O(n·d·ξ(d)·log_k(n/d)) 로 표현된다. 여기서 ξ(d) 는 서브스페이스 최적화기가 탐색해야 하는 모드 수이며, 그리드 탐색, 랜덤 재시작 하강법 등 다양한 최적화기에 대해 구체적인 형태가 제시된다. 특히 그리드 탐색을 사용하면 RDIS는 O(n·d·s^d·log_k(n/d)) 로, 전체 그리드 탐색 O(s^n) 보다 지수적으로 우수함을 보인다. 랜덤 재시작 하강법의 경우에도 전역 최소점 베이시스 부피 비율 p에 따라 ξ(d)=τ·p^{-d} 로, 전체 복잡도는 O(n·d·τ·p^{-d}·log_k(n/d)) 가 된다. 따라서 구조적 분해가 가능한 경우, RDIS는 탐색 공간을 실질적으로 축소한다. 실험에서는 세 가지 도메인에 대해 RDIS를 평가하였다. 첫째, Structure from Motion (SfM) 문제에서는 카메라 파라미터와 3D 포인트를 동시에 최적화해야 하는데, 변수 간 상호작용이 지역적으로 약해지는 특성을 이용해 RDIS가 기존 Levenberg‑Marquardt 기반 방법보다 5~10배 빠르게 수렴하고 더 낮은 재투영 오류를 달성했다. 둘째, 고차원 다중모드 테스트 함수(예: Rastrigin, Schwefel 등)에서는 하이퍼그래프 파티셔닝이 자연스럽게 변수들을 클러스터링해 각 클러스터가 독립적인 “산”을 형성함으로써 전역 최적점에 도달하는 확률이 크게 증가했다. 셋째, 단백질 접힘 실험에서는 30~100개의 아미노산 체인에 대해 에너지 함수가 수천 개의 쌍항 항을 포함했음에도, 핵심 원자 몇 개를 고정함으로써 남은 부분을 여러 독립적인 서브체인으로 나누어 최적화했으며, 기존 Monte‑Carlo 기반 시뮬레이션 대비 최소 에너지 값을 더 낮게, 더 빠르게 찾았다. 모든 실험에서 RDIS는 표준 비볼록 최적화 기법(다중 시작 그라디언트, 전역 그리드 탐색, Simulated Annealing 등) 대비 시간·정확도 모두에서 우수한 성능을 보였다. 논의에서는 RDIS의 장점과 한계를 다룬다. 장점으로는 (1) 문제 구조를 자동으로 탐지해 분해함으로써 차원 저주를 완화, (2) 기존 연속 최적화기와 손쉽게 결합 가능, (3) 근사 단순화 단계에서 정확도와 비용을 트레이드오프할 수 있음이 있다. 한계로는 (1) 대규모 변수 집합에 대한 하이퍼그래프 파티셔닝 비용, (2) ε 선택에 따른 최적해 왜곡 위험, (3) 현재 구현이 순수 연속 변수에 국한되어 이산·연속 혼합 문제에 대한 확장이 필요함을 들었다. 향후 연구 방향으로는 파티셔닝 알고리즘의 스케일링, 동적 ε 조정 전략, 그리고 SAT/SMT와의 통합을 통한 이산·연속 혼합 최적화 등이 제시된다. 결론적으로, RDIS는 비볼록 연속 최적화 문제를 구조적으로 분해하고 재귀적으로 해결함으로써, 기존 방법에 비해 지수적인 효율 향상을 달성한다. 이는 컴퓨터 비전, 로보틱스, 확률 추론, 그리고 생물물리학 등 다양한 AI·과학 분야에서 복잡한 비볼록 문제를 다루는 새로운 패러다임을 제공한다.