클래식 회귀 기법이 최적 전환 문제에 미치는 놀라운 효과

초록

본 논문은 Longstaff‑Schwartz 시뮬레이션‑회귀 프레임워크에서 OLS, Ridge, LASSO, 랜덤 포레스트, Gradient Boosting, k‑NN, 그리고 피드포워드 신경망을 비교한다. 10차원부터 50차원까지의 다양한 최적 전환 베치마크에 대해 실험한 결과, k‑NN 회귀가 최소한의 하이퍼파라미터 튜닝만으로도 일관된 고성능을 보이며, 특히 PCA와 결합했을 때 고차원에서도 경쟁력을 유지한다. 또한 저자들은 k‑NN에 대한 수렴 및 농축 경계를 제시하고, 기존의 복잡한 딥러닝 기반 방법보다 간단한 모델이 실용적인 상황에서 더 효율적일 수 있음을 입증한다.

상세 분석

논문은 최적 전환(Optimal Switching, OS) 문제를 풀기 위한 전통적인 Monte‑Carlo 회귀 접근법을 재조명한다. OS 문제는 다수의 운영 모드와 고차원 상태 변수(최대 50차원)를 포함하며, PDE 기반 해법이 계산적으로 불가능한 상황이 일반적이다. 저자들은 Longstaff‑Schwartz(L‑S) 알고리즘을 기반으로, 각 시간 단계와 각 모드에 대해 별도의 회귀 모델을 학습한다는 전제 하에, 회귀 모델 선택이 전체 최적 정책에 미치는 영향을 체계적으로 분석한다.

먼저 선형 회귀(OLS, Ridge, LASSO)는 고차원에서 과적합 위험이 크지만, 정규화 기법을 통해 어느 정도 안정성을 확보한다. 트리 기반 모델인 랜덤 포레스트와 Gradient Boosting은 자동 변수 선택과 비선형 관계 포착에 강점이 있으나, 다중 회귀 문제(N·D 개)에서 학습 비용이 급증한다.

핵심 실험에서는 k‑Nearest Neighbor(k‑NN) 회귀가 의외로 뛰어난 성능을 보였다. k‑NN은 비모수적이며, 지역적 구조를 그대로 활용한다는 점에서 OS 문제의 “스위칭 시점”을 정확히 포착한다. 고차원에서는 차원 저주가 우려되지만, 저자들은 사전 차원 축소 기법으로 PCA를 적용해 주요 변동성을 보존하면서 거리 계산 비용을 크게 줄였다. 이때 선택된 주성분 수는 누적 분산 95% 이상을 설명하도록 자동 결정되며, 실험 결과 k‑NN+PCA 조합이 3050 차원에서도 오차가 23% 수준으로 수렴함을 확인했다.

이론적 기여로는 k‑NN 회귀에 대한 농축(bound) 결과가 있다. 저자는 서브가우시안 및 서브지수 꼬리 분포를 갖는 확산·점프 확산 과정에 대해, 샘플 수 n이 충분히 클 때 회귀 오차가 O(n^{-1/2})에 수렴한다는 확률적 경계를 제시한다. 특히 점프 디퓨전 모델(식 3.6)에서 발생하는 비선형성에도 불구하고, 조건부 기대값을 추정하는 과정에서 k‑NN이 편향-분산 균형을 잘 유지한다는 점을 증명한다.

마지막으로 신경망(다층 퍼셉트론) 실험에서는 하이퍼파라미터 튜닝(층 수, 뉴런 수, 학습률 등)이 성능에 큰 영향을 미쳤으며, 최적화 비용이 크게 증가했다. 반면 k‑NN은 k와 거리 측정 방식(유클리드, 맨해튼)만 조정하면 충분히 안정적인 결과를 얻었다. 전체적으로, 복잡한 딥러닝 모델보다 간단한 비모수 회귀가 OS 문제에서 더 실용적이며, 특히 운영 현장에서 빠른 모델 재학습이 요구될 때 큰 장점을 제공한다는 결론에 도달한다.