랜덤 푸리에 특징 기반 클러스터링 일반화 가법 모델

초록

본 논문은 랜덤 푸리에 특징(RFF)을 이용해 고차원 데이터를 저차원 잠재공간으로 압축하고, 가우시안 혼합 모델(GMM)로 소프트 클러스터링을 수행한다. 각 클러스터마다 스플라인 기반의 일반화 가법 모델(GAM)을 학습함으로써 비선형 효과를 해석 가능하게 모델링한다. 실험 결과, 제안 방법은 전통적인 전역 해석 모델보다 예측 정확도가 높으며, Explainable Boosting Machine, Random Forest, 다층 퍼셉트론과도 경쟁 가능한 성능을 보인다.

상세 분석

이 연구는 해석 가능성과 예측 성능 사이의 전형적인 트레이드오프를 새로운 방식으로 완화한다. 핵심 아이디어는 랜덤 푸리에 특징(RFF)을 활용해 입력 공간을 주파수 도메인으로 사상한 뒤, 해당 특징들의 진폭(β)과 주파수(ω)를 결합해 고차원 표현을 만든다. 이후 주성분 분석(PCA)으로 차원을 축소하고, 가우시안 혼합 모델(GMM)을 적용해 데이터 포인트를 L개의 클러스터로 소프트하게 할당한다. 각 클러스터는 독립적인 일반화 가법 모델(GAM)로 모델링되며, GAM은 각 변수별 스플라인 기반 함수를 선형 결합해 비선형 효과를 포착한다. 이 구조는 기존의 혼합 선형 모델(MLM)에서 발생하던 ‘선형성 제한’ 문제를 스플라인을 통한 비선형성 도입으로 해결한다. 또한, DNN 기반 코-슈퍼비전 없이 순수히 RFF와 통계적 클러스터링만으로 클러스터를 형성하므로, 모델 전체가 보다 투명하고 해석 가능해진다.

기술적 세부사항을 살펴보면, RFF는 커널 근사 이론에 기반해 무작위 주파수를 샘플링하고, 복소 지수 함수를 특징으로 사용한다. 이때 정규화된 최소제곱(Tikhonov) 손실을 최소화해 β를 추정하고, λ 정규화 파라미터로 과적합을 방지한다. 고차원 RFF 행렬 Φ는 N×K 크기로, K는 수천에서 수만 수준까지 확장 가능하다. 차원 축소 단계에서 PCA는 β 가중치가 적용된 특징을 주성분으로 변환해, 클러스터링에 필요한 핵심 구조만 보존한다. GMM은 각 클러스터의 사후 확률 γℓ(x)를 제공하며, 이는 최종 예측 ˜m(x)=∑ℓγℓ(x)·˜fℓ(x)에서 가중치 역할을 한다. 여기서 ˜fℓ(x)는 클러스터 ℓ에 대한 GAM이며, 각 변수 j에 대해 Qj개의 스플라인 기저 ϕj,q(xj)와 계수 θℓ,j,q를 학습한다. 스플라인 차수와 매끄러움 제어는 일반적인 GAM 최적화와 동일하게 교차 검증을 통해 선택한다.

실험에서는 캘리포니아 주택 가격 데이터와 Airfoil Self‑Noise 데이터 등 다양한 회귀 벤치마크를 사용했다. 두 데이터셋 모두 고차원 비선형 관계와 이질성을 가지고 있어, 전역 GAM이나 선형 혼합 모델보다 제안 방법이 RMSE 및 R² 지표에서 우수함을 확인했다. 특히, 클러스터 수 L을 증가시킬수록 지역적 비선형 패턴을 더 세밀하게 포착하지만, 과도한 L은 모델 복잡도를 높여 과적합 위험이 있다. 따라서 적절한 L 선택이 중요하며, 실험에서는 검증 데이터 기반의 AIC/BIC 기준을 활용했다.

이 논문의 주요 기여는 다음과 같다. 첫째, RFF 기반의 주파수‑진폭 표현을 클러스터링에 활용함으로써, 딥러닝 없이도 데이터의 내재적 구조를 효과적으로 추출한다. 둘째, 클러스터별 GAM을 도입해 비선형 효과를 해석 가능하게 만든다. 셋째, 기존 혼합 선형 모델 대비 예측 정확도와 해석성을 동시에 개선한다. 마지막으로, 제안 프레임워크는 파이프라인이 모듈식이라 다른 커널 근사(예: Nystrom)나 다른 베이지안 클러스터링 기법과도 쉽게 결합 가능하다.