고차원 비선형 변수 선택을 위한 계층적 커널 학습

초록

본 논문은 대규모 변수 공간에서 비선형 회귀 모델을 구축하기 위해, 변수 간 상호작용을 표현하는 수많은 양의 양의 정부호 커널을 계층적 구조로 조직하고, 그래프 기반 희소성 정규화를 적용해 효율적으로 커널을 선택하는 방법을 제안한다. 선택된 커널 수에 대해 다항식 시간 복잡도를 보장하면서도, 관측치 수에 비해 지수적으로 많은 무관 변수들을 포함할 수 있는 일관성을 이론적으로 증명한다. 실험 결과는 UCI 데이터셋 및 합성 데이터에서 기존 방법들을 능가하는 예측 성능을 확인한다.

상세 분석

이 연구는 고차원 데이터에서 비선형 관계를 포착하기 위해 커널 기반 방법을 활용한다는 점에서 기존 선형 변수 선택 기법과 차별화된다. 핵심 아이디어는 변수들의 모든 가능한 조합에 대응하는 커널을 정의하고, 이 커널들을 유향 비순환 그래프(DAG) 형태의 계층 구조에 매핑하는 것이다. 그래프의 각 노드는 특정 변수 집합에 대응하는 커널을 의미하며, 부모‑자식 관계는 포함 관계(예: {x₁,x₂}는 {x₁}와 {x₂}의 자식)로 설정된다. 이러한 구조를 이용하면, 전통적인 다중 커널 학습(MKL)에서 요구되는 O(2^p)개의 커널을 일일이 다루지 않아도 된다. 대신, 그래프에 맞춘 그룹 라쏘와 유사한 희소성 유도 노름을 정의함으로써, 선택된 커널들의 집합이 그래프의 하위 트리 형태를 유지하도록 강제한다.

수학적으로는 다음과 같은 정규화 항을 도입한다.
    Ω(f)=∑{v∈V} w_v ‖f_v‖{H_v},
여기서 V는 그래프의 노드 집합, f_v는 노드 v에 대응하는 커널 함수, w_v는 계층적 가중치이며, ‖·‖_{H_v}는 해당 재생핵 공간의 노름이다. w_v는 부모 노드의 가중치에 비례하도록 설계되어, 부모가 선택되지 않으면 자식도 선택될 수 없게 만든다. 이 구조는 “계층적 스파스성”(hierarchical sparsity)이라고 부를 수 있다.

알고리즘 측면에서는, 최적화 문제를 쌍대 형태로 변환하고, 그래프 구조를 활용한 동적 프로그래밍(DP) 기법을 적용한다. DP는 각 노드에 대해 최적의 라그랑주 승수를 계산하고, 이를 통해 전체 목표 함수를 최소화한다. 중요한 점은, 선택된 커널 수 k에 대해 시간 복잡도가 O(k·|E|) (|E|는 그래프의 간선 수)로 제한된다는 것이다. 따라서 실제로 선택되는 커널이 적다면, 전체 연산량은 매우 효율적이다.

이론적 분석에서는 고차원(변수 수 p≫n) 상황에서 변수 선택 일관성을 증명한다. 핵심 가정은 (i) 실제 모델이 제한된 차수 d의 다항식 형태로 표현 가능하고, (ii) 각 변수는 독립적인 서브가우시안 잡음에 노출된다는 것이다. 이러한 가정 하에, 정규화 파라미터 λ가 적절히 선택되면, 선택된 변수 집합이 진짜 변수 집합을 포함할 확률이 1에 수렴한다. 특히, 무관 변수의 수가 exp(c·n) 수준까지 허용된다는 점은 기존 L1 기반 방법보다 훨씬 강력한 결과다.

실험에서는 합성 데이터에서 차수 3까지의 상호작용을 포함한 비선형 함수를 생성하고, 변수 수를 5002000, 샘플 수를 100200으로 설정했다. 제안 방법은 정확도(RMSE)와 변수 회복률(F1-score) 모두에서 기존 MKL, 그룹 라쏘, 랜덤 포레스트 등을 크게 앞섰다. 또한 UCI의 Boston Housing, Concrete Strength, Energy Efficiency 등 5개 데이터셋에 적용했을 때, 평균 5~10% 정도의 RMSE 개선을 기록했다.

요약하면, 이 논문은 (1) 커널을 계층적 그래프로 조직해 선택 공간을 압축, (2) 그래프 기반 희소성 정규화로 다항식 시간 복잡도 확보, (3) 고차원 상황에서도 변수 선택 일관성을 이론적으로 보장, (4) 실험적으로 현존 최첨단 방법들을 능가하는 성능을 입증한다는 점에서 비선형 변수 선택 분야에 중요한 기여를 한다.