상호 정보 기반 차원 축소 및 특징 추출

초록

본 논문은 고차원 데이터에서 상호 정보를 정확히 추정하기 어려운 문제를 해결하고자, 1차원 상호 정보 추정만을 이용한 단계별 그래디언트 상승 기법을 제안한다. 제안된 Mutual Information Feature Extraction (MIFX) 알고리즘은 각 특징을 순차적으로 추가하면서 목표 클래스와의 최대 의존성(관련성)과 특징 간 최소 중복성을 동시에 만족하도록 설계되었다. UCI 공개 데이터셋을 활용한 실험 결과, MIFX는 기존 PCA, LDA, MRMR 등과 비교했을 때 전반적으로 우수하거나 동등한 성능을 보이며, 다양한 데이터셋에 대해 안정적인 차원 축소 효과를 입증한다.

상세 분석

MIFX는 “최대 관련성–최소 중복성”(Maximum Relevance Minimum Redundancy, MRMR) 원칙을 구현하기 위해, 전체 특징 집합을 한 번에 최적화하는 대신 구성요소별(component‑by‑component) 접근을 채택한다. 이때 각 단계에서 선택될 후보 특징은 현재까지 선택된 특징 집합과 목표 클래스 사이의 1차원 상호 정보(I(X;Y))와, 후보 특징과 기존 특징들 간의 상호 정보(I(X_i;X_j))를 이용해 점수를 산출한다. 기존 MRMR은 고차원 공동 확률분포를 필요로 하여 추정 오차가 크게 늘어나지만, MIFX는 1차원 MI 추정만으로 충분히 근사할 수 있다는 점에서 계산 복잡도를 크게 낮춘다.

알고리즘 흐름은 다음과 같다. 먼저 모든 원본 변수에 대해 클래스와의 1차원 MI를 계산하고, 가장 높은 값을 가진 변수를 첫 번째 특징으로 선택한다. 이후 반복 단계에서, 후보 변수 k에 대해
 Score(k) = I(k;Y) – λ·∑_{j∈S} I(k;X_j)
를 평가한다. 여기서 λ는 관련성 강화와 중복성 억제 사이의 균형을 조절하는 하이퍼파라미터이며, S는 현재까지 선택된 특징 집합이다. Score가 최대인 변수를 새롭게 S에 추가하고, 이 과정을 원하는 차원 수 d가 될 때까지 진행한다.

MIFX의 핵심 장점은 두 가지이다. 첫째, 1차원 MI는 커널 밀도 추정(KDE)이나 k‑최근접 이웃(k‑NN) 기반 방법으로 비교적 정확하게 추정할 수 있어, 고차원에서 발생하는 차원 저주 현상을 회피한다. 둘째, 그래디언트 상승 형태의 순차적 선택은 전역 최적화 문제를 작은 부분 문제들로 분할함으로써 계산량을 O(N·d) 수준으로 제한한다(여기서 N은 변수 수, d는 선택 차원).

실험에서는 UCI의 여러 표준 데이터셋(예: Iris, Wine, Breast Cancer, Sonar 등)을 사용해, 차원 축소 후 k‑NN, SVM, Random Forest 등 다양한 분류기와 결합한 성능을 평가하였다. 결과는 MIFX가 동일 차원 수에서 기존 PCA(선형 변환 기반)보다 높은 분류 정확도를 보였으며, 특히 비선형 관계가 강한 데이터셋에서 MRMR과 비교해 평균 2~4%의 정확도 향상을 기록했다. 또한, 선택된 특징들의 해석 가능성도 높아, 도메인 전문가가 변수의 의미를 직관적으로 파악할 수 있다는 부수적 장점이 있다.

한계점으로는 λ 파라미터 설정이 데이터마다 다소 민감할 수 있다는 점이며, 현재 구현은 연속형 변수에 초점을 맞추고 있어 범주형 변수에 대한 직접적인 적용은 추가 전처리(예: 원-핫 인코딩) 없이 어려울 수 있다. 향후 연구에서는 자동 λ 튜닝, 범주형 변수용 MI 추정기법 통합, 그리고 딥러닝 기반 특징 추출과의 하이브리드 모델 개발이 제안된다.