독립특징제거 기반 차원축소 활용 연구

초록

본 논문은 C‑상관과 F‑상관을 이용한 독립특징제거(IFE‑CF) 방법을 적용해 피처 중복을 제거하고, 학습벡터양자화(LVQ) 분류기로 Pima 인디언 당뇨와 폐암 두 데이터셋에서 차원축소의 효과를 실증적으로 검증한다. 실험 결과, 높은 상관성을 가진 특성을 제외함으로써 분류 정확도가 향상되고 연산 비용이 감소함을 확인하였다.

상세 분석

본 연구는 고차원 데이터가 머신러닝 모델의 과적합과 연산 복잡도를 초래한다는 점에 착안하여, 피처 선택 단계에서 중복성을 최소화하는 IFE‑CF(Independent Feature Elimination by C‑Correlation and F‑Correlation) 기법을 제안한다. C‑Correlation은 각 피처와 클래스 레이블 간의 상관계수를 의미하며, 높은 C‑Correlation을 가진 피처는 분류에 유의미한 정보를 제공한다는 전제하에 보존한다. 반면 F‑Correlation은 피처 간의 상관관계를 측정하여, 서로 높은 상관을 보이는 피처 쌍 중 하나를 제거함으로써 독립성을 확보한다. 이때 상관계수 임계값은 실험적으로 설정되며, 일반적으로 0.7 이상을 중복으로 판단한다.

제안된 절차는 다음과 같다. 첫째, 전체 피처 집합에 대해 C‑Correlation을 계산하고, 일정 임계값 이하인 피처는 사전 제거한다. 둘째, 남은 피처들에 대해 F‑Correlation 행렬을 구축하고, 상위 상관 피처 쌍을 식별한다. 셋째, 각 피처 쌍에서 C‑Correlation 값이 낮은 피처를 우선적으로 삭제한다. 이렇게 선택된 피처 집합은 차원축소된 데이터로 변환된다.

차원축소 후 분류 성능을 평가하기 위해 LVQ(Learning Vector Quantization) 알고리즘을 사용하였다. LVQ는 원형 프로토타입 기반의 지도학습 방식으로, 고차원 공간에서의 거리 계산 비용이 크게 감소하면 학습 효율이 향상된다는 점에서 차원축소와의 시너지 효과를 기대할 수 있다.

실험은 두 개의 공개 벤치마크 데이터셋, 즉 Pima Indian Diabetes와 Lung Cancer 데이터를 대상으로 수행되었다. Pima 데이터는 768개의 샘플과 8개의 피처를, Lung Cancer 데이터는 32개의 샘플과 56개의 피처를 포함한다. 원본 데이터에 대해 LVQ를 적용한 경우 각각 73%와 68%의 정확도를 기록했으며, IFE‑CF 적용 후 차원은 각각 5개와 12개로 감소하면서 정확도는 각각 78%와 73%로 상승하였다. 또한, 학습 시간은 원본 대비 약 30%~45% 단축되었다.

이러한 결과는 피처 간 중복성을 효과적으로 제거하면 모델의 일반화 능력이 향상되고, 연산 자원을 절감할 수 있음을 시사한다. 특히, F‑Correlation 기반의 독립성 확보가 C‑Correlation만을 이용한 전통적 피처 선택보다 더 큰 성능 향상을 제공한다는 점이 주목할 만하다. 다만, 상관계수 임계값 설정이 데이터 특성에 따라 민감하게 작용할 수 있으며, 작은 샘플 수를 가진 데이터셋에서는 통계적 신뢰도가 낮아질 위험이 있다. 향후 연구에서는 동적 임계값 조정 메커니즘과 비선형 상관 측정(예: MIC) 도입을 통해 더욱 견고한 피처 선택 프레임워크를 구축할 필요가 있다.