고차원 분류를 위한 정규화 최적 선형 판별

초록

고차원 데이터에서 피셔 판별법은 스펙트럼 발산과 잡음 누적으로 성능이 저하된다. 저자들은 공분산 정보를 활용한 정규화 최적 선형 판별(ROAD)을 제안하고, 제약 좌표 하강법(CCD)으로 효율적으로 최적화한다. 이론적 오라클 성질과 시뮬레이션·실제 데이터 실험을 통해 ROAD가 독립 규칙과 희소 독립 규칙보다 높은 정확도를 보임을 입증한다.

상세 분석

본 논문은 고차원 분류 문제에서 전통적인 피셔 판별법(Fisher discriminant rule, FDR)이 차원 수가 샘플 수를 크게 초과하는 상황에서 스펙트럼이 무한히 발산하고 잡음이 누적되어 분류 정확도가 급격히 떨어지는 한계를 짚는다. 기존 연구들은 이러한 문제를 회피하기 위해 변수 간 독립성을 가정한 독립 규칙(independence rule, IR)과, 변수 선택을 통해 희소성을 부여한 희소 독립 규칙(sparse IR)을 제시했지만, 실제 생물학적 데이터에서는 임상 결과에 영향을 미치는 상관된 유전자 군이 존재한다는 점을 간과한다. 공분산 구조를 활용하면 이러한 군집 효과를 포착해 오분류율을 크게 낮출 수 있다.

이를 정량적으로 보여주기 위해 저자들은 피셔 판별법과 독립 규칙의 이론적 오분류율을 비교 분석한다. 공분산 행렬이 정확히 알려졌을 때, 피셔 판별법은 공분산의 역행렬을 이용해 최적의 선형 판별면을 구하지만, 고차원에서는 역행렬이 불안정하거나 존재하지 않는다. 반면, IR은 대각선만 사용해 안정성을 확보하지만, 상관 구조를 무시함으로써 정보 손실이 발생한다. 이러한 차이를 바탕으로, 공분산 정보를 적절히 제어하면서 변수 수를 제한하는 새로운 규제 형태를 도입한다.

제안된 정규화 최적 선형 판별(Regularized Optimal Affine Discriminant, ROAD)은 다음과 같은 목적함수를 최소화한다.