가이드된 정규화 랜덤 포레스트를 활용한 유전자 선택 최적화

초록

정규화 랜덤 포레스트(RRF)는 하나의 앙상블만으로 특징 선택을 수행하지만, 작은 샘플 수와 많은 특징이 존재하는 노드에서는 정보 이득 값이 중복되어 비관련 특징이 선택될 위험이 있다. 이를 보완하기 위해 일반 랜덤 포레스트(RF)의 중요도 점수를 가이드로 활용한 가이드드 RRF(GRRF)를 제안한다. 10개의 유전자 데이터셋 실험 결과, GRRF는 파라미터 변화에 강인하고, 컴퓨팅 효율이 높으며, 압축된 특징 집합을 선택하면서도 정확도 면에서 RRF, varSelRF, LASSO 로지스틱 회귀와 경쟁한다. 또한 최소 정규화 RRF가 선택한 특징에 RF를 적용했을 때 전체 특징을 사용할 때보다 대부분의 데이터셋에서 성능이 향상된다.

상세 분석

본 논문은 기존 정규화 랜덤 포레스트(RRF)의 근본적인 한계를 수학적으로 분석하고, 이를 해결하기 위한 새로운 알고리즘인 가이드드 RRF(GRRF)를 설계하였다. RRF는 각 트리 노드에서 훈련 데이터의 일부만을 사용해 Gini 정보 이득을 계산한다. 저자들은 노드에 포함된 샘플 수가 적고 특징 수가 많을 경우, 가능한 Gini 이득 값의 종류가 제한되어 여러 특징이 동일한 이득을 갖게 된다는 상한을 증명하였다. 이 현상은 실제 데이터에서 비관련 혹은 약한 관련성을 가진 유전자가 선택될 확률을 높이며, 특히 고차원 저샘플 유전자 데이터에서 과적합을 초래한다.

GRRF는 이러한 문제를 완화하기 위해 두 단계 접근법을 채택한다. 첫 번째 단계에서 일반 랜덤 포레스트(RF)를 학습시켜 각 특징의 전역 중요도 점수를 얻는다. 두 번째 단계에서는 RRF를 수행하되, 기존 정규화 파라미터에 더해 앞 단계에서 얻은 중요도 점수를 가중치로 사용한다. 즉, 중요도가 높은 특징은 정규화 페널티가 낮아져 선택될 가능성이 높아지고, 중요도가 낮은 특징은 정규화가 강화되어 배제된다. 이 과정은 정보 이득이 동일한 경우에도 전역 중요도가 차이를 만들기 때문에, 작은 노드에서의 무작위 선택을 크게 억제한다.

실험에서는 10개의 공개 유전자 발현 데이터셋(각 데이터셋당 수천 개의 유전자와 수십수백 개의 샘플)을 대상으로 파라미터 λ(정규화 강도)와 γ(가이드 강도)의 다양한 조합을 시험하였다. 결과는 다음과 같다. 첫째, GRRF는 λ와 γ가 변동해도 정확도와 선택된 특징 수가 비교적 안정적이었다. 둘째, 선택된 특징 집합은 평균적으로 전체 특징의 25% 수준으로 매우 압축되었으며, 이때 RF 분류기의 정확도는 원본 전체 특징을 사용할 때와 거의 차이가 없거나 오히려 향상되었다. 셋째, 기존 RRF와 비교했을 때 GRRF는 동일한 λ 값에서 더 높은 정확도와 더 작은 특징 집합을 제공하였다. 넷째, varSelRF와 LASSO 로지스틱 회귀와의 비교에서도 GRRF는 경쟁력 있는 성능을 보였으며, 특히 LASSO가 과도하게 많은 특징을 남기는 경향이 있는 반면 GRRF는 보다 간결한 모델을 만든다.

또한 저자들은 “강력한 분류기인 RF를 사용해 특징 선택 방법을 평가한다”는 평가 프레임워크를 제시하였다. 이는 약한 분류기(예: k-NN, Naive Bayes)가 선택된 특징 집합의 정보를 충분히 활용하지 못해 성능 차이를 과소평가할 위험을 방지한다. 마지막으로 구현 측면에서 GRRF와 RRF는 동일한 R 패키지(RRF) 내에 포함되어 있어, 기존 R 사용자들이 별도 코드 수정 없이 바로 적용 가능하도록 설계되었다.

요약하면, GRRF는 전역 중요도 가이드를 통해 작은 노드에서 발생하는 정보 이득 중복 문제를 해결하고, 고차원 저샘플 유전자 데이터에서 효율적이고 안정적인 특징 선택을 가능하게 한다. 이는 생물정보학뿐 아니라 다른 고차원 데이터 분석 분야에서도 활용 가능성이 높다.