랜덤 포레스트 모델 분석

초록

본 논문은 Breiman이 제안한 원래 형태에 근접한 랜덤 포레스트 알고리즘을 이론적으로 검증한다. 모델의 일관성(consistency)을 증명하고, 강한 변수의 개수에만 의존하는 수렴 속도를 통해 희소성(sparsity)에 자동 적응함을 보인다.

상세 분석

본 연구는 Breiman(2004)이 제시한 랜덤 포레스트 구조를 수학적으로 정형화하고, 그 통계적 특성을 체계적으로 분석한다. 먼저, 각 트리가 무작위로 선택된 특성 서브스페이스와 부트스트랩 샘플을 기반으로 성장한다는 가정을 명시하고, 이를 확률적 분할 과정으로 모델링한다. 이 과정에서 트리의 깊이와 최소 노드 크기 등 하이퍼파라미터가 샘플 복잡도와 어떻게 연계되는지를 정량화하였다.

일관성 증명은 두 단계로 진행된다. 첫째, 개별 결정 트리가 점근적으로 진짜 회귀 함수에 가까워지는 점wise 일관성을 보이며, 이는 트리 분할이 데이터 공간을 충분히 세밀하게 탐색할 경우에 한한다. 둘째, 다수의 독립적인 트리를 평균한 랜덤 포레스트는 편향을 감소시키고 분산을 제어함으로써 전체 추정량이 일관성을 유지한다는 것을 보였다. 특히, 트리 수가 무한대로 증가할 때 평균화 효과가 강해져, 개별 트리의 과적합 위험을 상쇄한다는 점이 핵심이다.

희소성 적응성에 대한 분석은 변수 선택 메커니즘과 연계된다. 논문은 “강한 변수(strong features)”와 “노이즈 변수(noise variables)”를 구분하고, 무작위 특성 선택 과정이 강한 변수에 더 높은 선택 확률을 부여함을 보였다. 이를 통해 수렴 속도가 전체 차원 d가 아니라 강한 변수의 개수 s에만 의존한다는 비직관적 결과를 도출한다. 즉, 고차원 상황에서도 불필요한 변수들이 존재해도 모델의 학습률은 s에 비례하는 차원에서 최적에 근접한다.

또한, 편향-분산 트레이드오프를 정밀하게 다루기 위해, 트리 깊이와 샘플 크기 n 사이의 관계를 수식으로 제시하였다. 깊이가 너무 얕으면 편향이 크게 남고, 너무 깊으면 분산이 폭발한다는 전형적인 딜레마를, 랜덤 서브스페이스 선택이 자연스럽게 완화시킨다. 실험적 검증을 통해 이론적 경계가 실제 데이터셋에서도 일치함을 확인하였다.

결과적으로, 본 논문은 랜덤 포레스트가 단순히 경험적 알고리즘이 아니라, 고차원·희소성 환경에서 최적에 가까운 수렴 특성을 갖는 통계적 추정기임을 수학적으로 입증한다. 이는 향후 이론 기반의 하이퍼파라미터 튜닝 및 변형 알고리즘 설계에 중요한 토대를 제공한다.