효율적인 정규화 등위 회귀와 유전자 상호작용 탐색

초록

본 논문은 고차원 데이터에서 과적합과 계산 복잡도를 완화하기 위해 등위 회귀를 단계적으로 분할하는 Isotonic Recursive Partitioning(IRP) 알고리즘을 제안한다. IRP는 점진적으로 작은 “최적 절단” 문제를 풀어가며 모델 복잡도를 제어하고, 전체 등위 회귀 해에 수렴한다. 경로상의 각 모델에 대한 자유도 추정을 통해 복잡도 조절을 정량화하고, 시뮬레이션 및 실제 GWAS 데이터에서 예측 성능과 계산 효율성을 입증한다. 특히 유전자‑유전자 상호작용(에피스타시스) 탐색에 적용해 세 가지 질병 데이터에서 유의미한 결과를 도출하였다.

상세 분석

이 연구는 전통적인 등위 회귀가 다변량 상황에서 겪는 두 가지 핵심 문제, 즉 계산량 급증과 모델 과적합을 동시에 해결하려는 시도로 시작된다. 기존의 등위 회귀는 전체 데이터에 대해 전역적인 순서 제약을 만족시키는 최적화 문제를 풀어야 하는데, 차원이 늘어날수록 제약 조건의 수가 기하급수적으로 증가한다. 결과적으로 일반적인 선형 프로그래밍 기반 솔버는 메모리와 시간 측면에서 비현실적인 요구를 받는다. 또한, 자유도가 높은 완전 등위 회귀 모델은 훈련 데이터에 과도하게 적합해 새로운 샘플에 대한 일반화 성능이 저하되는 경향이 있다.

IRP는 이러한 한계를 “재귀적 분할”이라는 아이디어로 극복한다. 먼저 전체 공변량 공간을 하나의 블록으로 시작하고, 현재 블록 내에서 평균 응답값을 기준으로 가장 큰 감소를 가져오는 절단(“best cut”)을 찾는다. 절단은 각 차원별로 가능한 임계값을 탐색해 평균 제곱 오차 감소량을 최대화하는 방식으로 수행되며, 이는 1‑차원 등위 회귀의 풀링 문제와 동등하다. 절단이 이루어지면 두 개의 하위 블록이 생성되고, 동일한 절차를 재귀적으로 적용한다. 이 과정은 블록당 데이터 수가 사전에 정의한 최소 크기 이하가 되거나, 절단에 의한 오차 감소가 통계적 유의수준 이하가 될 때까지 진행된다.

핵심은 각 단계에서 얻어지는 모델이 “정규화된” 등위 회귀 해라는 점이다. 초기 단계에서는 매우 제한된 수의 블록(즉, 낮은 자유도)만을 사용하므로 모델 복잡도가 크게 억제된다. 절단이 진행될수록 블록 수가 늘어나 자유도가 증가하고, 최종적으로는 모든 가능한 절단이 적용된 상태가 되어 전통적인 전역 등위 회귀와 동일한 해에 수렴한다. 저자들은 자유도 추정을 위해 Stein’s unbiased risk estimate(SURE)와 유사한 접근법을 채택해, 각 경로상의 모델에 대한 복잡도 지표를 제공한다. 이는 교차 검증 없이도 과적합 위험을 사전에 판단할 수 있게 해준다.

계산 복잡도 측면에서 IRP는 각 절단 단계가 O(n log n) 수준의 정렬과 평균 계산에 의존하므로, 전체 알고리즘은 O(n log n·d·k) 정도로 추정된다. 여기서 n은 샘플 수, d는 차원 수, k는 최종 블록 수이다. 이는 전통적인 등위 회귀가 O(n^2 d) 혹은 그보다 더 높은 복잡도를 갖는 것에 비해 현저히 효율적이다. 또한, 메모리 사용량이 블록당 평균값과 경계 정보만을 저장하면 되므로 대규모 GWAS와 같은 고차원 데이터에도 적용 가능하다.

실험에서는 시뮬레이션을 통해 IRP 경로상의 중간 모델이 완전 등위 회귀보다 낮은 평균 제곱 오차(MSE)를 보이며, 특히 노이즈 수준이 높은 경우 복잡도 조절 효과가 두드러졌다. 실제 GWAS 데이터(당뇨병, 고혈압, 알츠하이머)에서는 IRP가 기존의 로지스틱 회귀 기반 상호작용 탐색 방법보다 더 적은 후보 쌍을 제시하면서도 동일하거나 더 높은 통계적 유의성을 기록했다. 특히, 블록 기반 접근은 유전자 쌍 간의 비선형 상호작용을 자연스럽게 포착할 수 있어, 전통적인 선형 모델이 놓치기 쉬운 에피스타시스 신호를 발견하는 데 유리했다.

결론적으로, IRP는 등위 회귀의 이론적 장점(단조성 보장)을 유지하면서도 계산 효율성과 모델 복잡도 제어라는 실용적 요구를 동시에 만족한다. 이는 고차원 바이오인포매틱스, 이미지 처리, 순위 학습 등 다양한 분야에서 정규화된 비선형 회귀 모델을 필요로 하는 상황에 널리 활용될 수 있을 것으로 기대된다.