초고차원 유전체 변수 선택을 위한 견고한 그룹 테스트 프레임워크

초록

본 논문은 고차원 유전체 데이터의 강한 그룹 상관구조와 비정규·오염 데이터에 대응하기 위해, 계층적 군집으로 형성된 변수 그룹에 대해 두 단계의 가설 검정과 최종 탄성망(Elastic Net) 혹은 적응형 탄성망(Adaptive Elastic Net) 정규화를 결합한 Dorfman‑Screening 프레임워크를 제안한다. 그래픽 라소와 OGK 기반 공분산 추정, 스피어맨 순위 상관, Huber 가중 회귀 등을 활용한 견고한 변형을 도입해 이상치와 비정규성을 완화한다. 시뮬레이션과 NSCLC 트라메티닙 반응 예측 실험에서 제안 방법이 기존 방법보다 높은 F1 점수와 낮은 RMSE를 기록했으며, 임상적으로 의미 있는 유전자를 효과적으로 선별한다는 점을 확인하였다.

상세 분석

본 연구는 고차원 회귀 문제에서 변수 선택의 효율성과 견고성을 동시에 달성하고자 하는 중요한 시도를 제시한다. 첫 번째 핵심은 변수들을 데이터‑드리븐 방식으로 그룹화한다는 점이다. 저자들은 피어슨 상관 혹은 그래픽 라소(Glasso)를 이용해 희소한 공분산(precision) 행렬을 추정하고, 이를 기반으로 평균 연결(linkage) 군집을 수행한다. 군집 절단 높이(h)는 5‑fold 교차검증을 통해 예측 RMSE를 최소화하도록 선택되며, 동적 트리컷(dynamic tree cut) 기법을 적용해 비정규·오염 데이터에서도 안정적인 그룹을 도출한다.

두 번째 단계는 전통적인 Dorfman 그룹 테스트 개념을 회귀 모델에 적용한 것이다. 각 그룹에 대해 전체 변수 집합을 포함한 선형 모델을 적합하고 F‑검정으로 그룹 수준의 영가설을 검정한다. 유의미한 그룹이 식별되면, 동일 그룹 내에서 다변량 회귀를 다시 적합하고 t‑통계 기반 개별 변수 검정을 수행한다. 여기서 사용되는 유의수준(α₁, α₂) 역시 교차검증으로 최적화되어 과도한 다중 비교에 따른 제1종 오류를 억제한다.

마지막 단계에서는 선택된 변수 집합에 대해 탄성망(Elastic Net) 혹은 적응형 탄성망(Adaptive Elastic Net)을 적용한다. 적응형 버전은 초기 EN 추정값을 가중치(w_j)로 변환해 ℓ₁ 패널티를 가중화함으로써 큰 효과 크기를 가진 변수는 더 적게 벌칙을 받게 한다. 이는 변수 선택의 정확도를 높이는 동시에 모델의 예측 성능을 유지한다.

견고성 강화를 위해 제안된 변형은 크게 두 가지가 있다. 첫 번째는 스피어맨 순위 상관을 이용한 비모수적 군집과 Huber M‑추정 기반의 그룹·개별 검정이다. 두 번째는 OGK(Orthogonalized Gnanadesikan–Kettenring) 공분산 추정과 그래픽 라소를 결합해 희소하고 견고한 상관 행렬을 만든 뒤, 동일한 두 단계 검정과 EN/Adaptive EN을 적용한다. OGK는 중위수와 MAD 기반으로 공분산을 추정하므로, 극단값이나 비대칭 잡음에 크게 영향을 받지 않는다.

시뮬레이션에서는 n=200, p=1,000, 200개의 그룹을 설정하고, 정상 데이터와 오염 데이터(깨진 상관, 배치 효과, 비대칭 잡음)를 각각 100번씩 반복했다. 정상 상황에서는 Dorfman‑Sparse‑Adaptive‑EN이 F1=0.926, RMSE=1.256으로 최고 성능을 보였으며, 견고 변형인 Robust‑OGK‑Dorfman‑Adaptive‑EN도 근소하게 뒤졌다(F1=0.925, RMSE=1.641). 오염 상황에서는 Robust‑OGK‑Dorfman‑Adaptive‑EN이 F1=0.809, RMSE=5.249로 기존 Dorfman 및 다른 경쟁 방법(Adaptive EN, EN, SIS‑LASSO, gAR2 등)을 크게 앞섰다. 이는 견고한 공분산 추정과 Huber 회귀가 비정규성에 대한 민감도를 현저히 낮춤을 의미한다.

실제 데이터 적용에서는 GDSC의 NSCLC RNA‑seq 데이터를 이용해 트라메티닙(IC₅₀) 반응을 예측하였다. Robust‑Dorfman 변형은 RMSE=2.17–2.33을 기록했으며, 선택된 유전자는 기존 문헌에서 트라메티닙 저항성·민감성과 연관된 것으로 알려진 경로(예: MAPK, PI3K/AKT)와 높은 겹침을 보였다. 이는 변수 선택이 통계적 성능뿐 아니라 생물학적 해석 가능성까지 제공함을 시사한다.

알고리즘 복잡도 측면에서 저자들은 블록 추정과 베이지안 최적화를 통해 p=100,000 수준까지 확장 가능함을 입증하였다. 그룹 형성 단계는 O(p²) 연산을 필요로 하지만, 희소화와 병렬화로 실용적인 실행 시간을 확보한다. 전체 파이프라인은 R 패키지 형태로 제공될 예정이며, 하이퍼파라미터 튜닝을 자동화한 함수가 포함된다.

한계점으로는 그룹 형성에 사용되는 거리 척도와 클러스터링 방법이 데이터 특성에 따라 민감하게 작동할 수 있다는 점이다. 또한, 두 단계 검정에서 사용되는 F‑검정과 t‑검정은 정규성 가정을 부분적으로 유지하므로, 극단적인 비정규성에서는 부트스트랩 기반 검정으로 대체할 필요가 있다. 향후 연구에서는 비선형 회귀(예: 랜덤 포레스트, XGBoost)와 결합한 하이브리드 Dorfman 프레임워크, 그리고 다중 반응 변수에 대한 확장도 고려될 수 있다.

전반적으로 본 논문은 그룹 테스트와 정규화 회귀를 결합한 새로운 변수 선택 전략을 제시함으로써, 초고차원 유전체 데이터 분석에서 정확도, 해석 가능성, 계산 효율성, 그리고 데이터 오염에 대한 견고성을 동시에 달성한다는 점에서 큰 의의를 가진다.