자동생존분석을 위한 강화학습 기반 데이터 전처리 자동화 프레임워크 CleanSurvival

초록

CleanSurvival는 Q‑learning을 활용해 결측치 보간, 이상치 탐지, 특성 추출 등 전처리 단계들을 자동으로 최적화하고, Cox, 랜덤 포레스트, 신경망 등 다양한 생존 모델에 적용한다. 실험 결과, 기존 그리드 탐색 대비 최대 10배 빠른 탐색 속도와 향상된 C‑index·Brier Score를 달성했으며, 다양한 결측·노이즈 상황에서도 견고함을 보였다.

상세 분석

본 논문은 생존 분석 분야에서 데이터 전처리 자동화가 부족한 문제점을 정확히 짚어내고, 이를 해결하기 위한 CleanSurvival 프레임워크를 제안한다. 핵심 아이디어는 강화학습, 특히 모델‑프리 Q‑learning을 이용해 전처리 파이프라인을 순차적인 의사결정 문제로 정의하고, 각 단계(결측치 보간, 이상치 탐지, 범주형 인코딩, 스케일링, 차원 축소 등)의 조합을 상태‑행동 공간에 매핑한다. 보상 함수는 선택된 전처리 조합으로 학습된 생존 모델의 성능 지표(C‑index, Integrated Brier Score 등)와 탐색 비용(시간·연산량)을 가중합한 형태이며, 이를 통해 에이전트는 성능을 최대화하면서도 효율적인 파이프라인을 학습한다.

학습 과정에서 ε‑greedy 전략으로 탐색과 활용을 균형 있게 진행하고, α와 γ 하이퍼파라미터를 적절히 조정해 수렴 속도를 최적화한다. 또한, 상태 표현에 데이터셋 메타특성(샘플 수, 변수 수, 결측 비율, 범주형 비율 등)을 포함시켜 다양한 도메인에 일반화 가능하도록 설계하였다.

실험은 5개의 공개 생존 데이터셋(예: METABRIC, SEER, TCGA 등)과 3가지 시뮬레이션 시나리오(무작위 결측, MAR, MNAR)에서 수행되었다. 베이스라인으로는 (1) 기본 전처리(Mean/Mode Imputation + One‑Hot Encoding), (2) 랜덤 그리드 탐색, (3) 기존 AutoML 툴(TPOT, auto‑sklearn) 등을 사용하였다. 결과는 Q‑learning 기반 파이프라인이 평균 C‑index를 0.030.07 포인트 상승시키고, Brier Score를 512% 감소시켰으며, 탐색 시간은 2~10배 단축되었다. 특히, 고결측(>30%) 및 고노이즈(σ=0.5) 상황에서도 성능 저하가 최소화되는 점이 주목할 만하다.

한계점으로는 현재 Q‑table이 이산적인 전처리 옵션에 최적화돼 연속적인 하이퍼파라미터(예: KNN imputation의 K값) 탐색에 제약이 있다. 또한, 보상 설계 시 모델 복잡도(파라미터 수)와 과적합 위험을 직접 반영하지 않아, 매우 복잡한 딥 서바이벌 네트워크에서는 추가적인 정규화가 필요할 수 있다. 향후 연구에서는 딥 Q‑network(DQN)으로 연속 액션 공간을 확장하고, 다중 목표 최적화(성능·해석 가능성·컴퓨팅 비용)를 위한 파레토 프론트를 도입할 계획이다.