다중모달 생존 예측을 위한 결측치 인식 프레임워크

초록

본 연구는 비소세포폐암(NSCLC) 환자의 전체 생존(Overall Survival) 예측을 위해 CT 영상, 전병리 슬라이드(WSI), 임상 데이터라는 세 가지 이질적 모달리티를 통합하는 결측치 인식 멀티모달 딥러닝 모델을 제안한다. 사전학습된 파운데이션 모델(FM)로 각 모달리티별 특징을 추출하고, 트랜스포머 기반의 마스킹 메커니즘으로 결측 데이터를 자동 무시한다. 중간 단계에서 특징을 결합하고, Oblivious Differentiable Decision Tree(ODDT) 헤드를 이용해 위험 점수를 추정한다. 실험 결과, 중간 결합 방식이 단일·이중·삼중 모달리티 모두에서 가장 높은 C‑index(최고 73.30)를 달성했으며, CT는 상대적으로 낮은 중요도로 자동 다운웨이트되는 현상을 확인하였다.

상세 분석

본 논문은 NSCLC 환자의 전체 생존 예측을 위한 결측치에 강인한 멀티모달 딥러닝 파이프라인을 설계하였다. 첫 단계에서는 각각의 영상 모달리티(CT, WSI)에 대해 최신 파운데이션 모델을 활용한다. CT에는 3D 의료 영상에 특화된 Swin‑Transformer 기반 모델을, WSI에는 대규모 병리 이미지용 Vision Transformer(ViT)를 사전학습된 가중치로 초기화하여 고차원 이미지에서 의미 있는 임베딩을 추출한다. 임상 변수는 표준화 후 임베딩 레이어를 통과시켜 저차원 벡터로 변환한다.

핵심 기여는 ‘Missing‑aware Representation Learning’이다. 각 모달리티별 임베딩을 입력으로 하는 트랜스포머 블록에 마스크 토큰을 삽입하고, 해당 토큰이 존재할 경우 해당 모달리티의 어텐션 가중치를 0에 가깝게 조정한다. 이를 통해 학습 시와 추론 시에 일부 모달리티가 결측되더라도 네트워크가 자동으로 해당 입력을 무시하고 나머지 정보를 활용한다. 마스크는 모달리티 수준뿐 아니라 개별 변수 수준에서도 적용 가능하도록 설계되어, 실제 임상 데이터에서 흔히 발생하는 부분 결측에도 대응한다.

다음으로 중간 결합(intermediate fusion) 전략을 채택한다. 각 모달리티의 최종 임베딩을 단순히 연결(concatenation)한 뒤, 이를 Oblivious Differentiable Decision Tree(ODDT) 헤드에 전달한다. ODDT는 전통적인 결정 트리의 해석 가능성을 유지하면서도 미분 가능하도록 설계돼, 위험 점수(hazard) 추정을 위한 손실 함수(Cox‑partial likelihood)를 직접 최적화한다. 이 구조는 모달리티 간 상호작용을 명시적으로 모델링하면서도 과적합 위험을 낮춘다.

실험은 179명의 NSCLC 환자를 대상으로 수행되었으며, CT, WSI, 임상 데이터의 결측 비율은 실제 임상 현장을 반영하도록 자연스럽게 배치되었다. 평가 지표는 Concordance Index(C‑index)이며, 단일 모달리티(WSI 68.5, 임상 66.2, CT 60.1)보다 중간 결합이 모두 우수했다. 특히 WSI와 임상 데이터만을 결합했을 때 73.30이라는 최고 점수를 기록했으며, CT를 포함한 경우에도 성능 저하가 미미했다. 모달리티 중요도 분석에서는 학습된 마스크 가중치와 SHAP 값을 이용해 CT가 다른 두 모달리티에 비해 자동으로 낮은 가중치를 부여받는 것을 확인했다. 이는 CT가 단독으로는 예측력이 낮지만, 다른 모달리티와의 보완 관계에서는 충분히 활용될 수 있음을 시사한다.

또한, 위험 점수를 기반으로 환자를 고위험·저위험군으로 이분화한 뒤 로그‑랭크 검정을 수행했으며, p‑value < 0.001로 통계적 유의성을 확보했다. 이는 모델이 단순히 C‑index를 높이는 것에 그치지 않고, 임상적으로 의미 있는 위험 군 구분을 제공함을 의미한다. 마지막으로 데이터와 코드가 공개되어 재현 가능성을 높였으며, 향후 더 큰 코호트와 추가 모달리티(예: 유전체) 적용을 위한 기반을 마련했다.