적응형 다중모달 융합을 통한 폐암 위험 예측

초록

AdaFuse는 강화학습 기반 정책 네트워크를 이용해 환자별로 CT 영상, 임상 변수, 방사선 보고서 등 세 가지 모달리티 중 필요한 조합만 선택하도록 설계된 적응형 다중모달 융합 프레임워크이다. 순차적인 의사결정 과정을 통해 불필요한 모달리티를 배제하고, 최종 예측 단계에 도달하기 전까지 정보를 점진적으로 축적한다. NLST 데이터셋 실험에서 AUC 0.762를 기록하며 기존 단일·고정·적응형 융합 방법들을 모두 능가하고, 연산 비용도 절감하였다.

상세 분석

AdaFuse는 기존 다중모달 융합 연구가 “모든 모달리티를 동일하게 처리하거나, 소프트 가중치를 학습한다”는 한계를 극복하고, 환자 개별 특성에 따라 모달리티 사용 여부를 결정한다는 점에서 혁신적이다. 핵심 아이디어는 모달리티 선택을 마코프 의사결정 과정(MDP)으로 모델링하고, 정책 네트워크가 단계별로 행동을 선택하도록 강화학습(REINFORCE)으로 최적화한다는 것이다.
첫 단계에서는 세 모달리티(A: CT, B: 임상, C: 텍스트) 중 하나를 기본으로 선택한다. 두 번째 단계에서는 현재 선택된 모달리티만으로 충분한지 판단하거나, 남은 두 모달리티 중 하나를 추가한다. 세 번째 단계에서는 두 모달리티가 선택된 경우, 추가 모달리티를 더 포함할지 여부와 함께 ‘concatenation’, ‘mean’, ‘tensor’ 중 하나의 융합 방식을 결정한다. 이렇게 최대 세 번의 의사결정을 거치면서, 정책은 현재 상태(선택된 모달리티의 인코딩 특징과 바이너리 마스크)와 이전 행동을 모두 고려한다.
상태 인코더는 선택된 특징을 0으로 마스킹하고, 마스크 자체를 포함해 64차원 벡터로 변환한다. 이는 “아직 선택되지 않은 모달리티”와 “선택되었지만 정보가 부족한 모달리티”를 구분할 수 있게 해준다. 행동 로그 확률은 소프트맥스와 온도 파라미터를 통해 샘플링되며, 학습 초반에는 탐색을, 후반에는 탐욕적 선택을 유도한다.
보상 설계는 두 부분으로 구성된다. 첫 번째는 예측 확률에 기반한 이진 교차 엔트로피(negative BCE)이며, 이는 연속적인 피드백을 제공한다. 두 번째는 미니배치 AUC를 -1~1 범위로 정규화한 보상으로, 불균형 데이터에서 양성 샘플의 순위 향상을 직접 장려한다. 두 보상의 가중치 λ는 실험을 통해 조정된다.
정책 그래디언트는 REINFORCE에 배치 평균 보상 베이스라인을 적용해 분산을 감소시킨다. 추가로 엔트로피 정규화와 supervised BCE 손실을 결합해 정책이 과도하게 탐색에 머무르지 않도록 안정성을 확보한다. 학습 초기에는 사전 학습된 CT 인코더(Sybil), 임상 변수 인코더, 텍스트 인코더(CORE)와 각각의 융합 분류기를 고정하거나 낮은 학습률로 미세조정한다.
실험에서는 NLST 데이터 1,847명(학습)·462명(테스트)으로 평가했으며, 폐암 발생률은 약 6% 수준이다. CT 특징은 512차원, 임상은 17차원, 텍스트는 768차원 BERT 기반 임베딩을 사용한다. 모든 모달리티를 32차원으로 압축한 뒤, 정책이 선택한 조합에 맞는 15개의 사전 학습된 융합 분류기 중 하나를 호출한다. 결과적으로 AdaFuse는 AUC 0.762를 달성했으며, 이는 최고 성능의 단일 모달리티(CT, 0.732)와 고정 융합(0.759), 최신 적응형 방법인 DynMM(0.754) 및 MoE(0.742)보다 우수했다. 또한 FLOPs 측면에서도 삼중 모달리티 전체를 항상 사용해야 하는 기존 방법보다 효율적이었다.
이러한 설계는 실제 임상 흐름과도 일맥상통한다. 의사는 환자 위험도에 따라 추가 검사를 주문하거나 중단하는데, AdaFuse는 데이터 기반으로 동일한 결정을 자동화한다. 정책이 학습 과정에서 어떤 모달리티를 선호했는지 분석하면, 고위험군에서는 CT와 텍스트를 동시에 사용하고, 저위험군에서는 임상 변수만으로도 충분히 높은 예측 정확도를 보이는 등, 모달리티 선택이 환자 특성에 맞게 동적으로 변한다는 점을 확인할 수 있다. 이는 모델 해석 가능성을 높이고, 비용·시간 절감 효과까지 기대할 수 있다.