텍스트와 이미지 융합을 통한 DeepLesion 병변 분할 향상

초록

본 연구는 짧은 형태의 방사선 보고서 텍스트를 Swin‑UMamba 세그멘테이션 백본에 임베딩하여 CT 병변 분할 성능을 향상시키는 방법을 제안한다. ULS23 DeepLesion 데이터셋을 이용해 텍스트‑이미지 멀티모달 융합 모델을 학습했으며, Dice = 82.64 %와 Hausdorff = 6.34 px를 달성해 기존 이미지 전용 모델보다 유의미하게 개선하였다.

상세 분석

본 논문은 의료 영상 분야에서 텍스트 정보를 활용한 세그멘테이션 연구가 아직 초기 단계임을 인식하고, 대규모 언어 모델(LLM) 기반 텍스트 임베딩을 Swin‑UMamba 구조에 통합하는 새로운 파이프라인을 설계하였다. 핵심 구성요소는 세 가지 블록으로 이루어진다. 첫째, Swin‑UMamba 이미지 인코더‑디코더는 기존 nnU‑Net 파생 구조를 그대로 차용하면서, 윈도우 기반 자체‑어텐션과 Mamba(선형 복합 기억) 모듈을 결합해 효율적인 피처 추출을 수행한다. 둘째, Text Tower는 방사선 보고서의 짧은 문장을 토크나이즈한 뒤, 사전 학습된 BioLord 모델을 통해 768 차원의 임베딩을 생성한다. 여기서 최대 풀링(max‑pooling) 방식을 채택해 토큰별 활성값 중 가장 큰 값을 선택, 텍스트의 핵심 의미를 강조한다. 셋째, Lang Fusion 레이어는 텍스트 임베딩을 선형 변환하여 디코더 각 단계(총 5단계)의 채널 차원에 맞추고, 다중 스케일에서 이미지 피처와 합성한다. 이 멀티스케일 융합은 특히 병변이 작은 경우 전역적인 임상 정보를 보완해 경계 추정에 도움을 준다.

데이터 측면에서 저자들은 ULS23 DeepLesion 데이터셋(총 32,120 슬라이스, 4,427명)을 활용했으며, 각 슬라이스에 대응하는 짧은 보고서 문장을 추출해 텍스트‑이미지 쌍을 구성하였다. 학습‑검증‑테스트는 환자 단위로 겹치지 않게 분할했고, 5‑fold 교차 검증을 적용해 모델 일반성을 확보하였다. 손실 함수는 Dice 손실과 Cross‑Entropy 손실을 가중합했으며, AdamW(초기 학습률 5e‑3, 코사인 스케줄러)로 1500 epoch 학습하였다.

성능 평가에서는 기존 LanGuideMedSeg(LLM‑기반), xLSTM‑UNet, 2D nnUNet과 비교했을 때 Dice 점수에서 각각 37.79 %, 2.58 %, 1.01 %의 절대적 향상을 보였다(p < 0.001). Hausdorff 거리 역시 nnUNet 대비 0.52 px 감소하였다. Ablation 실험에서는 텍스트 풀링 방식을 바꾸어 max‑pooling이 평균 Dice = 82.64 %로 가장 높은 성능을 기록했으며, 텍스트를 디코더 전 단계에 전부 주입(full injection)했을 때는 0.11 %의 미세한 개선만 나타났다. 이는 짧은 보고서가 토큰 수가 적어 텍스트 임베딩의 변동성이 제한적임을 시사한다. 또한, 텍스트 없이 순수 Swin‑UMamba를 사용했을 때 Dice = 81.53 %였으며, 텍스트 통합으로 1.11 %p의 절대적 향상이 확인되었다.

한계점으로는 텍스트가 1문장 수준으로 매우 간결하고, 2D 슬라이스만 사용해 3D적 특성을 충분히 반영하지 못한다는 점을 들었다. 또한, 현재는 텍스트 디코더가 없으며, 보고서 전체를 생성하거나 정밀한 해부학적 위치를 직접 grounding 하는 기능은 구현되지 않았다. 향후 연구에서는 장문 보고서 임베딩, 텍스트‑이미지 양방향 주의 메커니즘, 그리고 병변 검출·보고서 자동 생성까지 포괄하는 통합 프레임워크를 목표로 한다.

전반적으로 본 연구는 의료 영상 세그멘테이션에 LLM 기반 텍스트 정보를 효과적으로 결합할 수 있음을 실증적으로 보여주며, 특히 임상 현장에서 짧은 텍스트가 제공하는 전역적 의미가 이미지 기반 모델의 한계를 보완한다는 중요한 인사이트를 제공한다.