CT 영상에서 방사선사 주석을 활용한 기회주의 프롬프트 기반 3D 병변 분할

초록

본 논문은 PACS에 저장된 방사선사의 화살표·선 측정 등 희소 주석(GSPS)을 자동으로 3D 병변 마스크로 변환하는 새로운 패러다임인 ‘기회주의 프롬프트 가능 분할(Opportunistic Promptable Segmentation)’을 제안한다. 이를 위해 SAM2 기반 모델을 확장한 SAM2CT를 개발했으며, 화살표·선 프롬프트를 인코딩하고 메모리‑조건부 메모리(MCM) 방식을 도입해 3D CT 볼륨에서 높은 Dice 점수를 달성한다. 실제 임상 PACS 데이터 60건에 적용한 결과, 87%가 임상적으로 수용 가능하거나 경미한 수정만 필요했으며, 응급실 소견에 대해서도 제로샷 성능을 보였다.

상세 분석

본 연구는 CT 영상에서 대규모 고품질 3D 라벨 확보가 어려운 현실을 ‘기회주의 프롬프트 가능 분할’이라는 새로운 접근으로 해결하고자 한다. 방사선사가 일상 진단 과정에서 남기는 화살표와 선 측정은 DICOM GSGS 객체로 저장되며, 이는 실제 병변 위치에 대한 희소하지만 의미 있는 좌표 정보를 제공한다. 저자들은 이러한 정보를 자동으로 3D 마스크로 변환하기 위해 두 가지 핵심 기술을 도입했다. 첫째, SAM2의 프롬프트 인코더를 확장해 화살표와 선을 토큰화하는 파라미터(선 끝점, 화살표 시작·끝점)를 학습시켰다. 이를 통해 기존 SAM이 지원하던 점·바운딩 박스 외에 임상에서 흔히 사용되는 주석 형태를 직접 입력으로 받을 수 있게 되었다. 둘째, 메모리‑조건부 메모리(MCM)라는 새로운 메모리 인코딩 방식을 제안했다. 기존 SAM2는 이전 프레임의 메모리를 ‘비조건부 이미지 임베딩’과 결합해 저장했지만, 이는 전체 장면 정보를 반영해 병변 특이성이 낮다. MCM은 현재 슬라이스의 조건부 이미지 임베딩(E_cond)과 예측 마스크를 결합해 메모리를 생성함으로써, 이후 슬라이스에서 해당 병변에 대한 정보를 보다 정확히 전달한다. 이 설계는 특히 3D 볼륨에서 연속적인 슬라이스 간 병변 연속성을 유지하는 데 효과적이다.

학습 데이터는 5개의 공개 CT 병변 세트(총 8종 암종)와 DeepLesion3D을 포함해 1,662개의 훈련 샘플을 사용했으며, 실제 임상 GSPS를 재현하기 위해 화살표·선 프롬프트를 합성하였다. 화살표는 병변 중심과 경계점 사이에 무작위 각도와 길이 변형을 가해 생성했고, 선은 경계점 쌍 중 상위 50% 길이(훈련)·90% 길이(평가) 범위에서 선택했다. 모델은 8‑slice 서브볼륨을 80 epoch 동안 미세조정했으며, 학습률은 이미지 인코더와 전체 네트워크에 각각 3e‑6, 5e‑6을 적용했다.

비교 대상으로는 MCM 없이 화살표·선 프롬프트만 지원하는 SAM2(FT)와, 프롬프트를 바이너리 마스크 채널로 결합한 DynUNet·Swin‑UNETR을 사용했다. 실험 결과, SAM2CT는 화살표 프롬프트에서 DSC 0.649, 선 프롬프트에서 DSC 0.757을 기록해 모든 비교 모델을 앞섰다. 특히 MCM을 도입한 SAM2CT는 동일 데이터에 대해 기존 SAM2 기반 모델의 성능을 평균 46% 향상시켰다. 임상 PACS 데이터(N=60)에서는 방사선사가 제공한 GSPS를 입력으로 사용했을 때 87%가 ‘임상적으로 수용 가능’ 또는 ‘경미한 수정만 필요’로 평가되었으며, RECIST 1.1 기준 평균 퍼센트 차이는 12% 이하로 낮았다. 응급실 데이터에 대한 제로샷 테스트에서도 골절·담낭 결석 등 13종 소견에 대해 DSC 0.610.73을 달성, 실제 현장 적용 가능성을 입증했다.

이 논문은 방사선사의 일상 주석을 대규모 라벨링 자원으로 전환하는 실용적 파이프라인을 제시함으로써, 기존에 고비용으로 진행되던 3D 라벨링 작업을 크게 감소시킬 수 있음을 보여준다. 또한, 메모리‑조건부 메모리라는 설계는 3D 의료 영상에서 시계열·볼륨 정보를 효율적으로 활용하는 새로운 방향을 제시한다는 점에서 학술적·산업적 의의가 크다.