3D 흉부 CT 기반 이상·보고 자동 생성 혁신: CT‑AGRG

초록

CT‑AGRG는 3차원 흉부 CT 영상을 먼저 이상 유무를 예측한 뒤, 각 이상에 대해 별도 문장을 생성하는 두 단계 모델이다. 멀티태스크 분류와 GPT‑2 기반 텍스트 디코더를 결합해 기존 CT2Rep 대비 NLG·임상 지표 모두에서 크게 향상된 성능을 보였으며, 이상별 제어가 가능한 보고서 작성을 가능하게 한다.

상세 분석

본 논문은 기존 3D CT 자동 보고 생성 모델이 전체 보고를 한 번에 생성하면서 발생하는 내용 누락·중복 문제를 해결하고자, “이상‑가이드(report generation)” 접근을 제안한다. 핵심 아이디어는 (1) 시각적 특징 추출기(CT‑Net 혹은 CT‑ViT)를 이용해 3D CT 볼륨을 2048‑차원 임베딩 h로 변환하고, (2) 18개의 이상 라벨 각각에 대해 독립적인 프로젝션 헤드 Ψp_i와 분류 헤드 Ψc_i를 두어 멀티태스크 학습을 수행한다. 이 과정에서 각 라벨별 1024‑차원 임베딩 h_i가 얻어지며, 이는 이후 텍스트 생성 단계에서 이상‑특화 표현으로 활용된다.

이상 예측 단계에서는 검증 세트에서 F1‑Score를 최대화하는 임계값을 적용해 ‘이상’ 여부를 결정한다. 선택된 라벨에 대해 h_i를 18×1024 차원의 다중 이상 임베딩 h_a_i로 확장하고, 경량 MLP Φ_T를 통해 텍스트 잠재공간으로 매핑해 e_i를 만든다. 여기서 중요한 점은 ‘zero‑padding’ 방식을 사용해 한 라벨에만 정보를 집중시키면서도 전체 임베딩 구조를 유지한다는 것이다.

텍스트 생성 단계에서는 PubMed‑pre‑trained GPT‑2 Medium 모델을 파인튜닝하고, 기존 self‑attention 대신 pseudo self‑attention(P S)을 도입해 e_i를 키·밸류에 주입한다. 이를 통해 각 이상에 대한 문맥 정보를 직접 attention에 반영함으로써, “폐렴이 관찰됨”과 같은 라벨‑특화 문장을 자연스럽게 생성한다. 학습은 next‑token 예측 손실을 사용하고, GPT‑2 파라미터만 업데이트한다는 점에서 효율적이다.

실험에서는 공개 CT‑RATE 데이터셋(18개 라벨, 34k+ 볼륨)으로 평가했으며, NLG 지표(BLEU‑4, METEOR, ROUGE‑L, BERTScore, BARTScore)와 임상 효능 지표(Precision, Recall, F1) 모두에서 기존 CT2Rep을 크게 앞섰다. 특히 CT‑ViT 기반 모델은 Recall 55.35→62.59(≈+45%), F1 42.13→50.11(≈+36%) 향상을 보였다. Ablation 연구에서는 (a) 멀티라벨 → 멀티태스크 전환이 F1을 23.80→46.11로 94% 상승시켰고, (b) 다중 이상 임베딩 적용이 Recall을 56.56→58.89, F1을 46.11→47.22로 소폭 개선함을 확인했다.

이 모델의 장점은 (1) 이상별 제어가 가능해 보고서의 임상적 정확성과 해석성을 높인다, (2) 단일 GPU·24시간 학습이라는 현실적인 자원 요구사항을 충족한다, (3) 기존 엔코더‑디코더 구조에 비해 파라미터 효율성이 좋다. 한계점으로는 라벨 수가 고정돼 있어 새로운 이상을 추가하기 위해 재학습이 필요하고, 3D CT 전처리(중심 크롭·패딩)와 라벨링 품질에 크게 의존한다는 점이다. 향후 연구에서는 라벨‑프리 혹은 약한 감독 학습, 멀티모달(임상 메타데이터·X‑ray) 결합, 그리고 지역‑특정(ROI) 정보를 활용한 문장 생성 확장이 기대된다.