베트남어 PET/CT 보고서 생성을 위한 비전‑언어 기반 모델 데이터셋 및 벤치마크

초록

본 논문은 베트남어 PET/CT 영상과 전체 임상 보고서를 2,757건 제공하는 ViMed‑PET 데이터셋을 공개하고, 데이터 증강 및 전문가 검증 테스트셋을 포함한 학습 프레임워크를 제시한다. 최신 비전‑언어 모델들을 이 데이터에 파인튜닝한 결과, 기존 모델 대비 보고서 생성 및 VQA 성능이 크게 향상되었으며, 특히 폐암 진단과 같은 임상 핵심 과제에서 여전히 개선 여지가 있음을 확인한다.

상세 분석

ViMed‑PET 데이터셋은 현재 의료용 비전‑언어 모델(VLM) 연구에서 크게 두 가지 결핍을 메우는 역할을 한다. 첫째, PET/CT와 같은 기능성 영상은 기존 VLM 학습 코퍼스에 거의 포함되지 않아, 종양 대사·전이 평가와 같은 중요한 임상 작업에 적용하기 어려웠다. 본 데이터셋은 전신 PET/CT 3D 볼륨을 1,567,062개의 2D 슬라이스 쌍으로 전환하고, 각 슬라이스에 대응하는 베트남어 임상 보고서를 JSON 형태로 구조화함으로써, 이미지‑텍스트 정렬을 정밀하게 수행할 수 있게 했다. 둘째, 베트남어는 1억 명 이상의 원어민을 보유한 저자원 언어임에도 불구하고 의료 AI에서 거의 배제돼 왔다. 이 데이터셋은 베트남어 보고서를 전면에 두어 언어 다양성을 확보하고, 향후 다국어 VLM 개발에 중요한 토대를 제공한다.

데이터 전처리 단계에서는 DICOM 메타데이터와 DOCX 보고서에서 개인 식별 정보를 완전 제거하고, 보고서 템플릿 기반 키워드 추출 후 수동 교정을 거쳐 품질을 보증했다. 또한, 해부학적 구역(머리‑목, 흉부, 복부‑골반)별로 20슬라이스 겹침을 두어 3개의 부분으로 분할함으로써, 8,271개의 이미지‑텍스트 샘플을 생성하고, 각 구역별 특화된 학습이 가능하도록 설계했다. 이러한 구역 기반 분할은 3D 연속성을 유지하면서도 데이터 양을 효과적으로 확대하는 전략이다.

벤치마크 실험에서는 기존 최첨단 의료 VLM인 LLaVA‑Med, M3D, RadFM을 그대로 적용했을 때 BLEU‑4가 0.010.06% 수준에 그쳐 실질적인 보고서 생성이 불가능함을 확인했다. GPT‑4o는 few‑shot 프롬프트로 약 31% BLEU‑4를 기록했지만, 여전히 임상적 정확도와 표현 풍부함에서 한계가 있었다. ViMed‑PET을 이용해 파인튜닝한 후에는 BLEU‑4가 1218%p 상승하고, ROUGE‑1/ROUGE‑L, BERTScore 등 다중 메트릭에서 유의미한 개선을 보였다. 특히 폐암 진단을 목표로 한 전문가 검증 테스트셋에서는 종양 위치·크기·대사활동을 정확히 기술하는 비율이 23%p 상승했지만, 여전히 70% 이하의 정확도에 머물러 향후 모델 구조·손실 함수 개선이 필요함을 시사한다.

기술적 인사이트로는 (1) 기능성 영상 특유의 정량적 값(예: SUV)과 텍스트 내 정량 표현을 정렬시키는 멀티모달 손실 설계가 필요하고, (2) 저자원 언어의 경우 번역 기반 사전학습보다 원문 데이터에 직접 접근하는 것이 도메인 적합성을 크게 높인다는 점을 들 수 있다. 또한, 기존 NLP 중심의 자동 평가 지표가 임상적 타당성을 충분히 반영하지 못하므로, 구조화된 임상 라벨(예: TNM 단계)과 연계된 평가 프레임워크가 필수적이다.

한계점으로는 데이터가 단일 병원에서 수집돼 인구·장비 다양성이 제한적이며, 현재는 전신 PET/CT에 국한돼 다른 기능성 영상(예: SPECT, PET/MRI)과의 확장이 필요하다. 또한, 3D 컨텍스트를 완전히 활용하려면 슬라이스 기반이 아닌 볼륨 전체를 입력으로 하는 트랜스포머 구조가 요구된다. 향후 연구에서는 다기관 협업을 통한 데이터 확장, 베트남어 외 다른 저자원 언어와의 멀티언어 학습, 그리고 임상 실시간 의사결정 지원을 위한 인퍼런스 최적화가 주요 과제로 남는다.