통합 멀티모달 데이터셋과 AI 기반 아멜롭라스토마 진단 프레임워크

초록

본 논문은 구강악성 종양인 아멜롭라스토마에 특화된 멀티모달 데이터셋을 구축하고, 이를 활용한 딥러닝 모델을 제안한다. 방사선, 조직병리, 구강 임상 사진을 포함한 1,152장의 이미지와 텍스트 정보를 NLP로 구조화하였다. 구축된 데이터셋으로 변이 분류 정확도를 46.2 %→65.9 %로, 이상 조직 검출 F1을 43.0 %→90.3 %로 크게 향상시켰다. 또한, Gemini 기반 프롬프트 엔지니어링을 이용한 텍스트 추출 방법을 비교·평가하였다.

상세 분석

이 연구는 현재 구강악성 병리 분야에서 멀티모달 데이터가 부족하고, 기존 공개 데이터셋이 포맷 일관성을 결여하고 있다는 문제점을 정확히 짚어낸다. 저자들은 MultiCaRe API를 활용해 161건의 케이스 리포트를 초기 베이스로 삼고, 이미지 누락을 PMC API로 보완, 복합 도표를 OpenCV 기반으로 자동 분할하는 7단계 파이프라인을 설계하였다. 이 과정에서 이미지 라벨링 오류(임상 vs 병리, 방사선 구분)와 캡션 매핑 오류를 수동 검증 인터페이스로 교정했으며, 최종적으로 152명의 환자, 1,152장의 고해상도(512×512) 이미지가 확보되었다.

텍스트 데이터 추출에서는 규칙 기반 키워드 매칭, Word2Vec(300‑dim) 임베딩, BioBERT, 그리고 Gemini LLM 네 가지 접근을 병행하였다. Word2Vec는 일반 뉴스 코퍼스로 학습돼 의료 전문 용어 인식에 한계가 있었으며, BioBERT는 도메인 특화 임베딩으로 성능이 우수했지만 생성형 능력이 부족했다. Gemini는 상세 프롬프트 설계와 JSON 출력 포맷을 통해 높은 정확도와 일관성을 보여주었으며, 특히 변이 유형(다낭성, 단낭성, 말초형, 탈모양) 추출에 강점을 보였다.

멀티모달 모델은 이미지와 구조화된 텍스트(연령, 성별, 주증상)를 동시에 입력받아 다중 라벨 분류와 재발 위험 예측을 수행한다. 이미지 전처리는 업스케일링(4배) 후 512×512로 정규화했으며, 데이터 증강으로 클래스 불균형을 완화했다. 모델 학습 결과 변이 분류 정확도가 19.7%p 상승했고, 이상 조직 검출 F1이 47.3%p 상승했다. 통계적 유의성 검증(p < 0.01)과 MultiCaRe 대비 성능 비교를 통해 모델의 견고함을 입증하였다.

한계점으로는 라벨링 검증이 아직 전문가에 의존하고 있어 완전 자동화가 어려운 점, 일부 케이스에서 이미지·텍스트 불일치, 그리고 EHR 데이터 미포함으로 인한 임상 적용 범위 제한을 들었다. 향후에는 전문가 주석을 통한 라벨 품질 향상, 도메인 특화 임베딩 모델 학습, 그리고 실시간 임상 워크플로와의 연동을 목표로 제시한다.