멀티모달 병리 보고 자동 생성 프레임워크

초록

본 논문은 전체 슬라이드 이미지(WSI)에서 추출한 시각적 임베딩을 사전학습된 바이오텍스트 생성 모델 BioBART에 시각 프리픽스 프롬프트 방식으로 결합한 경량 멀티모달 시스템 MPath를 제안한다. CONCH와 Titan 기반의 WSI 특징을 압축 투영 모듈을 통해 토큰 임베딩 공간에 매핑하고, 언어 모델은 고정한 채 프롬프트 인코더만 학습한다. RED 2025 Grand Challenge 테스트 Phase 2에서 4위를 기록했으며, 프롬프트 기반 멀티모달 결합이 데이터 효율적이고 해석 가능한 병리 보고 생성에 유망함을 입증한다.

상세 분석

MPath는 기존의 대규모 비전‑언어 사전학습을 회피하고, 이미 검증된 병리학 전처리 기반 이미지 임베딩(CONCH, Titan)을 활용한다는 점에서 실용적이다. 이미지 특징을 768‑차원 슬라이드 레벨 벡터로 요약한 뒤, 두 개의 선형 레이어와 ReLU 활성화를 거쳐 언어 모델의 토큰 차원(d)과 동일한 형태(Lp × d)로 변환한다. 이렇게 만든 시각 프리픽스 토큰을 “Pathology report:”와 같은 짧은 텍스트 프롬프트 앞에 삽입함으로써, 디코더는 이미지 정보를 초기 컨텍스트로 받아들인다. 언어 모델(BioBART)은 사전학습된 상태를 유지하고, 오직 프리픽스 인코더와 투영 파라미터, 그리고 보조 목표를 위한 소규모 헤드만 업데이트한다. 이는 파라미터 수를 수십만 개 수준으로 제한해 과적합 위험을 크게 낮추고, 학습 안정성을 확보한다.

학습은 5‑fold 교차검증을 통해 최적 하이퍼파라미터를 탐색했으며, AdamW(learning rate = 1e‑4)와 linear warm‑up, early stopping(patience = 20) 전략을 적용했다. 평가 지표는 REG2025가 정의한 네 가지 메트릭(semantic embedding similarity, medical keyword Jaccard, BLEU‑4, ROUGE‑L)을 가중 평균한 복합 점수이며, MPath는 0.8282의 점수로 4위를 차지했다.

오류 분석에서 모델이 “Chronic granulomatous inflammation with foreign body reaction”과 같이 근거가 없는 병변을 추가하는 사례가 관찰되었다. 이는 전역 이미지 임베딩이 미세 병변을 충분히 구분하지 못해 텍스트 생성 단계에서 언어 모델의 사전 지식에 의존하게 되는 전형적인 ‘hallucination’ 현상이다. 또한 언어 모델을 고정함으로써 데이터셋 특유의 보고 양식(예: 기관별 용어, 서술 순서)에 대한 적응이 제한된다.

저자는 이러한 한계를 극복하기 위해 (1) 패치‑레벨과 슬라이드‑레벨 정보를 결합한 계층적 비전 인코더, (2) CLIP‑style 대비 학습을 통한 시각‑텍스트 정렬 강화, (3) LoRA 또는 Adapter와 같은 파라미터‑효율적 미세조정 기법을 도입해 언어 모델을 부분적으로 업데이트하는 방안을 제시한다. 또한 구조화된 보고(Organ, Sample‑type, Diagnosis 등 필드별 출력)와 제약 기반 디코딩, 사실성 검증 모듈을 결합하면 hallucination을 억제하고 임상 적용성을 높일 수 있다.

전반적으로 MPath는 “프롬프트 기반 멀티모달 결합”이라는 간결한 설계로, 대규모 멀티모달 사전학습이 어려운 의료 분야에서 데이터·연산 효율성을 동시에 달성할 수 있음을 보여준다. 향후 더 풍부한 시각 표현과 텍스트 적응 기법을 결합한다면, 실제 병리학 워크플로우에 바로 투입 가능한 수준으로 성능을 끌어올릴 여지가 크다.