피라미드형 특징 추출과 UNI 기반 모델을 활용한 자동 조직병리 보고서 생성

초록

본 연구는 초고해상도 병리 슬라이드 이미지를 다중 해상도 피라미드 방식으로 샘플링하고, 배경·아티팩트를 제거한 뒤 UNI Vision Transformer로 특징을 추출한다. 고정된 병리 기반 모델과 6‑계층 Transformer 디코더를 결합해 보고서를 자동 생성하고, BioGPT 토크나이저로 의료 용어를 정교화한다. 마지막으로 Sentence‑BERT 기반 유사도 검증을 통해 기존 레퍼런스와 일치하면 해당 텍스트로 교체함으로써 신뢰성을 높인다.

상세 분석

이 논문은 초고해상도 Whole Slide Image(WSI)를 직접 처리하는 것이 계산량과 메모리 요구량 면에서 비현실적이라는 점을 인식하고, 피라미드형 패치 선택 전략을 도입한다. 구체적으로 2³~2⁶ 배 다운샘플링 레벨을 정의하고, 각 레벨에서 라플라시안 분산과 HSV 색공간 기반 필터링을 적용해 배경·아티팩트(예: 조직 외부 빈 공간, 얼룩)를 제거한다. 이러한 전처리는 실제 조직 영역만을 효율적으로 추출해 이후 Vision Transformer에 입력함으로써 연산 효율성을 크게 향상시킨다.

특징 추출 단계에서는 최신 병리 전용 파운데이션 모델인 UNI Vision Transformer를 ‘freeze’ 상태로 사용한다. 파라미터를 고정함으로써 대규모 병리 데이터셋에 대한 사전 학습된 표현력을 그대로 활용하고, 파인튜닝 비용을 최소화한다. 추출된 패치 임베딩은 선형 프로젝션을 거쳐 6‑계층 Transformer 디코더에 전달되며, 여기서 교차‑어텐션 메커니즘을 통해 이미지 특징과 텍스트 토큰 간의 정밀한 정렬을 수행한다.

텍스트 생성 과정에서 BioGPT 토크나이저를 채택한 점은 중요한 차별점이다. 일반적인 GPT 토크나이저는 의료 전문 용어를 충분히 포착하지 못하지만, BioGPT는 생물학·의학 어휘에 특화된 서브워드 사전을 제공한다. 따라서 생성된 보고서는 병리학적 용어(예: “핵분열율”, “핵심성 조직 변형”)를 정확히 사용하며, 임상 현장에 바로 적용 가능한 수준의 언어 품질을 확보한다.

마지막 검증 단계는 ‘retrieval‑based verification’이라 명명된 절차로, 생성된 보고서를 사전 구축된 레퍼런스 코퍼스와 Sentence‑BERT 임베딩을 이용해 유사도 매칭한다. 매칭 점수가 사전 정의된 임계값을 초과하면, 생성 텍스트를 해당 레퍼런스 보고서로 교체한다. 이 메커니즘은 모델이 드물게 발생시키는 비현실적·오류가 포함된 서술을 실시간으로 차단하고, 최종 출력의 신뢰성을 크게 높인다.

전체 파이프라인은 (1) 피라미드형 패치 선택 → (2) 배경·아티팩트 제거 → (3) UNI ViT 고정 특징 추출 → (4) Transformer 디코더 기반 텍스트 생성 → (5) BioGPT 토크나이징 → (6) SBERT 기반 레퍼런스 검증 의 순서로 구성된다. 실험 결과, 기존 단일‑해상도 접근법 대비 ROUGE‑L, BLEU, METEOR 점수가 평균 12 % 이상 향상되었으며, 검증 단계 적용 시 오류 보고서 비율이 0.8 % 이하로 감소했다. 이는 초고해상도 병리 이미지에서 자동화된 보고서 생성이 실용 단계에 한 걸음 다가섰음을 시사한다.