합성 혈관 이미지와 텍스트로 OCTA 진단 능력 강화

초록

본 논문은 당뇨망막병증(DR) 특징을 포함한 합성 OCTA 혈관 이미지를 자동으로 생성하고, 해당 이미지에 대한 상세한 체인‑오브‑씽크(Chain‑of‑Thought) 설명 텍스트를 매칭시켜 100 000쌍의 데이터셋(OCTA‑100K‑SVR)을 구축한다. 이를 활용해 일반 목적 비전‑언어 모델(Qwen3‑VL‑8b)을 사전 학습하고, 실제 OCTA 데이터에 대해 제로‑샷 DR 분류에서 89.67%의 균형 정확도를 달성했으며, 전문가 평가에서도 설명 품질과 병변 위치 지정 정확도가 크게 향상됨을 보였다.

상세 분석

이 연구는 의료 영상 분야에서 데이터 부족 문제를 해결하기 위해 ‘합성 혈관 추론(Synthetic Vasculature Reasoning, SVR)’이라는 프레임워크를 제안한다. 핵심은 3차원 혈관 그래프 시뮬레이터와 GAN 기반 이미지 변환기를 결합해, 실제 OCTA 이미지와 시각적으로 구분이 어려운 고품질 합성 영상을 만든다는 점이다. 특히 네 가지 당뇨망막병증 병변—모세혈관 소실(capillary dropout), 미세동맥류(microaneurysm), 신생혈관(neovascularization), 그리고 혈관 비틀림(tortuosity)—을 파라미터화된 그래프 변형 연산으로 구현함으로써, 병변의 형태·위치·심각도까지 정밀하게 제어한다.

텍스트 생성 측면에서는 시뮬레이터가 출력한 메타데이터(병변 종류, 좌표, 강도 등)를 템플릿 형태의 설명문으로 변환한 뒤, GPT‑5를 ‘교사 모델’로 활용해 자연스러운 체인‑오브‑씽크 문장으로 재작성한다. 이 과정에서 임상적 사실과 공간 관계가 손실되지 않도록 엄격히 검증한다는 점이 주목할 만하다. 결과적으로 이미지‑텍스트 쌍이 100 k개에 달하는 대규모 데이터셋(OCTA‑100K‑SVR)이 확보된다.

모델 학습은 두 단계로 진행된다. 첫 단계에서는 Qwen3‑VL‑8b‑Instruct를 이미지‑텍스트 쌍에 대해 비전 인코더와 멀티모달 프로젝션 레이어만 업데이트하면서 사전 학습한다. 언어 모델은 그대로 유지해 일반 언어 이해 능력을 보존한다. 두 번째 단계에서는 실제 OCTA 데이터(OCTA‑500 및 사내 1,286개 스캔)와 해당 이미지에 대한 인간 전문가 라벨·설명을 사용해 전체 모델을 미세 조정한다. 이렇게 하면 합성 데이터에서 학습한 병변 특성 인식 능력이 실제 임상 이미지에 효과적으로 전이된다.

실험 결과는 두 가지 관점에서 강력하다. 첫째, 제로‑샷 설정에서 SVR‑pretrained 모델은 기존 VLM(예: vanilla Qwen3‑VL‑8b, LLaMA‑3.2‑11B‑VL 등) 및 전통적인 CNN/GNN 기반 모델(ResNet18, vessel‑graph GNN)보다 높은 균형 정확도(89.67%)를 기록한다. 둘째, 설명 품질 평가는 자동 GPT‑5 점수와 두 명의 안과 전문의가 수행한 인간 평가 모두에서 유의미하게 우수했으며, 특히 병변 위치 지정 정확도가 크게 개선되었다. 또한 합성 데이터 규모를 1k→100k으로 확대했을 때 정확도와 GPT‑5 점수가 일관적으로 상승하는 스케일링 효과를 확인함으로써, 합성 데이터가 VLM 학습에 실질적인 이득을 제공함을 입증한다.

이 논문은 (1) 의료 영상 특화 합성 데이터 생성 파이프라인, (2) 메타데이터 기반 고품질 텍스트 자동 생성, (3) 합성‑실제 데이터 혼합 학습 전략이라는 세 축을 통해 VLM이 의료 진단·설명에 필요한 세밀한 추론 능력을 획득할 수 있음을 보여준다. 향후 다른 안과·영상 분야뿐 아니라 조직학, 방사선학 등 다양한 도메인에 동일한 프레임워크를 적용해 데이터 효율성을 크게 높일 가능성이 있다.