오르토인사이트: 다중모달 대형 모델을 활용한 갈비뼈 골절 자동 진단 및 보고서 생성 시스템

초록

본 논문은 CT 영상에서 갈비뼈 골절을 탐지하고, 의료 지식 그래프와 LLaVA 기반 언어 모델을 결합해 임상적으로 활용 가능한 진단 보고서를 자동으로 생성하는 ‘오르토인사이트(OrthoInsight)’ 프레임워크를 제안한다. YOLOv9 기반 검출기, 정형외과 지식 그래프, 그리고 멀티모달 LLM을 연계함으로써 기존 영상‑텍스트 분리 방식의 한계를 극복하고, 진단 정확도·내용 완전성·논리적 일관성·임상 안내 가치 4가지 지표에서 평균 4.28점(5점 만점)을 기록, GPT‑4·Claude‑3 등 최신 모델을 능가한다.

상세 분석

오르토인사이트는 세 가지 핵심 모듈로 구성된다. 첫 번째는 최신 객체 탐지 아키텍처인 YOLOv9를 기반으로 한 골절 검출기로, CT 단면을 입력받아 골절 위치, 유형(전방·후방·복합), 분리 정도 등을 바운딩 박스와 속성 레이블로 출력한다. YOLOv9의 경량화된 구조와 고성능 mAP50 ≈ 0.97을 달성한 사전 학습 가중치를 활용해 대규모 데이터(28,675장)에서 효율적인 파인튜닝을 수행하였다. 두 번째는 정형외과 도메인에 특화된 의료 지식 그래프(KG)이다. 골절 원인, 합병증 위험, 치료 옵션, 추적 검사 시점 등 임상 의사결정에 필요한 메타 정보를 트리플 형태로 정리하고, 검출 결과와 연계해 관련 노드를 실시간 검색한다. 이는 순수 영상 기반 모델이 놓치기 쉬운 ‘왜(etiology)’와 ‘어떻게(management)’를 보완한다. 세 번째는 LLaVA(Large Language and Vision Assistant)를 의료 데이터에 맞게 파인튜닝한 멀티모달 LLM이다. 이미지 특징과 텍스트 프롬프트를 결합한 ‘Fuse’ 단계에서 시각적 피처와 KG‑derived 텍스트 인코딩을 통합하고, ‘GenReport’ 단계에서 “이미지 소견 → 진단 결론 → 임상 권고”의 구조화된 보고서를 생성한다.

학습 과정에서 저자들은 (1) 검출기와 LLM을 단계별로 독립 학습 후, (2) 전체 파이프라인을 엔드‑투‑엔드 방식으로 미세 조정함으로써 오류 전파를 최소화하고, (3) 의료 전문가가 설계한 4가지 평가 지표(DA, CC, LCC, CGV)를 정량화했다. 특히 ‘임상 안내 가치(CG V)’는 권고 사항의 실현 가능성·위험도·추적 계획을 점수화한 새로운 메트릭으로, 기존 BLEU·ROUGE와 같은 텍스트 유사도 지표가 간과하는 임상 실용성을 반영한다.

실험 결과는 두 가지 차원에서 의미 있다. 첫째, 검출 정확도 측면에서 YOLOv9는 기존 YOLOv5 대비 3.2% AP 향상을 보였으며, 다중 골절·미세 골절 상황에서도 재현율 94.1%를 유지했다. 둘째, 보고서 생성 측면에서 오르토인사이트는 평균 4.28점(5점 만점)을 기록했으며, GPT‑4V(3.91점)·Claude‑3(3.84점)보다 현저히 높은 점수를 얻었다. Ablation study에서는 KG를 제외했을 때 CGV 점수가 0.73점 감소하고, LLaVA 파인튜닝 없이 기본 LLaVA를 사용했을 때 LCC 점수가 1점 이하로 떨어지는 등, 각 모듈의 기여도가 명확히 입증되었다.

하지만 몇 가지 제한점도 존재한다. 데이터는 단일 기관(시안교통대학)에서 수집된 CT와 보고서에 국한돼 외부 일반화 검증이 부족하다. 또한, 지식 그래프는 정형외과 교과서 기반으로 구축돼 최신 임상 가이드라인이나 환자 개별 변수를 반영하기엔 한계가 있다. 추론 속도는 YOLOv9와 LLM을 연계함에 따라 평균 1.8초/이미지로, 실시간 임상 적용에는 추가 최적화가 필요하다. 윤리적 측면에서는 자동 보고서가 오진 시 책임 소재와 환자 동의 절차가 명확히 정의되지 않아, 향후 규제 프레임워크와 인간‑AI 협업 프로토콜이 요구된다.

전반적으로 오르토인사이트는 영상 기반 검출과 도메인 지식, 언어 생성 모델을 유기적으로 결합한 최초의 통합 파이프라인으로, 의료 AI 분야에서 멀티모달 학습이 실제 임상 워크플로우에 미치는 영향을 실증적으로 보여준다. 향후 다기관 데이터 확장, 지식 그래프의 동적 업데이트, 경량화된 LLM 적용 등을 통해 실시간 임상 지원 시스템으로 발전할 가능성이 크다.