시각 가이드라인 기반 안과 임상 의사결정 지원 RAG 시스템

초록

본 논문은 안과 임상 질문에 대해 가이드라인 페이지 이미지를 직접 검색하고, 질의 분해·재작성·라우팅·필터링을 결합한 다중모달 RAG 파이프라인인 Oph‑Guid‑RAG를 제안한다. 페이지 단위 시각 검색, 컨트롤러 기반 라우팅, 재순위·필터링을 통해 외부 증거 활용을 조절하고, 최종 답변에 페이지 URL을 첨부해 추적성을 확보한다. HealthBench의 의사 평가에서 특히 난이도 높은 하드 서브셋에서 정확도·점수가 크게 향상되었으며, Ablation 실험을 통해 라우팅·재순위·검색 설계가 성능 안정성에 핵심임을 확인한다.

상세 분석

Oph‑Guid‑RAG는 기존 텍스트‑기반 RAG의 한계를 극복하기 위해 “가이드라인 페이지 이미지”를 독립적인 증거 단위로 취급한다. PDF‑to‑이미지 변환 후 5390×7940 픽셀의 고해상도 페이지를 그대로 저장하고, OCR 없이 ColQwen2.5 비전‑언어 모델로 임베딩해 FAISS 인덱스를 구축한다. 이 접근은 표, 흐름도, 레이아웃 등 시각적 구조를 보존함으로써 텍스트 추출 오류와 정보 손실을 최소화한다.

시스템은 네 단계로 구성된다. ① 오프라인 코퍼스 준비 단계에서 305개 가이드라인(총 7 001 페이지)을 이미지화하고 메타데이터와 URL을 매핑한다. ② 질의 처리 단계에서는 Planner가 복합 질의를 최대 3개의 서브질문(SQ1‑SQ3)으로 분해하고, Router가 각 서브질문을 “RAG” 경로와 “DIRECT” 경로 중 하나로 라우팅한다. RAG 경로는 Query Rewrite 모듈을 거쳐 검색에 최적화된 문장으로 변환된다. ③ 검색‑필터 단계에서는 재작성된 질의를 ColQwen2.5로 인코딩해 FAISS에서 Top‑k 페이지를 후보로 추출하고, GPT‑5.2 기반 relevance scorer가 초기 질의와 서브질문 모두와의 연관성을 평가한다. 연관성이 낮은 페이지는 필터링되어 최종 증거 집합에 포함되지 않는다; 증거가 부족하면 자동으로 DIRECT 경로로 전환한다. ④ 생성 단계에서는 Vision‑Language 모델이 텍스트 질의와 이미지 증거를 동시에 입력받아 다중모달 추론을 수행하거나, DIRECT 경로에서는 텍스트‑전용 LLM이 바로 답변을 생성한다. 최종 합성 모듈은 서브답변을 하나의 통합 답변으로 결합하고, 사용된 페이지 URL을 첨부해 결과의 추적성을 제공한다.

성능 평가는 HealthBench의 의사‑기반 채점 프로토콜을 사용했으며, 특히 “Hard” 서브셋에서 전체 점수가 0.2969→0.3861(+30 %)로, 정확도가 0.5956→0.6576(+10.4 %)로 상승했다. GPT‑5.4 대비 정확도 상승폭은 +24.4 %에 달한다. Ablation 실험에서는 라우팅 없이 모든 질의를 무조건 RAG에 전달하거나, 재순위·필터링을 제거했을 때 성능이 급격히 저하되는 것을 확인했다. 이는 컨트롤러 기반 라우팅이 불필요한 증거를 차단하고, 재순위·필터링이 고품질 증거만을 남겨 모델의 hallucination을 억제함을 의미한다.

한계점으로는 현재 이미지 기반 검색이 텍스트 기반 검색보다 메모리·연산 비용이 크고, 페이지 수준의 증거가 너무 세분화돼 실제 임상 흐름과의 매핑이 추가적인 후처리를 필요로 한다는 점을 언급한다. 또한, 외부 비가이드라인 증거(예: 최신 논문)와의 통합은 아직 미구현 상태이며, 향후 멀티모달 증거원 확장과 실시간 가이드라인 업데이트 파이프라인 구축이 필요하다.

전반적으로 Oph‑Guid‑RAG는 시각적 가이드라인을 그대로 활용함으로써 의료 현장에서 요구되는 “증거 기반·추적 가능·안전성”을 크게 강화한 사례이며, 라우팅·재순위·필터링이라는 컨트롤러 설계가 RAG 시스템의 실용성을 높이는 핵심 요소임을 실증하였다.