의료문서 이해와 파싱을 위한 비전언어 모델 MeDocVL

초록

MeDocVL는 복잡한 레이아웃과 도메인 특화 용어가 존재하는 의료 문서 OCR에서 발생하는 노이즈를 극복하기 위해 설계된 쿼리 기반 문서 파싱 모델이다. 핵심은 (1) Training‑driven Label Refinement(TLR)로 불완전한 라벨을 고품질 라벨로 정제하고, (2) Noise‑aware Hybrid Post‑training(NHP)으로 강화학습과 지도학습을 결합해 노이즈에 강인한 추출 능력을 확보한다는 점이다. 실험 결과, 의료 청구서 벤치마크에서 기존 OCR 및 최신 VLM 대비 현저히 높은 필드‑레벨 정확도를 달성하였다.

상세 분석

MeDocVL는 의료 문서와 같은 고정밀이 요구되는 도메인에서 기존 파이프라인 기반 OCR와 최신 멀티모달 모델이 갖는 한계를 체계적으로 보완한다. 첫 번째 핵심 기술인 Training‑driven Label Refinement(TLR)는 소량의 전문가 라벨(클린 데이터)을 기반으로 OCR·MLLM이 생성한 잡음 라벨을 구조화된 프롬프트 형태로 변환하고, 이를 정제 모델에 학습시켜 시스템 고유의 오류 패턴을 학습한다. 여기서 중요한 점은 잡음을 완전히 제거하려는 것이 아니라, 오류의 통계적 특성을 추출해 “정제된” 라벨을 생성함으로써 downstream 학습에 안정적인 신호를 제공한다는 것이다. TLR은 세 단계(프라임 라벨 생성·프롬프트 합성, 오류 교정 증류, 대규모 정제 및 필터링)로 구성되며, 특히 프라임 라벨을 그대로 보존하면서 오류만을 강조하는 프롬프트 설계가 모델이 실제 현장 오류를 인식하고 교정하도록 유도한다.

두 번째 핵심인 Noise‑aware Hybrid Post‑training(NHP)은 정제된 데이터와 클린 데이터를 순차적으로 활용한다. 먼저 강화학습(RL) 단계에서 정제 데이터에 대해 필드‑레벨 정확도를 보상하는 토큰‑와이즈 보상을 설계한다. 이 보상은 GRPO(token‑wise) 방식으로, 각 토큰의 정답 여부와 신뢰도 가중치를 반영해 정확히 매치되는 필드만 높은 보상을 받게 함으로써 노이즈에 대한 과적합을 방지한다. 이후 Supervised Fine‑Tuning(SFT) 단계에서 클린 데이터만을 사용해 출력 포맷과 도메인 용어 사용을 정교화한다. 이렇게 두 단계가 결합되면, 모델은 노이즈에 강인하면서도 최종 추론 시에는 OCR 수준의 정확도를 유지한다.

또한 MeDocVL는 백본에 구애받지 않는 설계로, Qwen‑2.5‑VL 같은 최신 멀티모달 백본을 파라미터 효율적인 방법으로 적응시킨다. 토큰‑와이즈 GRPO 목표는 기존 시퀀스‑레벨 RL보다 미세한 오류를 직접 최소화할 수 있어, 의료 청구서와 같이 한 글자 오차가 전체 필드 무효화를 초래하는 상황에 적합하다. 실험에서는 노이즈 레벨을 인위적으로 조절한 ablation study를 통해 TLR과 NHP 각각이 성능 향상에 기여함을 입증했으며, 공개된 의료 청구서 데이터셋에서 평균 Exact Match 점수가 기존 최고 성능을 4~5%p 상회했다.

요약하면 MeDocVL는 (1) 라벨 정제 단계에서 시스템 고유의 오류를 학습하고, (2) 강화학습과 지도학습을 결합한 잡음 인식 학습으로 정제된 라벨의 불확실성을 보완하며, (3) 토큰‑와이즈 보상 설계로 필드‑레벨 정확성을 극대화한다는 세 가지 혁신적인 요소를 통해 의료 문서 파싱에서 새로운 기준을 제시한다.