구강영상 분석을 위한 반복적 대칭 인식 에이전트 OralGPT 플러스

초록

OralGPT‑Plus는 파노라마 치과 X‑ray를 단계별로 검토하고 좌우 대칭을 활용해 미세 병변을 찾아내는 에이전트형 비전‑언어 모델이다. 5천 장의 DentalProbe 데이터와 재검토 기반 강화학습을 통해 도구(Zoom‑In, Mirror‑In) 사용을 학습하고, 새로 만든 MMOral‑X 벤치마크에서 기존 탐지·VLM 모델보다 일관된 성능 향상을 보였다.

상세 분석

이 논문은 파노라마 치과 방사선 사진의 특수성을 고려한 에이전트형 비전‑언어 모델 설계와 학습 파이프라인을 제시한다. 첫 번째 핵심은 대칭 구조를 명시적으로 활용하는 “Mirror‑In” 도구이다. 기존 VLM은 단일 패스에서 전체 이미지를 해석하지만, 구강 영상은 좌우 대칭이 강하게 나타나므로 대칭 부위를 동시에 비교하면 미세한 병변을 더 정확히 식별할 수 있다. 논문은 좌우 대칭을 수학적으로 정의하고, 이미지 폭을 기준으로 좌우 반전된 영역을 추출해 도구로 제공한다.

두 번째 기여는 DentalProbe 데이터셋이다. 4개의 공개 파노라마 데이터와 자체 수집 데이터를 결합해 5 000장의 이미지를 구성하고, 각 이미지에 대해 전문가가 설계한 진단 궤적을 8 000회 이상 수집한다. 궤적은 전역 검토 → 의심 부위 제시 → Zoom‑In → 필요 시 Mirror‑In → 최종 진단 순서로 구성되며, 자동화된 규칙 기반 생성 후 다중 에이전트 검증과 언어 재작성 과정을 거쳐 고품질을 확보한다.

세 번째는 재검토‑주도 강화학습 프레임워크이다. 단순 0/1 보상 대신 루브릭 기반 연속 보상을 도입해 진단 완전성, 정확도, 설명성 등을 점수화한다. 또한 “조건부 진단‑주도 보상”을 통해 모델이 충분히 높은 루브릭 신뢰도를 얻었을 때만 추가 검사를 허용함으로써 불필요한 탐색을 억제한다. 두 보상을 하이브리드 방식으로 결합해 장기 의사결정 안정성을 확보한다.

학습 단계는 먼저 언어 모듈을 전체 파라미터로 SFT(슈퍼파인 튜닝)하고, 비전 인코더와 프로젝터는 고정한다. 이렇게 하면 시각적 특징은 변하지 않으면서 도구 사용과 논리적 추론에 집중할 수 있다. 이후 강화학습 단계에서는 PPO 기반 정책 최적화를 적용했으며, 에피소드당 최대 10 단계까지 행동‑관찰‑생각 루프를 수행한다.

평가를 위해 만든 MMOral‑X 벤치마크는 300개의 개방형 질문과 영역 레벨 어노테이션을 포함하며, 난이도별(쉬움·보통·어려움)로 구분된다. 실험 결과 OralGPT‑Plus는 기존 YOLO 기반 탐지기, 단일 패스 VLM(LLaVA 등)보다 평균 정확도와 설명 점수에서 5~12%p 상승했으며, 특히 미세 병변(초소형 충치, 근단 주위 염증) 탐지에서 큰 이점을 보였다. 또한 재검토 정책이 적용된 모델은 불필요한 확대 행동을 30% 이상 감소시켜 추론 효율성을 높였다.

전체적으로 이 연구는 치과 영상 진단에 필요한 “반복적·대칭적” 사고 과정을 모델에 명시적으로 부여하고, 이를 데이터와 보상 설계로 뒷받침함으로써 기존 정적 VLM의 한계를 극복했다. 향후 다른 대칭 구조를 갖는 의료 영상(예: 양측 대칭 뇌 MRI)에도 확장 가능성이 크다.