의료 영상 점 기반 객체 검출을 위한 DExTeR

초록

DExTeR는 의료 영상에서 비용이 높은 박스 라벨 대신 단일 포인트 라벨을 활용해 약한 반감 학습(Weakly Semi‑Supervised) 객체 검출을 수행한다. 클래스‑가이드 변형 주의와 클래스·인스턴스·공통 지식 전문가(CLICK‑MoE)를 결합해 포인트‑투‑박스 변환 정확도를 크게 높였으며, 다중 포인트 학습 전략으로 포인트 위치 의존성을 완화한다. 세 가지 의료 데이터셋(내시경, 흉부 X‑ray, 내시경 초음파)에서 최첨단 성능을 달성한다.

상세 분석

본 논문은 의료 영상 특유의 겹침, 크기 변동, 구조적 얇음 등으로 인해 기존 Point‑to‑Box 교사 모델이 생성하는 가짜 박스가 부정확해지는 문제를 해결하고자 한다. 첫 번째 핵심 기여는 ‘클래스‑가이드 변형 주의(Class‑guided MSDA)’이다. 기존 Deformable DETR의 MSDA는 레퍼런스 포인트만을 이용해 다중 스케일 피처를 샘플링하지만, 여기서는 포인트 쿼리 자체에 포함된 클래스 임베딩을 레퍼런스로 활용한다. 클래스별 평균 크기·형태 정보를 사전에 학습함으로써, 동일 클래스 내에서의 샘플링 영역을 보다 효율적으로 조정하고, 인접하거나 겹치는 인스턴스 간의 혼동을 감소시킨다.

두 번째 기여는 CLICK‑MoE(클래스·인스턴스·공통 지식 전문가 혼합)이다. 기존 DETR 디코더는 모든 쿼리에 동일한 FFN을 적용해 클래스·인스턴스 특성을 구분하기 어렵다. CLICK‑MoE는 세 가지 전문가 네트워크를 병렬로 두고, 각 쿼리마다 가중치 게이트를 통해 공통, 클래스‑특화, 인스턴스‑특화 출력을 혼합한다. 공통 전문가(기본 FFN)는 전반적인 시각적 패턴을 포착하고, 클래스 전문가는 클래스 임베딩을 조건으로 하여 클래스별 특징(예: 혈관 vs. 종양)을 강조한다. 인스턴스 전문가는 동적으로 생성되는 파라미터(예: 포인트 위치 기반 어텐션 가중치)를 사용해 동일 클래스 내에서도 개별 인스턴스를 구분한다. 이 구조는 특히 겹쳐 있는 해부학적 구조에서 인스턴스 간 경계 흐림을 크게 완화한다.

세 번째 기여는 ‘다중 포인트 학습 전략’이다. 학습 단계에서 각 인스턴스당 N개의 무작위 포인트를 샘플링하고, 각 포인트를 독립적인 쿼리 그룹으로 처리한다. 그룹 간 상호작용을 차단하고 병렬 디코딩함으로써, 모델은 동일 인스턴스에 대해 다양한 포인트 위치에서도 일관된 박스 예측을 학습한다. 이는 실제 추론 시 단일 포인트만 제공되더라도, 포인트 위치에 대한 민감도가 크게 감소함을 의미한다.

실험에서는 Endoscapes, VinDr‑CXR, EUS‑D130 세 데이터셋을 사용해, 제한된 박스 라벨(10%20%)과 나머지는 포인트 라벨만으로 학습했을 때 기존 Point‑DETR, Group R‑CNN, PBC 등 대비 mAP가 평균 46%p 상승하였다. 특히 작은 구조(예: 혈관 분기점)와 겹치는 구조(예: 위·십이지장 경계)에서 눈에 띄는 개선을 보였다. Ablation study를 통해 각 구성 요소(클래스‑가이드 MSDA, CLICK‑MoE, 다중 포인트) 각각이 독립적으로 성능 향상에 기여함을 확인하였다.

전체적으로 DExTeR는 의료 영상에서 비용 효율적인 라벨링을 가능하게 하면서도, 기존 Transformer‑기반 검출기의 수렴 속도와 위치 민감도 문제를 효과적으로 해결한다는 점에서 의미가 크다.