노이즈가 섞인 판정자를 위한 영역 정규화 DPO 기반 의료 영상 분할

초록

본 논문은 제한된 라벨 데이터만으로 학습된 기본 세그멘터를, 자동 품질 관리(QC) 신호를 이용한 선호 기반 피드백으로 추가 학습시키는 방법을 제안한다. 기존 DPO는 판정자의 오류에 민감해 성능이 급락할 수 있는데, 저자는 마스크 간 불일치 영역 크기로 업데이트를 정규화하는 Region‑Normalized DPO (RN‑DPO) 를 도입해 위험한 비교의 영향을 감소시키고 학습 안정성을 향상시킨다. 두 의료 데이터셋에서 RN‑DPO가 표준 DPO와 기존 베이스라인을 능가함을 실험적으로 입증한다.

상세 분석

이 연구는 의료 영상 분할에서 “밀집 라벨”의 고비용 문제를 해결하기 위해, 이미 배포된 시스템이 제공하는 저비용 QC 신호를 활용한 선호 기반 미세조정 방식을 탐구한다. 핵심 아이디어는 작은 라벨 집합으로 사전 학습된 기본 세그멘터(πθ)를, 라벨이 없는 이미지에 대해 생성된 여러 후보 마스크를 판정자(Judge)가 점수화한 뒤, 선호 쌍(y⁺, y⁻)을 추출해 DPO 형태의 손실로 미세조정하는 것이다.

하지만 실제 QC 판정자는 노이즈와 편향을 내포한다. 논문은 판정자의 신뢰도(weak vs. strong judge)를 조절하기 위해 별도의 QC 라벨 풀(N_QC)을 사용해 판정자를 학습시킨다. 실험 결과, 판정자의 상위 후보를 베이스 마스크와 직접 비교하는 Top‑vs‑Base 전략은 판정자가 신뢰할 경우 성능을 크게 끌어올리지만, 판정자가 약하면 잘못된 순위가 과도하게 모델을 왜곡한다는 문제를 발견한다.

이를 해결하기 위해 제안된 RN‑DPO는 기존 DPO가 전체 이미지 영역(Ω)으로 정규화된 로그우도 비율 Δθ를 사용하는 반면, 불일치 영역 R = {i | y⁺_i ≠ y⁻_i} 에만 정규화된 로그우도 비율 Δ_Rθ를 사용한다. 수식적으로 Δθ = (|R|/|Ω|)·Δ_Rθ 이므로, 기존 DPO는 불일치 영역이 작을 때 업데이트가 과소평가되고, 반대로 영역이 클 때(특히 노이즈가 섞인 경우) 업데이트가 과대평가된다. RN‑DPO는 |R|에 의존하지 않음으로써, 큰 불일치가 모델에 미치는 영향을 억제하고, 미세한 차이에서도 충분한 학습 신호를 유지한다.

또한, 다중 라벨/다중 클래스 상황에서도 각 클래스별로 R_c를 정의해 동일한 정규화 절차를 적용한다. 실험에서는 두 데이터셋(JRST – 흉부 X‑ray 다중 라벨, ACDC – 심장 MRI 다중 클래스)에서 다양한 베이스 세그멘터 강도와 판정자 강도를 조합해 4가지 마이닝 전략(Top‑vs‑Base, Top‑vs‑Random, Threshold, Random)을 평가하였다. 결과는 다음과 같다.

1. 성능 안정성: RN‑DPO는 특히 약한 판정자와 Threshold/Random 마이닝 조합에서 급격한 성능 저하를 방지하고, 평균 Dice 점수가 3~5% 상승하였다.
2. 피크 성능: 강한 판정자와 Top‑vs‑Base 전략에서는 RN‑DPO가 기존 DPO보다 높은 최고 Dice를 기록했으며, 이는 판정자의 정확한 순위 정보를 충분히 활용하면서도 큰 불일치에 의한 과도한 업데이트를 억제했기 때문이다.
3. 학습 수렴: 손실 곡선이 더 부드럽게 감소하고, epoch당 변동성이 감소해 최적화 안정성이 향상되었다.

또한, RN‑DPO는 추가적인 픽셀 라벨 없이도 기존 베이스라인(예: pseudo‑label 필터링, 앙상블 기반 선택)보다 일관된 이득을 제공한다. 이론적 관점에서는 DPO의 KL‑정규화 해석과 연결해, 지역 정규화가 실제로 “샘플당 정보량”을 균등하게 만든다고 볼 수 있다. 따라서 RN‑DPO는 의료 영상처럼 불균형하고 고해상도인 픽셀 공간에서, 노이즈가 섞인 비교 신호를 안전하게 활용할 수 있는 실용적인 프레임워크라 할 수 있다.