다중평가자 주석을 활용한 현미경 객체 검출기 보정

초록

본 연구는 현미경 이미지에서 객체 검출 모델의 신뢰성을 높이기 위해 두 명의 전문가가 제공한 별도 주석을 각각 학습시킨 후, 이들 모델을 앙상블하여 합의 기반 예측을 생성하는 방법을 제안한다. 제안된 ‘Rater‑Specific Ensemble(RSE)’은 라벨 샘플링 방식(LSE)보다 기대 보정 오차(D‑ECE)를 크게 감소시키면서 검출 정확도(mAP)는 유지한다.

상세 분석

이 논문은 현미경 영상 분석에서 흔히 발생하는 ‘알레아트릭 불확실성’을 다중평가자 주석을 통해 정량화하고, 이를 모델 보정에 활용하는 새로운 패러다임을 제시한다. 기존 연구들은 주석을 무작위로 섞어 학습하거나, 서로 다른 라벨 서브셋을 이용해 딥 앙상블을 구성했지만, 본 연구는 각 평​가자의 고유한 라벨링 편향을 그대로 보존한 모델을 별도로 학습한다는 점에서 차별화된다.

핵심 아이디어는 두 단계로 이루어진다. 첫째, 동일한 사전학습된 Mask‑R‑CNN 백본을 사용해 ‘Rater‑Specific(RS)’ 모델을 각각의 평​가자 주석만으로 미세조정한다. 이렇게 하면 각 모델은 해당 평​가자의 주관적 기준—예를 들어, 작은 유기체를 포함시킬지 여부, 경계선 정의 방식—을 학습하게 된다. 둘째, 추론 단계에서 이들 모델을 ‘그룹화 기반’ 앙상블 방식으로 결합한다. 구체적으로, 서로 다른 모델이 예측한 박스들을 IoU 기준(λ=0.5)으로 클러스터링하고, 각 클러스터에 대해 모든 모델의 신뢰도 점수를 0을 포함한 평균으로 계산한다. 이는 한 모델만이 검출한 경우에도 낮은 평균 신뢰도를 부여해, 평​가자 간 의견 차이가 큰 영역에 대해 자연스럽게 불확실성을 반영한다.

보정 성능 평가는 ‘Detection Expected Calibration Error(D‑ECE)’를 사용한다. D‑ECE는 신뢰도 구간별 평균 정밀도와 평균 신뢰도 차이를 절대값으로 합산한 지표로, 값이 작을수록 모델이 잘 보정된 것으로 해석된다. 실험 결과, 20개 모델을 포함한 RSE는 D‑ECE 0.08을 기록했으며, 동일 규모의 LSE는 0.15로 약 두 배 높은 오차를 보였다. 흥미롭게도, 앙상블 규모를 늘려도 D‑ECE 감소는 미미했는데, 이는 모든 개별 모델이 동일한 사전학습 체크포인트에서 파인튜닝되어 모델 다양성이 제한됐기 때문이다.

성능 측면에서는 mAP와 mAR이 두 앙상블 모두 거의 동일하게 유지되었다(≈0.45~0.46). 이는 라벨링 편향을 보존하면서도 합의 기반 예측을 만들 경우, 검출 정확도가 손실되지 않음을 의미한다. 또한 부트스트랩 검증을 통해 모델 간 성능 변동이 매우 낮으며, 통계적으로 유의미한 차이가 없음을 확인했다.

한계점으로는 데이터셋 규모가 작고 평​가자 수가 두 명에 불과하다는 점을 들었다. 이는 실제 임상 현장에서 다중평가자 주석을 확보하기 어려운 현실을 반영하지만, 더 많은 평​가자와 대규모 데이터가 확보될 경우 보다 정교한 알레아트릭 불확실성 모델링이 가능할 것으로 기대된다. 또한 현재는 파인튜닝 기반이므로 모델 초기화 다양성을 활용한 전통적인 딥 앙상블 효과를 충분히 누리지 못한다는 점도 언급한다. 향후 연구에서는 초기 가중치를 무작위로 설정하거나, 라벨링 편향을 명시적으로 모델링하는 베이지안 접근법과 결합해 보정 성능을 더욱 향상시킬 여지가 있다.

요약하면, 다중평가자 주석을 개별 모델에 그대로 반영하고, 이를 신뢰도 기반으로 평균화하는 RSE 방식은 현미경 객체 검출에서 신뢰도 보정(ECE) 문제를 효과적으로 해결하면서 검출 정확도는 유지하는 실용적인 해결책이다. 이는 의료 영상 AI의 신뢰성을 높이는 데 중요한 단계이며, 향후 다양한 바이오이미징 분야에 적용 가능할 것으로 보인다.