적응형 앵커 정렬 기반 테스트 시점 적응으로 이미지 분할 성능 향상

초록

A3‑TTA는 테스트 시점에 도메인 변화를 겪는 이미지 분할 모델을 원본 파라미터를 유지하면서 실시간으로 적응시키는 프레임워크이다. 클래스 컴팩트 밀도(CCD) 점수를 이용해 고신뢰도 “앵커‑타깃 이미지”(ATI)를 선정하고, 이들을 동적 특징 뱅크에 저장해 새로운 테스트 이미지와 정렬한다. 정렬된 특징을 바탕으로 경계 인식 엔트로피 최소화와 의미 일관성 손실을 결합한 의사라벨을 생성하고, 교차 엔트로피 기반의 자기 적응 EMA 교사‑학생 구조로 모델을 안정적으로 업데이트한다. 의료 및 자연 이미지에서 평균 Dice를 10~17%p 향상시키며 연속 도메인 적응에서도 망각을 최소화한다.

상세 분석

A3‑TTA는 기존 테스트‑시점 적응(TTA) 방법이 안고 있던 두 가지 근본적인 한계를 동시에 해결한다. 첫째, 기존 의사라벨 기반 접근은 드롭아웃, 데이터 증강, 가우시안 노이즈 등 확률적 교란에 의존해 라벨 품질이 불안정하고, 도메인 간 특징 정렬이 부족해 오류 누적과 급격한 성능 저하가 발생한다. 둘째, 배치 정규화(BN) 기반 방법은 통계만 교체하기 때문에 대규모 도메인 변이에서는 충분히 적응하지 못한다. A3‑TTA는 이러한 문제를 ‘앵커‑타깃 이미지(ATI)’라는 개념으로 재구성한다. CCD(Class Compact Density) 점수는 각 이미지의 소프트맥스 출력에 대한 클래스‑레벨 유사도 행렬을 외적하여 얻으며, 대각선 성분이 크게 집중될수록 점수가 낮아 신뢰도가 높다고 판단한다. 이 점수는 단일 전방패스만으로 계산되므로 연산 비용이 거의 없으며, 픽셀‑레벨 엔트로피와 달리 전역적인 클래스 구분도를 반영한다.

선별된 ATI는 고정 용량 L의 동적 특징 뱅크에 저장된다. 새로운 테스트 이미지가 들어오면, 해당 이미지의 특징 벡터와 뱅크 내 모든 앵커 특징 간 코사인 유사도를 계산해 가장 유사한 앵커를 선택한다. 선택된 앵커와 현재 특징을 단순 가중 평균 후 L2 정규화를 수행함으로써 ‘특징 정렬(feature alignment)’을 구현한다. 이 과정은 소스‑도메인과 타깃‑도메인 사이의 중간 분포를 형성하므로, 이후 의사라벨 생성 시 잡음이 크게 감소한다.

의사라벨은 두 가지 보조 손실로 정제된다. 첫째, 의미 일관성 손실(L_sem)은 교사‑학생 모델 간 예측을 KL‑다이버전스로 최소화해 클래스 구조를 유지한다. 둘째, 경계 인식 엔트로피 최소화(L_be)는 픽셀‑레벨 엔트로피에 경계 감쇠 가중치를 곱해 경계 부근의 불확실성을 억제한다. 이는 특히 의료 영상에서 작은 구조와 경계가 중요한 상황에 효과적이다.

안정적인 업데이트를 위해 A3‑TTA는 평균 교사(mean‑teacher) 구조에 자기 적응 EMA(Exponential Moving Average) 비율을 도입한다. EMA 비율 α_t는 현재 교사와 학생 예측 간 정규화 교차 엔트로피 차이로 동적으로 조정된다; 도메인 변이가 크면 α_t를 크게 하여 빠른 적응을, 예측이 안정되면 α_t를 작게 하여 급격한 파라미터 변동을 방지한다. 이 메커니즘은 단일 패스 학습에서도 급격한 파라미터 흔들림을 최소화하고, 연속적인 도메인 전환 상황에서도 ‘망각( forgetting)’을 억제한다.

실험 결과는 세 가지 측면에서 설득력을 갖는다. 의료 분야에서는 심장 구조와 전립선 데이터셋에서 각각 평균 Dice를 10.40%p, 17.68%p 상승시켰으며, 기존 TTA 방법들(TENT, PTBN, UPL‑TTA, CoTT‑A 등)을 모두 앞섰다. 자연 이미지에서는 Cityscapes의 악조건 버전(Adverse Conditions Dataset)에서 DeepLabV3+ 기반 모델에 적용했을 때 Dice를 16.90%p 개선하였다. 또한 연속 TTA 시나리오에서 4개의 서로 다른 타깃 도메인을 순차적으로 적응시켰을 때, 성능 저하가 거의 없으며, 기존 방법이 보이는 급격한 성능 감소와 대비된다.

요약하면, A3‑TTA는 (1) CCD 기반 신뢰도 평가로 고품질 앵커를 자동 선택, (2) 동적 특징 뱅크와 유사도 기반 정렬로 소스‑타깃 간 분포 차이를 완화, (3) 의미 일관성과 경계‑인식 손실로 의사라벨 품질을 강화, (4) 교차 엔트로피 기반 자기 적응 EMA로 학습 안정성을 확보한다는 네 가지 핵심 설계가 결합된 프레임워크이다. 이 설계는 라벨 노이즈와 도메인 불일치 문제를 동시에 완화함으로써, 실시간 의료 및 자율주행 등 실시간 고신뢰도 분할이 요구되는 응용 분야에 매우 적합하다.