테스트 시 적응을 위한 적응형 디바이싱 Tsallis 엔트로피

초록

본 논문은 CLIP 등 비전‑언어 모델의 테스트‑타임 적응(TTA)에서 흔히 사용되는 Shannon 엔트로피가 데이터 불균형으로 인한 편향을 제대로 반영하지 못한다는 문제를 지적한다. 이를 해결하기 위해 Tsallis 엔트로피를 일반화한 Adaptive Debiasing Tsallis Entropy(ADTE)를 제안한다. ADTE는 각 클래스별로 추정된 라벨 편향을 정규화해 클래스‑특정 비확장 파라미터 q⁽ˡ⁾를 동적으로 계산하고, 이를 기반으로 고신뢰도 뷰를 선택한다. 실험 결과 ADTE는 ImageNet 및 10개의 교차‑도메인 벤치마크에서 기존 최첨단 방법들을 크게 앞서며, 모델 구조와 프롬프트에 독립적인 우수성을 보인다.

상세 분석

이 논문은 테스트‑타임 적응(TTA)에서 불확실성 측정 지표로 Shannon 엔트로피(SE)를 사용하는 기존 방법들의 근본적인 한계를 정확히 짚어낸다. CLIP과 같은 대규모 비전‑언어 모델은 웹 크롤링 데이터의 장기 불균형으로 인해 ‘헤드’ 클래스에 과도하게 높은 확신을, ‘테일’ 클래스에 낮은 확신을 보이는 내재적 편향을 갖는다. 이러한 편향은 확률 분포 p와 실제 무편향 확률 \hat{p} 사이에 큰 차이를 만들며, SE는 p에 직접 로그를 적용해 (-p\log p) 형태로 계산하기 때문에 편향을 보정하지 못한다.

논문은 이를 해결하기 위해 Tsallis 엔트로피(TE)를 도입한다. TE는 비확장 파라미터 q를 추가해
(H_{TE}= \frac{1}{1-q}\sum_{l} p_l^{,q} -1)
와 같이 정의된다. q→1 일 때 SE와 동일해지는 성질을 이용해 TE가 SE의 일반화임을 보이고, q<1이면 TE가 더 낮은 엔트로피 값을 부여해 고신뢰도 뷰를 더 많이 선택한다는 ‘Top‑K Cumulative Reliability’ 실험 결과를 제시한다. 특히, q가 0에 가까워질수록 TE는 (-p\log p)보다 큰 보정값을 제공해, tail 클래스의 과소평가된 확률을 효과적으로 상승시킨다.

하지만 TE의 q를 고정값으로 두면 테스트 데이터의 도메인마다 최적 q가 달라 실용성이 떨어진다. 이를 극복하기 위해 저자는 Adaptive Debiasing Tsallis Entropy(ADTE)를 설계한다. ADTE는 연속적으로 들어오는 테스트 샘플들의 라벨 분포를 추정하고, 이를 min‑max 정규화해 각 클래스 l마다 고유한 q⁽ˡ⁾를 동적으로 산출한다. 이렇게 하면 편향 정도가 큰 tail 클래스는 작은 q⁽ˡ⁾를, 편향이 적은 head 클래스는 q⁽ˡ⁾≈1에 가까운 값을 갖게 되어, 각 클래스에 맞춤형 엔트로피 보정이 이루어진다.

ADTE는 두 단계로 동작한다. 첫째, 무작위 데이터 증강을 통해 N개의 뷰를 생성하고, 각 뷰에 대해 ADTE 기반 엔트로피를 계산한다. 둘째, 엔트로피가 가장 낮은 상위 τ 비율의 뷰를 ‘고신뢰도 뷰’로 선정하고, 이들을 앙상블하거나 로그 조정(Logit Adjustment)과 결합해 최종 예측을 만든다. 로그 조정은 기존 장기‑불균형 학습에서 사용되는 클래스‑별 로그 보정 기법을 차용해, q⁽ˡ⁾와 연계함으로써 추가적인 편향 보정을 제공한다.

실험에서는 CLIP‑ViT‑B/32, CLIP‑ViT‑L/14 등 다양한 아키텍처와, “a photo of {class}”와 같은 여러 프롬프트 변형을 모두 적용했음에도 ADTE가 일관되게 최고 성능을 기록했다. ImageNet‑R, ImageNet‑A, ImageNet‑Sketch, ImageNet‑V2, ImageNet‑C 등 5가지 변형과, Office‑Home, DomainNet, VisDA‑2017 등 10개의 교차‑도메인 벤치마크에서 평균 정확도 향상이 1.5~3.2%p에 달했다. 특히, 기존 TTA 방법인 Zero, TPT, DiffTPT, ML‑TTA와 비교했을 때, 별도의 하이퍼파라미터 튜닝 없이도 동일하거나 더 나은 결과를 얻었다는 점이 큰 강점으로 부각된다.

이론적 분석과 실증적 결과를 종합해 보면, ADTE는 (1) TE가 SE보다 넓은 엔트로피 공간을 제공해 고신뢰도 뷰 선택을 개선하고, (2) 클래스‑별 q⁽ˡ⁾를 자동으로 추정해 데이터 편향을 실시간으로 보정함으로써, 테스트‑타임 적응의 핵심 과제인 ‘불확실성 최소화 + 편향 보정’을 동시에 달성한다는 중요한 통찰을 제공한다.