다중 클러스터 메모리로 실용적인 테스트 시 적응 향상

초록

본 논문은 실용적인 테스트‑시간 적응(PTTA) 환경에서 기존의 단일 풀 메모리가 목표 분포의 다중 모드 특성을 반영하지 못한다는 점을 지적하고, 경량 픽셀‑레벨 통계 기술자를 이용해 샘플을 여러 클러스터로 조직하는 Multi‑Cluster Memory(MCM) 프레임워크를 제안한다. 클러스터 할당, 인접 클러스터 통합(ACC), 균등 클러스터 검색(UCR)이라는 세 가지 메커니즘을 통해 메모리 용량을 제한하면서도 분포 다양성을 유지한다. RoTTA, PeTTA, ResiTTA와 결합했을 때 CIFAR‑10‑C, CIFAR‑100‑C, ImageNet‑C, DomainNet에서 평균 2.96%의 오류 감소와 최대 5.00%·12.13%의 성능 향상을 달성한다. GMM 기반 진단을 통해 MCM이 균형, 엔트로피, 모드 커버리지 측면에서 단일‑클러스터 메모리보다 우수함을 입증한다.

상세 분석

본 연구는 PTTA 상황에서 테스트 스트림이 시간적으로 연관되고 비 i.i.d. 특성을 가지며, 이러한 스트림이 본질적으로 다중 모드(distributional multimodality)를 띤다는 실증적 증거를 제시한다. 저자들은 슬라이딩 윈도우 내에서 픽셀‑레벨 채널 통계, 공간 평균, 색상 히스토그램 등 세 종류의 기술자를 추출하고, 가우시안 혼합 모델(GMM)을 다양한 K값으로 피팅한 뒤 BIC 기준으로 최적 K를 선택한다. 모든 실험에서 K가 5~10 수준으로, 단일 모드 가정(K=1)이 크게 벗어남을 확인한다. 이 결과는 기존 메모리 기반 TTA 방법이 단일 풀(SCM) 구조를 사용함으로써 목표 분포의 다중 모드를 충분히 포착하지 못한다는 구조적 한계를 드러낸다.

MCM은 이러한 한계를 메모리 조직 자체를 재설계함으로써 해결한다. 핵심 아이디어는 저비용 픽셀‑레벨 채널 평균·분산을 기술자로 삼아, 새 샘플이 들어올 때 가장 가까운 클러스터 중심과의 유클리드 거리를 계산해 할당한다. 거리 임계값 τ를 초과하면 새로운 클러스터를 생성하고, 클러스터당 최대 N개의 샘플만 보관한다. 클러스터가 포화될 경우 기존 RoTTA의 연령·불확실성 기반 교체 점수에 기술자 거리 항을 추가한 H(x) 점수를 사용해 가장 가치가 낮은 샘플을 교체한다. 이는 클러스터 내부의 응집성을 유지하면서도 최신성·불확실성을 반영한다.

메모리 용량이 K_max에 도달하면 인접 클러스터 통합(ACC)이 작동한다. 시간 순서대로 생성된 클러스터 쌍 중 중심 거리 ∆가 최소인 인접 쌍을 선택해 병합하고, 병합된 클러스터에서 불확실성이 가장 낮은 N개의 샘플을 남긴다. 인접 클러스터만 고려함으로써 O(K) 복잡도로 효율적인 통합을 수행하고, 시간적 연속성을 활용해 모드 손실을 최소화한다.

적응 단계에서는 균등 클러스터 검색(UCR)으로 모든 클러스터에서 동일한 수의 샘플을 추출해 미니배치에 포함한다. 이는 특정 모드에 편향된 학습을 방지하고, 전체 분포를 고르게 대표하도록 만든다.

실험에서는 RoTTA, PeTTA, ResiTTA와 MCM을 결합해 12가지 베이스라인‑데이터셋 조합(CIFAR‑10‑C, CIFAR‑100‑C, ImageNet‑C, DomainNet)에서 일관된 성능 향상을 기록했다. 특히 라벨 수가 많고 모드가 복잡한 ImageNet‑C와 DomainNet에서 각각 5.00%와 12.13%의 오류 감소를 달성했다. GMM 기반 메모리 진단에서는 MCM이 클러스터 불균형 비율, 엔트로피, 모드 커버리지 모두에서 거의 최적에 근접함을 보여, 메모리 구조 자체가 적응 품질에 미치는 영향을 정량적으로 입증한다.

이 논문의 주요 기여는 (1) PTTA 스트림이 다중 모드임을 최초로 실증, (2) 경량 픽셀 기술자를 이용한 다중 클러스터 메모리 프레임워크 제안, (3) 클러스터 할당·통합·검색이라는 세 가지 메커니즘을 통해 메모리 용량 제한 하에서도 분포 다양성을 유지, (4) 기존 메모리 기반 TTA 방법에 플러그‑인 형태로 적용 가능함을 입증, (5) 메모리 품질을 GMM 기반 정량 지표로 평가함으로써 구조적 설계가 성능에 미치는 영향을 명확히 규명했다.