효율적인 테스트 시점 적응을 위한 잠재 서브스페이스 계수 탐색

초록

ELaTTA는 모델 가중치를 고정하고, 사전 계산된 주성분 잠재 서브스페이스에서 저차원 계수를 탐색해 테스트 시점에 예측 엔트로피를 최소화한다. CMA‑ES 기반의 무그라디언트 최적화로 단일 입력에만 적용 가능하며, 메모리·연산 비용을 크게 절감하면서도 6개 벤치마크에서 최첨단 정확도를 달성한다.

상세 분석

본 논문은 에지 디바이스의 제한된 연산·메모리 환경을 고려한 새로운 테스트‑시점 적응(TTA) 프레임워크인 ELaTTA를 제안한다. 기존 TTA 방법들은 백프로파게이션, 활성화 버퍼링, 미니배치 의존성 등으로 인해 실시간 단일 샘플 처리에 부적합한 경우가 많았다. ELaTTA는 이러한 문제를 “가중치 업데이트 대신 잠재 공간에서의 좌표 이동”이라는 전혀 새로운 관점으로 해결한다. 구체적으로, 사전 단계에서 소수(N≈20)의 소스 도메인 샘플을 인코더에 통과시켜 얻은 잠재 벡터들을 행렬 Zₛ에 쌓고, 트렁케이티드 SVD를 수행해 상위 k개의 주성분 Vₖ (D×k)를 추출한다. 이 Vₖ는 소스 데이터의 주요 변동성을 포착하는 저차원 서브스페이스이며, 디바이스에 0.01% 수준의 메모리만 차지한다.

테스트 시점에는 입력 x를 인코더로부터 잠재 zₜ=Enc(x)를 얻고, zₜ에 Vₖ·p를 더해 적응된 잠재 zₐₚₜ= zₜ+Vₖp를 만든다. 여기서 p∈ℝᵏ는 최적화 대상인 계수 벡터이다. 목표 함수는 예측 엔트로피 H(Cls(zₐₚₜ))를 최소화하는 것이지만, 단일 점에서의 엔트로피 최소화는 결정 경계 근처에서 불안정하고 확인 편향(confimation bias)을 초래한다. 이를 보완하기 위해 논문은 “가우시안 스무딩된 엔트로피” J(m,Σ)=E_{p∼N(m,Σ)}