시간제한 적응의 진실: Tempora로 보는 테스트‑타임 어댑테이션 효용

초록

**
Tempora는 테스트‑타임 어댑테이션(TTA)의 정확도와 지연 사이 트레이드오프를 정량화하는 프레임워크이다. 하드 데드라인, 지연 페널티, 예산 제한 등 세 가지 시간‑제약 시나리오를 정의하고, 각각에 맞는 유틸리티 메트릭을 제시한다. ImageNet‑C에서 7가지 TTA 방법을 240가지 조건으로 평가한 결과, 기존 오프라인 정확도 순위가 시간 압력 하에서는 크게 변동함을 보여준다.

**

상세 분석

**
Tempora는 기존 TTA 평가가 “무한히 긴 처리 시간”을 전제한다는 근본적인 한계를 짚고, 실제 서비스 환경에서 필수적인 ‘정확도 + 시간’이라는 복합 목표를 측정하도록 설계되었다. 논문은 먼저 데이터 스트림을 (xᵢ, tᵢ) 형태의 시계열로 모델링하고, 각 배치가 도착하는 시점 tᵢ와 모델이 예측을 완료하는 데 걸리는 지연 δᵢ를 명시한다. 이를 기반으로 세 가지 시간‑제약 시나리오를 정의한다.

1. Discrete Utility (하드 데드라인) – 배치가 고정 간격 γ 로 도착하고, 파이프라인이 바쁠 경우 최신 배치만 처리한다. 기존 Alfarra et al. (2024)의 프로토콜을 개선해 버퍼를 도입, 배치 손실을 정확히 측정한다. 유틸리티는 정확도와 가용성 α(처리된 배치 비율)의 곱으로 정의된다.

2. Continuous Utility (지연 페널티) – 사용자‑주도 인터랙션을 가정하고, 예측 지연이 클수록 가치가 하이퍼볼릭하게 감소한다. 유틸리티는 Σ aᵢ · κ/(δᵢ+κ) 형태로, κ는 지연에 대한 민감도 파라미터다. 이 메트릭은 “조금 늦어도 괜찮다”는 상황을 정량화한다.

3. Amortised Utility (예산 제한) – 전체 시스템이 일정한 연산 예산 B 를 가지고 있으며, 예산이 소진될 때까지는 TTA를 적용하고 이후에는 고정된 베이스라인 모델만 사용한다. 유틸리티는 (예산 사용 단계의 평균 정확도 · 가중치 + 베이스라인 단계의 평균 정확도 · (1‑가중치)) 로 계산된다.

각 시나리오마다 Evaluation Protocol을 제시한다. 프로토콜은 (시작 시점 sⱼ, 종료 시점 fⱼ) 로 정의된 처리 이벤트 시퀀스를 시뮬레이션하고, 배치 도착 시점과 겹치는 경우 버퍼에 저장하거나 건너뛰는 로직을 명시한다. 이를 통해 실제 시스템에서 발생할 수 있는 ‘idle time’이나 ‘batch starvation’을 정밀히 측정한다.

실험에서는 ResNet‑50 기반 ImageNet‑C(15개 변형) 위에 7가지 대표적인 Fully‑TTA 방법(ETA, AdaBN, NEO, SHOT‑IM 등)을 적용했다. 16개의 시간‑제약 파라미터(γ, κ, B 등)를 조합해 총 240개의 평가 셋을 구성하였다. 주요 발견은 다음과 같다.

• Rank Instability: 오프라인(무제한 시간)에서 최고 성능을 보인 ETA가 41.2%(99/240) 경우에서 최상위 유틸리티를 놓쳤으며, 평균 유틸리티는 19.3% 수준으로 떨어졌다. 이는 기존 논문이 보고하는 ‘state‑of‑the‑art’가 실제 배포 환경에서는 보장되지 않음을 의미한다.
• Corruption‑Specific Trade‑offs: 연속 시나리오에서 50 ms 응답 창을 적용했을 때, 밝기 변형에서는 오프라인 순위와의 스피어만 상관계수가 –0.74 로 매우 부정적이었지만, 가우시안 노이즈에서는 +0.21 로 거의 무관했다. 이는 변형마다 특징 왜곡 정도가 다르고, TTA 방법이 일관된 연산량을 할당하기 때문에 발생한다.
• Pressure‑Specific Trade‑offs: 예산 제한 시에는 SHOT‑IM이 엄격한 B(1K)에서 우세했지만, B가 4K 로 완화되면 ETA가 다시 우위를 차지한다. 압력이 완화될수록 오프라인 순위와의 상관계수 rₛ가 0.32 → 0.96 로 급격히 상승한다.

또한, 논문은 Utility Decomposition을 통해 각 방법이 ‘missed batches’, ‘latency penalty’, ‘overhead waste’ 중 어느 요소에서 손해를 보는지 시각화하였다. 이 분석은 연구자에게 연산 효율성을 개선할 구체적 방향을 제시하고, 실무자에게는 배치 특성(예: 변형 종류, 도착 간격)과 시스템 제약(예산, 응답 요구) 기반으로 적절한 TTA 방법을 선택하도록 돕는다.

마지막으로 Tempora는 기존 평가 파이프라인에 쉽게 플러그인할 수 있도록 설계되었으며, 다른 백본, 데이터셋, 혹은 비공변량 시프트에도 확장 가능함을 강조한다.

**