LLM을 위한 층별 동적 테스트 시점 적응

초록

본 논문은 프롬프트 하나만을 이용해 수행되는 비지도, 샘플별 테스트‑시점 적응(TTA)의 불안정성을 해결하기 위해, 각 트랜스포머 층과 적응 단계마다 학습률을 동적으로 조절하는 경량 하이퍼네트워크인 SCALE‑NET을 제안한다. LoRA 파라미터만을 업데이트 대상으로 삼아 효율성을 유지하면서, 하이퍼네트워크가 예측한 층‑별 스케일러를 통해 과도한 업데이트를 억제하고, 초기 단계에서는 강력한 적응을 가능하게 한다. 다양한 LLM과 데이터셋에 대한 실험에서 기존 고정 학습률 방식보다 안정성과 성능이 크게 향상됨을 보였다.

상세 분석

이 연구는 대규모 언어 모델(LLM)의 테스트 시점 적응을 “비지도·샘플‑특정”이라는 매우 제한된 설정으로 정의한다. 즉, 각 프롬프트 x에 대해 정답 y를 전혀 사용하지 않고, 프롬프트 자체만으로 몇 차례의 그래디언트 스텝을 수행한다. 기존의 고정 학습률 방식은 프롬프트마다 통계가 크게 다르기 때문에, 일부 층에서는 과도한 업데이트가 발생하고 다른 층에서는 변화가 미미해 전체적인 불안정성을 초래한다. 이를 해결하기 위해 저자는 두 가지 핵심 아이디어를 도입한다. 첫째, 파라미터 업데이트 대상은 LoRA 방식으로 제한한다. LoRA는 원본 가중치를 고정하고 저차원 행렬 B·A만 학습하므로 메모리와 연산 비용이 크게 감소한다. 둘째, 학습률 자체를 동적으로 조절한다. 하이퍼네트워크 Hψ, 즉 SCALE‑NET은 입력 프롬프트 x와 현재 적응 단계 k, 전체 단계 K를 받아 각 트랜스포머 층 ℓ에 대한 스칼라 s(k)ℓ≥0를 출력한다. 최종 업데이트 식은 ϕℓ(k+1)=ϕℓ(k)−η·s(k)ℓ·∇ϕℓ