에너지 효율을 위한 주의 기반 특징 메모리 설계

초록

AttenMLP는 스케일드 닷‑프로덕트 어텐션과 고정‑크기 슬라이딩 버퍼를 결합해, 원시 데이터를 저장하지 않고도 테이블형 데이터 스트림에서 연속 학습을 수행한다. 제한된 메모리와 낮은 전력 소모를 목표로 설계되었으며, 급격·점진적 개념 드리프트 상황에서 기존 SOTA 모델 대비 1‑2 % 수준의 정확도 손실만으로 에너지 사용량을 최대 33 % 절감한다.

상세 분석

AttenMLP는 테이블형 데이터 스트림에 특화된 에너지‑효율 연속 학습(EECL) 프레임워크이다. 핵심 아이디어는 “특징 메모리”를 구축해 과거 샘플의 원시 입력을 보관하지 않고, 대신 고정‑크기 윈도우 W에 저장된 잠재 특징 hₜ,ⱼ(ℝ^{d_h})를 어텐션 메커니즘을 통해 현재 입력 xₜ와 결합하는 것이다.

1. 어텐션 설계: 입력 xₜ에 대해 선형 변환 W_q를 적용해 쿼리 qₜ∈ℝ^{d_h}를 만든다. 버퍼에 저장된 특징 행렬 Hₜ∈ℝ^{W×d_h}에 키 변환 W_k를 적용해 Kₜ∈ℝ^{W×d_h}를 얻고, qₜ·Kₜᵀ로 스코어 sₜ∈ℝ^{W}를 계산한다. 스케일링 1/√{d_h}와 소프트맥스를 거쳐 어텐션 가중치 αₜ를 구하고, 이를 Kₜ에 가중합해 컨텍스트 cₜ∈ℝ^{d_h}를 만든다. 이 과정은 O(B·W·d_h²)의 연산 복잡도를 가지지만, W와 d_h가 고정이면 메모리 사용량은 O(W·d_h)로 스트림 길이에 독립적이다.
2. 버퍼 전략: 논문은 네 가지 버퍼 관리 방식을 제안한다. (a) FIFO는 가장 오래된 특징을 무조건 교체하고, (b) 유사도 기반 전략은 가장 중복된 특징을 제거해 다양성을 유지한다. (c) 게이트형 적응 전략은 사전 정의된 유사도 임계값을 초과할 경우에만 교체하며, (d) FedAvg‑merge는 새로운 특징을 가장 유사한 기존 특징에 가중 평균해 저장한다. 이러한 전략은 메모리 고정과 동시에 중요한 과거 정보를 보존하도록 설계되었다.
3. MLP 백본: 컨텍스트 cₜ와 원본 입력 xₜ를 연결해 𝑥̃ₜ=