조건부 저차원 패치 전문가로 구현한 Attractor Patch Networks

초록

본 논문은 Transformer의 위치별 Feed‑Forward Network(FFN)를 대체하는 Attractor Patch Network(APN)를 제안한다. APN은 학습된 프로토타입으로 토큰을 라우팅하고, 선택된 소수(k)개의 패치 전문가가 저차원 코드에 기반한 저‑랭크 잔차를 출력한다. 이 구조는 컨텍스트별 특화와 파라미터 업데이트의 지역화를 통해 연산 효율성을 높이고, 지속적 학습 시 파라미터 간 간섭을 크게 감소시킨다. 문자‑레벨 언어 모델링 실험에서 기존 FFN 대비 비슷한 퍼플렉시티를 유지하면서, 도메인 전이 적응 시 보존력과 적응력이 각각 2.6배·2.8배 향상되었다는 결과를 제시한다.

상세 분석

APN은 기존 FFN이 수행하던 d→d 변환을 동일한 입출력 형태로 유지하면서, 내부를 “패치 전문가 집합”으로 분해한다. 먼저 토큰 표현 h를 LayerNorm 후 정규화하고, K개의 프로토타입 p_i와 내적을 통해 스코어 s_i를 계산한다. 온도 τ에 의해 스케일된 스코어는 소프트맥스로 정규화돼 top‑k 인덱스 K(h)와 가중치 w_i를 만든다. 여기서 핵심은 라우팅이 토큰을 고정된 K개의 영역 중 몇 개에만 할당함으로써 파라미터 사용을 희소화한다는 점이다.

각 패치 i는 공유 투영 행렬 V∈ℝ^{d×r} (r≪d)로부터 코드 u=Vᵀ·LN(h)∈ℝ^{r}를 얻고, 이를 a_i·u+b_i와 시그모이드 σ를 거쳐 게이팅된 피처 ϕ_i = u⊙σ(a_i⊙u+b_i) 로 변환한다. 이후 저‑랭크 디코더 U_i∈ℝ^{d×r}와 곱해 Δ_i = U_i·ϕ_i 를 만든다. 최종 잔차는 γ·∑_{i∈K(h)} w_i·Δ_i 로 합산되어 h에 더해진다.

수학적으로 APN은 “조각별(low‑rank) 잔차 함수 클래스”이며, 토큰당 유효 랭크는 최대 k·r 로 제한된다. 이는 전역 FFN가 필요로 하는 d·4d 규모의 고차원 매핑을, 여러 패치가 서로 다른 저‑랭크 서브스페이스를 담당하도록 분산시켜 파라미터 효율성을 높인다.

연속 학습 관점에서 APN은 업데이트 표면을 활성 패치와 그 디코더에만 국한한다. 두 컨텍스트 A, B가 활성 패치 집합 K_A, K_B를 가질 때, 간섭 정도는 |K_A∩K_B|/k 로 정의된다. K와 k를 적절히 조절하면 평균 간섭을 크게 낮출 수 있다. 또한 γ, ‖U_i‖_F, 업데이트 시 엔트로피 기반 게이팅 등으로 업데이트 규모를 제한함으로써 학습 안정성을 확보한다.

실험에서는 Shakespeare 문자‑레벨 데이터에 APN을 적용해 기존 dense FFN(4.32 PPL) 대비 4.57 PPL을 기록했으며, 도메인 전이(시프트된 텍스트) 상황에서 원본 도메인 보존 PPL이 29.4→11.1, 새로운 도메인 적응 PPL이 17.8→6.4 로 크게 개선되었다. 이는 파라미터가 컨텍스트에 국한돼 업데이트될 때, 기존 지식이 덜 손상되고 새로운 패턴을 빠르게 흡수한다는 가설을 실증한다.

요약하면, APN은 (1) 라우팅 기반 희소 활성화, (2) 저‑랭크 잔차 출력, (3) 파라미터 지역화 업데이트라는 세 축을 통해 Transformer FFN의 계산·메모리 효율과 지속적 학습 호환성을 동시에 달성한다는 점에서 의미가 크다.