스파이럴포머 다중해상도 재귀로 계층적 의존 학습

초록

스파이럴포머는 공유된 트랜스포머 코어를 여러 해상도에서 순환 적용하는 구조로, 초기에는 압축된 청크 시퀀스를, 후반에는 점진적으로 원래 토큰 길이로 복원한다. 이 다중해상도 재귀는 루프마다 기능적 특화와 계층적 의존성을 유도해 파라미터와 연산 효율을 동시에 개선한다. 실험에서는 160 M‑1.4 B 규모 모델에서 비재귀 및 기존 재귀 베이스라인보다 낮은 FLOPs와 파라미터로 퍼플렉시티와 다운스트림 정확도 모두 우수함을 보였다.

상세 분석

스파이럴포머는 기존 루프드 트랜스포머가 동일한 해상도(전체 토큰 수)에서 반복 적용되는 한계를 극복하기 위해 “다중해상도 재귀”라는 새로운 축을 도입한다. 핵심 아이디어는 각 루프 단계마다 현재 히든 상태를 청크 단위로 다운샘플링하여 압축된 잠재 시퀀스 z(t)를 만든 뒤, 공유된 코어 f_loop 에 입력하고, 다시 업샘플링하여 토큰 수준 업데이트 u(t)를 생성하는 것이다. 다운샘플링은 평균 풀링 혹은 학습 가능한 가중치 A(t) 를 이용한 가중합으로 구현되며, 청크 크기 g_t 는 해상도 스케줄 r_t 에 따라 동적으로 변한다. 업샘플링 단계에서는 각 청크 내 토큰에 동일 비율로 전파하거나, 출력‑의존 라우터 B(t) 가 예측한 할당 β(t) 를 사용해 세밀하게 배분한다.

시간적 인과성을 보장하기 위해 업샘플링 결과에 오른쪽 시프트 s_t (기본값 g_t‑1)를 적용한다. 이는 청크 내부에서 미래 토큰이 현재 업데이트에 영향을 주는 것을 방지하고, 청크 경계 간에 한 토큰 정도의 겹침을 허용해 정보 흐름을 부드럽게 만든다. 또한 청크 오프셋 ω_t (기본값 ⌊g_t/2⌋)를 도입해 청크 경계가 매 루프마다 미세하게 이동하도록 함으로써, 동일 토큰이 여러 청크에 걸쳐 여러 번 업데이트되는 효과를 얻는다.

스파이럴포머는 두 가지 토폴로지 업데이트 방식을 지원한다. 첫 번째는 “Anchor” 방식으로, 초기 프리‑루프 상태 h(0) 를 고정 앵커로 두고 매 단계 업데이트를 앵커에 더한다. 두 번째는 “MeSH” 방식으로, 다중 슬롯 메모리 M(t) 와 읽기/쓰기 라우터를 통해 상태를 교환한다. 두 방식 모두 다중해상도 스케줄과 결합될 때, 초기 저해상도 단계에서 전역적인 토큰 간 상호작용을 저비용으로 학습하고, 후반 고해상도 단계에서 세밀한 지역 정보를 정교화한다는 장점을 공유한다.

실험에서는 Pythia‑suite(160 M, 410 M, 1 B, 1.4 B) 모델에 스파이럴포머를 적용했으며, 동일 파라미터 예산에서 기존 비재귀 베이스라인(Pythia)과 풀‑해상도 루프드 포머(Looped Transformer)를 비교했다. 결과는 FLOPs(4096 토큰 기준)와 전체 파라미터 모두에서 스파이럴포머가 10‑30 % 정도 절감하면서도 퍼플렉시티가 평균 0.3‑0.5 포인트 낮고, 0‑shot·5‑shot 평가에서 여러 베렌스(예: WikiText, LAMBADA, PIQA)에서 최고 혹은 준최고 점수를 기록했다. 특히 대규모(1 B‑1.4 B)에서는 MeSH 토폴로지를 사용한 “SpiralFormer‑L”이 가장 높은 효율성을 보였으며, 파라미터 대비 성능 향상이 가장 두드러졌다.

분석 결과, 다중해상도 재귀는 (1) 초기 단계에서 전역적인 컨텍스트를 저비용으로 포착, (2) 후반 단계에서 세밀한 토큰‑레벨 정보를 보강함으로써, 루프당 동일한 코어를 재사용하면서도 기능적 특화가 자연스럽게 발생한다는 점을 확인했다. 프로빙 실험에서는 루프가 진행될수록 어텐션 헤드가 서로 다른 해상도에 특화되는 현상이 관찰되었으며, 이는 모델이 “코스‑투‑파인” 방식으로 계층적 의존성을 학습한다는 가설을 뒷받침한다.

한계점으로는 청크 경계와 시프트 파라미터 s_t, ω_t 의 설계가 모델 성능에 민감하며, 현재는 고정값을 사용하고 있다. 또한 압축‑복원 과정에서 정보 손실이 발생할 수 있어, 매우 긴 시퀀스(예: 32 K 토큰)에서는 추가적인 정교화가 필요할 것으로 보인다. 향후 연구에서는 동적 해상도 스케줄링, 적응형 청크 크기, 그리고 비선형 업샘플링(예: 트랜스포머‑디코더 기반 복원) 등을 탐색함으로써 효율성을 더욱 높일 수 있을 것이다.