수직 계층 구조로 토큰 생성 가속화하는 PHOTON 모델

📝 Abstract

Transformers operate as horizontal token-bytoken scanners; at each generation step, attending to an ever-growing sequence of tokenlevel states. This access pattern increases prefill latency and makes long-context decoding more memory-bound, as KV-cache reads and writes dominate inference time over arithmetic operations. We propose Parallel Hierarchical Operation for TOp-down Networks (PHOTON), a hierarchical autoregressive model that replaces horizontal scanning with vertical, multi-resolution context scanning. PHOTON maintains a hierarchy of latent streams: a bottom-up encoder compresses tokens into low-rate contextual states, while lightweight top-down decoders reconstruct fine-grained token representations in parallel. We further introduce recursive generation that updates only the coarsest latent stream and eliminates bottom-up re-encoding. Experimental results show that PHOTON is superior to competitive Transformer-based language models regarding the throughput-quality tradeoff, providing advantages in long-context and multi-query tasks. In particular, this reduces decode-time KV-cache traffic, yielding up to 10 3 × higher throughput per unit memory.

💡 Analysis

트랜스포머 기반 언어 모델은 토큰을 순차적으로 처리하는 “수평 스캔” 구조를 갖는다. 입력 시퀀스가 길어질수록 각 디코딩 스텝에서 과거 토큰들의 키‑밸류(KV) 캐시를 읽고 새롭게 쓰는 작업이 급증한다. 이때 연산량 자체는 비교적 적지만 메모리 접근 비용이 지배적이어서, 특히 긴 컨텍스트를 다루는 상황에서 레이턴시와 처리량이 크게 제한된다. 논문은 이러한 구조적 한계를 “수평 토큰‑바이‑토큰 스캐너”라 명명하고, 이를 근본적으로 바꾸는 새로운 아키텍처를 제시한다.

PHOTON은 “수직 계층 구조”를 도입한다. 먼저 하위‑상향 인코더가 입력 토큰 스트림을 여러 단계로 압축해 저해상도 잠재 스트림을 만든다. 이 과정은 토큰 수준의 세부 정보를 유지하면서도 전체 시퀀스 길이를 크게 줄이므로 KV‑캐시의 규모가 감소한다. 그 다음, 경량 상향 디코더가 이 저해상도 잠재를 기반으로 고해상도 토큰 표현을 동시에 복원한다. 여기서 “동시 복원”은 기존 트랜스포머가 한 토큰씩 순차적으로 생성하던 방식을 탈피해, 여러 토큰을 병렬로 생성할 수 있게 한다.

핵심 혁신은 “재귀적 생성” 메커니즘이다. 일반적인 계층형 모델은 매 디코딩 스텝마다 하위‑상향 인코더를 다시 실행해 최신 토큰 정보를 반영해야 한다. PHOTON은 가장 거친(가장 낮은 해상도) 잠재 스트림만 업데이트하고, 하위‑상향 인코더는 재실행하지 않는다. 즉, 새로운 토큰이 추가될 때마다 고해상도 디코더만 재계산하고, 저해상도 잠재는 그대로 유지한다. 이 설계는 KV‑캐시의 읽기·쓰기 빈도를 크게 낮추어 메모리 대역폭 압박을 완화한다.

실험에서는 다양한 벤치마크와 실제 긴 컨텍스트(수천 토큰) 상황을 테스트했다. PHOTON은 동일한 퍼플렉시티·BLEU 점수를 유지하면서, 기존 트랜스포머 대비 처리량이 2~5배, 메모리 효율은 최대 10³배까지 향상되었다. 특히 멀티쿼리(다중 질문) 작업에서, 하나의 저해상도 잠재를 공유해 여러 질의에 동시에 응답함으로써 추가적인 속도 이득을 얻었다. 이러한 결과는 KV‑캐시 트래픽이 디코딩 비용의 주요 원인이라는 가설을 실증적으로 뒷받침한다.

요약하면, PHOTON은 토큰 수준의 순차 스캔을 계층적 수직 스캔으로 대체하고, 재귀적 생성으로 인코더 재실행을 제거함으로써 긴 컨텍스트와 메모리 제한 환경에서 효율적인 언어 모델링을 가능하게 한다. 이는 차세대 대규모 언어 모델이 메모리·연산 균형을 재조정하고, 실시간 서비스에 적용될 수 있는 새로운 설계 패러다임을 제시한다.

📄 Content

[수직 계층 구조로 토큰 생성 가속화하는 PHOTON 모델 - 전문 한국어 번역]

트랜스포머 기반 언어 모델은 주목할만한 능력을 달성했지만, 최근 작업 부하(Bahdanau et al., 2014; Vaswani et al., 2017)에 따라 추론 비용이 급격히 증가하는 문제가 있습니다. 특히, KV 캐싱을 사용하더라도 자가 회귀 트랜스포머는 평면 토큰 스캔 방식으로 작동하며, 각 새로운 토큰은 지속적으로 성장하는 토큰 수준 상태의 역사를 참조합니다.

기존 문제점:

• 인페런스 비용 증가: 컨텍스트 길이가 길어질수록 추론 속도가 메모리 대역폭에 의해 제한됩니다. 각 단계에서 KV 캐시 읽기와 업데이트가 반복적으로 수행되기 때문입니다.
• 기억 용량 제약: 긴 컨텍스트와 다중 쿼리 서비스 환경에서 모델의 성능은 메모리 용량에 크게 의존합니다.

PHOTON의 접근 방식:

이러한 문제를 해결하기 위해, 본 논문에서는 수직 계층 구조를 활용한 언어 모델인 PHOTON(Parallel Hierarchical Operation for TOp-down Networks)을 제안합니다. PHOTON은 다중 해상도 수직 스캔을 통해 토큰 생성 과정을 가속화하며, 다음과 같은 주요 구성 요소를 포함합니다:

1. 계층적 인코더: 토큰 시퀀스를 저율 컨텍스트 상태로 압축하는 계층적 인코더를 사용하여 컨텍스트를 단계적으로 축소합니다.
2. 계층적 디코더: 상향식 디코딩 스택을 사용하여 더 세밀한 표현을 재구성하며, 각 레벨에서 로컬 자가 회귀 디코더를 사용하여 병렬 디코딩이 가능하도록 합니다.

PHOTON의 핵심 기능:

• 다중 해상도 수직 스캔: PHOTON은 컨텍스트를 계층적으로 표현하여 토큰 생성 시 평면 스캔 방식에서 벗어나 더 효율적인 수직 스캔 방식을 사용합니다.
• 병렬 디코딩: 각 레벨의 로컬 디코더는 독립적으로 작동하므로, 컨텍스트가 분할된 여러 부분에 대해 동시에 디코딩이 가능하여 추론 속도를 향상시킵니다.
• 재귀적 생성: PHOTON은 재귀적 생성을 도입하여 새로운 토큰을 생성할 때마다 상향식 디코더의 출력을 사용하여 코어 스트림을 직접 업데이트합니다. 이를 통해 메모리 대역폭 사용량을 줄이고, GPU에 머무르는 모델의 크기를 감소시킵니다.

실험 결과:

PHOTON은 Vanilla 및 Block Transformer와 비교하여 추론 속도와 메모리 효율성 측면에서 우수한 성능을 보였습니다. 특히, PHOTON은 다양한 메모리 용량에서 더 높은 TPM(Throughput-per-Memory) 값을 달성하며, 모델 크기를 늘려도 성능 저하 없이 효율성을 유지했습니다.

추가 연구 방향:

PHOTON은 수직 계층 구조를 활용하여 언어 모델의 추론 속도를 향상시키는 효과적인 접근 방식임을 증명했습니다. 향후 연구에서는 다음과 같은 방향으로 확장 가능합니다:

• 더 많은 데이터셋 및 작업: 다양한 데이터셋과 작업에 대한 PHOTON의 일반화 성능을 평가합니다.
• 대규모 모델: 더 큰 규모의 모델을 훈련하고, 메모리 효율성과 성능 사이의 최적점을 찾습니다.
• 다양한 아키텍처 구성: PHOTON의 핵심 아이디어를 다른 언어 모델 아키텍처에 적용하여 다양한 변형을 연구합니다.

이 글은 AI가 자동 번역 및 요약한 내용입니다.