고해상도 실시간 생성 게임 엔진을 위한 하드웨어‑알고리즘 공동 설계

초록

본 논문은 현재 64×64 수준에 머물러 있는 실시간 생성 게임 엔진의 “메모리 벽”을 극복하고, 720×480 해상도에서 30 FPS 이상을 실현하는 하드웨어‑알고리즘 공동 설계 프레임워크를 제안한다. 세계 모델(Compute‑bound)과 디코더(Memory‑bound)를 이질적인 가속기 클러스터에 분산 배치하고, 비대칭 자원 할당, 메모리 중심 연산 융합, 그리고 매니폴드 기반 잠재 공간 외삽 기법을 결합해 오프‑칩 대역폭을 최소화한다. 실험 결과, 8대 Ascend 910C 가속기 클러스터에서 720×480 해상도 실시간 생성이 가능함을 입증한다.

상세 분석

이 논문은 생성 기반 게임 엔진이 직면한 가장 근본적인 병목, 즉 고해상도 이미지 생성 시 발생하는 메모리 대역폭 포화 현상을 “Memory Wall”이라고 정의하고, 이를 해결하기 위한 세 가지 핵심 설계를 제시한다. 첫째, 비대칭 자원 할당 전략은 세계 모델(DiT)과 디코더(VAE)를 각각 시퀀스 병렬화와 공간 병렬화에 최적화된 가속기 수(Nd, Nv)로 나누어 할당한다. 수식 (3)에서 보듯, Nd를 늘리면 계산 지연은 선형 감소하지만 All‑to‑All 통신 비용이 Nd²에 비례해 증가한다. 저자들은 8대 가속기 중 5대를 DiT, 3대를 VAE에 할당함으로써 α·Nd와 β·(Nd‑1)/Nd 사이의 균형을 최적화하였다.

둘째, 메모리 중심 연산 융합(HCCS) 은 디코더 단계에서 발생하는 대규모 피처 맵 읽기·쓰기 작업을 온‑칩 SRAM 버퍼에 재배치하고, 연산 간 데이터 흐름을 Zero‑Copy 경로로 설계한다. 이를 통해 HBM 접근 횟수를 70 % 이상 감소시켰으며, 실제 측정값은 디코더 단계 대역폭 사용량이 30 GB/s 한계의 45 % 수준으로 낮아졌다.

셋째, 매니폴드 인식 잠재 외삽(Manifold‑aware Latent Extrapolation) 은 연속적인 프레임 간 잠재 공간이 거의 선형적으로 변한다는 가정을 이용한다. DiT의 무거운 denoising 연산을 65 %까지 건너뛰고, 이전 프레임의 잠재 벡터에 선형 보간을 적용함으로써 시간적 일관성을 유지한다. 이 기법은 프레임당 평균 2.7 ms의 지연을 달성하게 해 주며, FPS는 26.4 ~ 48.3 사이로 유지된다.

실험은 두 가지 벤치마크, 3D 레이싱(연속)과 2D 플랫포머(이산)에서 수행되었으며, 720×480 해상도에서 각각 26.4 FPS와 48.3 FPS를 기록했다. 또한 논문은 논리적 일관성(100 %)과 시각적 품질(PSNR/SSIM)에서도 기존 64×64 기반 엔진을 크게 앞선 결과를 보였다.

전반적으로 이 연구는 하드웨어‑알고리즘 공동 설계가 단순한 최적화가 아니라, 고해상도 실시간 생성 게임 엔진을 구현하기 위한 필수 전제임을 입증한다. 특히, 이질적인 연산 특성을 명시적으로 구분하고, 클러스터 수준·칩 수준·알고리즘 수준에서 각각 최적화한 점이 혁신적이다. 다만, 현재 구현은 전용 AI 가속기 클러스터에 의존하므로, 범용 GPU 혹은 모바일 SoC에 대한 적용 가능성은 추가 연구가 필요하다.