CacheFlow 캐시 기반 빠른 인간 동작 예측

초록

CacheFlow는 무조건적인 정규화 흐름 모델을 미리 계산·캐시해 두고, 과거 동작을 입력으로 가벼운 조건부 베이스 분포를 추정해 빠르게 미래 3D 인간 동작을 샘플링하는 방법이다. 캐시 덕분에 추론 시간은 약 1 ms 수준으로 VAE 대비 4배, 확산 모델 대비 30배 빠르면서도 밀도 추정 정확도와 예측 성능을 유지한다.

상세 분석

본 논문은 3D 인간 동작 예측에서 확률 밀도 추정이 필수적인 안전‑중요 응용을 고려해, 기존 조건부 흐름 모델이 안고 있던 고비용 문제를 근본적으로 재구성한다. 핵심 아이디어는 “무조건적(unconditional) 정규화 흐름”을 사전 학습하고 그 결과를 대규모 캐시(K‑triplet) 형태로 저장하는 것이다. 이 흐름은 단순히 표준 정규분포 z 를 복잡한 동작 공간 x 로 매핑하며, Jacobian determinant를 통해 정확한 확률 밀도를 제공한다. 전통적인 조건부 흐름은 매 추론 시마다 fθ 를 재계산해야 하지만, CacheFlow는 fθ 를 미리 실행해 두어 추론 단계에서는 오직 가벼운 조건부 베이스 분포 qϕ(z|c) 만을 평가한다.

조건부 베이스 분포는 과거 시퀀스 c 를 입력으로 하는 작은 신경망(예: MLP 혹은 경량 트랜스포머)으로 구현되며, 이 네트워크는 캐시된 z 샘플 중 어느 것이 현재 c 와 가장 잘 맞는지를 선택한다. 선택된 z 와 사전 저장된 Jacobian 정보로부터 p(x|c) 를 즉시 복원한다. 이렇게 하면 복잡한 ODE‑통합이나 다단계 디퓨전 과정이 사라져, 추론 시간은 1 ms 수준으로 크게 단축된다.

학습 단계에서는 두 가지 손실을 동시에 최적화한다. 첫째, 흐름 매칭(Flow Matching) 기법을 이용해 vθ(zₜ) 벡터 필드를 직접 학습함으로써 ODE 통합 비용을 없앤다. 둘째, 조건부 베이스 분포 qϕ 에 대한 최대우도 손실을 추가해 과거‑미래 연관성을 학습한다. 이중 손실 구조는 무조건적 흐름의 표현력을 유지하면서, 조건부 베이스가 충분히 정보를 담도록 만든다.

실험에서는 Human3.6M과 AMASS 데이터셋을 사용해 기존 VAE 기반 모델보다 4배, 최신 확산 기반 모델보다 30배 빠른 추론 속도를 보였으며, 평균 관절 오류(MPJPE)와 같은 정량적 예측 지표에서도 최첨단(SOTA) 수준을 유지했다. 특히 KDE 대비 2배 이상 높은 로그우도(log‑likelihood)를 기록해 밀도 추정 정확도가 크게 향상됨을 입증한다.

이러한 설계는 캐시 메모리 용량과 사전 계산 비용을 제외하면 거의 비용이 들지 않는 추론 파이프라인을 제공한다는 점에서, 실시간 로봇 제어, 자율 주행, 인간‑로봇 협업 등 시간 민감형 시스템에 바로 적용 가능하다. 또한, 캐시된 흐름 결과를 재사용하는 구조는 다른 고차원 시계열(예: 손동작, 차량 궤적)에도 일반화될 여지를 제공한다.