비트 배분이 세계 모델 플래닝에 미치는 영향: 혼합 정밀도 연구

초록

본 논문은 DINO‑WM 기반 Wall 플래닝 과제에서 비트 폭을 전체적으로 줄이거나 모듈별로 배분할 때 플래닝 성능이 어떻게 변하는지를 조사한다. 8‑bit·6‑bit은 FP16 수준을 유지하고, 3‑bit은 완전히 붕괴하지만, 4‑bit 구간에서는 비트 배분에 따라 성능 차이가 크게 나타난다. 특히 인코더의 정밀도를 유지하면 균일 양자화보다 플래닝 성공률이 향상되는 것을 확인하였다. 이러한 결과는 모듈‑인지, 예산‑인지 양자화 정책이 효율적인 공간 추론에 중요한 설계 축이 될 수 있음을 시사한다.

상세 분석

이 연구는 세계 모델 플래닝에서 “총 비트폭”보다 “비트가 어느 모듈에 할당되는가”가 성능에 미치는 영향을 정량적으로 밝히려는 시도이다. 실험은 사전 학습된 DINO‑WM을 사용해 Wall 환경에서 목표‑조건 플래닝을 수행하고, 두 가지 플래닝 예산(bA: 목표‑H=9, opt‑steps=2, max‑iter=2; bB: 목표‑H=12, opt‑steps=3, max‑iter=3) 하에서 다양한 양자화 변형을 비교한다. 변형은 크게 네 종류로 나뉜다. (1) 균일 양자화: 전체 모델을 동일한 비트폭(INT8, INT6, INT4, INT3)으로 양자화, (2) 혼합 양자화: 인코더는 FP16 유지, 예측기만 지정 비트폭으로 양자화, (3) 비대칭 양자화: 인코더와 예측기에 서로 다른 비트폭을 할당(E8/P4, E6/P4 등), (4) 레이어별 양자화: 인코더의 일부 레이어만 FP16으로 남기고 나머지를 INT4로 양자화한다.

양자화는 가중치‑전용 PTQ(post‑training quantization) 방식을 사용했으며, 각 출력 채널별로 대칭 스케일을 계산해 정수화한다. 활성화 양자화나 재학습, 캘리브레이션은 적용하지 않아 순수한 비트 할당 효과만을 측정한다.

핵심 결과는 “세 구역 패턴”이다. 8‑bit·6‑bit 구역에서는 성공률이 FP16과 거의 동일(≈0.530.65)이며, 모델 크기도 크게 감소한다(예: INT6은 77 MB, FP16은 205 MB). 3‑bit 구역에서는 성공률이 0으로 완전히 붕괴한다. 4‑bit 구역은 전환점으로, 비트 배분에 따라 성능 차이가 크게 나타난다. 구체적으로, 동일한 총 비트(4‑bit)라도 인코더를 FP16으로 유지한 혼합 INT4는 균일 INT4보다 성공률이 0.200.30p(예산 bA, bB) 높았다. 비대칭 실험에서도 인코더에 더 많은 비트를 할당한(E6/P4, E8/P4) 변형이 동일 크기의 균일 INT4보다 월등히 좋은 성능을 보였으며, 예측기에 비트를 추가한(E4/P8, E4/P6)은 효과가 미미했다. 레이어별 스위프에서도 인코더를 완전히 보존했을 때(100 % FP16) 성공률이 최고에 도달했으며, 부분 보존은 비단조적인 곡선을 그렸다.

통계적으로는 부트스트랩 기반 95 % CI와 짝‑단위 sign‑test을 사용했으며, 4‑bit 혼합 대비 균일 차이는 p≈0.11(양쪽 예산 모두)으로 “통계적으로 유의미하지 않다”는 결론을 내렸다. 그러나 효과 크기가 실용적인 수준이며, 특히 제한된 샘플(22 cell)에서는 예산에 따라 방향이 바뀌는 현상도 관찰돼 4‑bit 전이 구역이 매우 민감함을 강조한다.

추가 분석으로는 성공률과 플래닝 로그에서 추출한 상태 거리, 시각 임베딩 발산 간의 스피어맨 상관관계(ρ≈‑0.93, ‑0.71)를 제시해, 인코더 정밀도 감소가 잠재 공간의 기하학을 손상시켜 목표‑지향 플래닝을 방해한다는 메커니즘 가설을 뒷받침한다.

전체적으로 이 논문은 (1) 8/6‑bit은 안전한 저비트 영역, (2) 3‑bit은 사용 불가, (3) 4‑bit은 비트 배분에 따라 성능이 크게 달라지는 전이 영역이라는 구조적 인사이트를 제공한다. 이는 “총 비트량”만을 최소화하는 기존 접근법보다 “모듈‑인지, 예산‑인지” 양자화 정책이 플래닝 성능을 유지하면서 메모리·지연을 절감할 수 있음을 시사한다. 향후 연구는 (a) 다양한 환경·체크포인트에 대한 일반화 검증, (b) 활성화 양자화·캘리브레이션·재학습을 포함한 고급 PTQ 기법 적용, (c) 자동화된 비트 배분 최적화(예: 강화학습·베이지안 최적화) 등을 통해 플래닝 성공률을 직접 목표로 하는 양자화 설계 파이프라인을 구축하는 방향으로 나아갈 수 있다.