EntPruner 조건부 엔트로피 기반 흐름 모델 프루닝으로 두 배 가속

초록

본 연구에서는 EntPruner라는 새로운 프루닝 기법을 적용하여 흐름 기반 생성 모델의 연산량을 크게 감소시켰다. 35 % 희소화 시 1.82배, 50 % 희소화 시 최대 2.22배의 속도 향상을 달성하면서도 생성 품질을 유지한다. 실험은 ODE 솔버와 CFG=4.0, 250 샘플링 스텝을 사용한 SiT‑XL/2 모델을 기반으로 수행하였다. 또한 SiT 모델에서 블록을 제거한 경우의 영향을 분석했으며, 조건부 엔트로피 편차(Conditional Entropy Deviation, CED)와 손실 사이에 강한 상관관계가 있음을 확인함으로써 CED가 블록 중요도를 정량화하는 데 유효함을 입증하였다.

상세 요약

EntPruner는 흐름 기반 생성 모델, 특히 최근 주목받고 있는 SiT(Score‑based Implicit Transformer) 구조에 적용된 프루닝 기법이다. 기존 프루닝 방법들은 주로 가중치의 절대값이나 L1/L2 정규화와 같은 단순한 기준에 의존해 중요한 파라미터를 식별했지만, 이러한 접근법은 모델의 복잡한 확률 변환 과정에서 발생하는 정보 손실을 충분히 고려하지 못한다. EntPruner는 조건부 엔트로피 편차(CED)를 사용해 각 블록이 전체 모델의 불확실성 감소에 기여하는 정도를 정량화한다. CED는 블록을 제거했을 때 모델 출력 분포와 원본 분포 사이의 엔트로피 차이를 측정함으로써, 손실 함수와 직접적인 연관성을 갖는다. 실험 결과, CED 값이 낮은 블록을 우선적으로 제거했을 때 손실 증가가 최소화되는 것이 확인되었으며, 이는 CED가 블록 중요도 평가에 있어 신뢰할 수 있는 지표임을 시사한다.

희소화 비율을 35 %와 50 %로 설정한 두 가지 시나리오에서 각각 1.82배와 2.22배의 속도 향상이 보고되었다. 특히 50 % 희소화에서도 이미지 품질을 평가하는 FID(Frechet Inception Distance)와 IS(Inception Score) 지표가 원본 모델과 크게 차이나지 않아, 높은 압축률에도 불구하고 실용적인 수준의 생성 성능을 유지한다는 점이 주목할 만하다. 이러한 결과는 ODE 기반 샘플링 과정에서 연산 비용이 크게 차지되는 미분 방정식 풀이 단계가 프루닝에 의해 효과적으로 단축될 수 있음을 보여준다.

또한, 블록 제거 실험을 통해 CED와 손실 사이의 강한 양의 상관관계가 확인되었다. 이는 CED가 단순히 통계적 변동성을 측정하는 것이 아니라, 실제 모델 학습 과정에서 손실에 직접적인 영향을 미치는 구조적 정보를 포착한다는 의미다. 따라서 향후 프루닝 전략을 설계할 때 CED와 같은 정보‑이론 기반 메트릭을 활용하면, 보다 정교하고 손실 최소화가 가능한 압축이 가능할 것으로 기대된다.

한계점으로는 현재 실험이 SiT‑XL/2 모델과 제한된 데이터셋(ArtBench, CUB, Flowers)에서만 수행되었다는 점이다. 다양한 아키텍처와 대규모 데이터에 대한 일반화 성능 검증이 필요하며, 프루닝 후 재학습(re‑training)이나 파인튜닝 단계가 모델 안정성에 미치는 영향을 추가로 조사해야 한다. 또한, CED 계산 자체가 추가적인 연산 비용을 요구하므로, 실시간 혹은 모바일 환경에서의 적용 가능성을 높이기 위한 효율적인 근사 방법 개발도 중요한 과제로 남아 있다.

종합하면, EntPruner는 조건부 엔트로피 편차를 활용해 흐름 기반 생성 모델의 구조적 중요도를 정밀하게 평가하고, 높은 희소화 비율에서도 성능 저하 없이 실질적인 속도 향상을 달성한다. 이는 차세대 고효율 생성 모델 개발에 있어 정보‑이론적 접근이 유망함을 시사한다.