신경망 기반 텍스처 블록 압축으로 저장 효율 70% 향상

초록

NTBC는 기존 BC1·BC4 블록 압축 포맷을 그대로 사용하면서, 다중 레이어 퍼셉트론(MLP)과 양자화 인식 학습을 적용해 텍스처 데이터를 신경망으로 재구성한다. 네트워크 가중치를 디스크에 저장하고 로딩 시 추론해 블록 압축 데이터를 복원함으로써, 셰이더 변경 없이 저장 용량을 최대 70 % 절감하고, 텍스처 로딩 단계에만 약간의 연산 오버헤드가 발생한다.

상세 분석

본 논문은 실시간 그래픽스에서 널리 쓰이는 블록 압축(BC) 포맷의 고정 비트율 한계에 주목한다. BC1·BC4는 각각 4×4 텍셀 블록을 8바이트로 압축해 온·오프라인 저장량을 크게 줄였지만, 고해상도 4K 텍스처 수백 개가 모이면 전체 용량이 기가바이트 수준에 이른다. 최근 ASTC·BC7 같은 가변 비트율 포맷은 품질‑용량 트레이드오프를 개선했지만, 최적 파티션·엔드포인트 탐색에 높은 연산 비용이 든다.

NTBC는 이러한 문제를 신경망 기반 매핑으로 해결한다. 저자는 먼저 “naive” 접근으로 엔드포인트와 가중치를 각각 예측하는 두 개의 MLP를 설계했으나, 가중치가 고주파·비공간적 특성을 가져 MLP가 학습하기 어려워 품질이 저하되는 것을 확인한다. 이를 극복하기 위해 가중치 대신 원본 색상을 예측하도록 구조를 변경한다. 색상은 저주파·공간 연관성이 높아 MLP가 효율적으로 학습할 수 있다.

구현상 핵심은 두 개의 MLP와 다중 해상도 피처 그리드이다. 엔드포인트 네트워크는 2D 블록 인덱스(s,t)를 입력받아 각 블록의 두 엔드포인트 e₀, e₁을 출력한다. 색상 네트워크는 텍스처 좌표(u,v)를 입력받아 예측 색상 ĉ를 만든다. 이후 엔드포인트로부터 팔레트 색상 cn을 계산하고, ‖ĉ‑cn‖ 거리를 기반으로 2‑bit(BC1) 혹은 3‑bit(BC4) 인덱스를 argmax로 선택한다. 학습 단계에서는 argmax를 softmax와 동일하게 취급해 역전파가 가능하도록 설계한다.

양자화 인식 학습(QAT)을 통해 피처 그리드와 MLP 가중치를 8비트 정수 수준으로 압축한다. 이렇게 압축된 네트워크 파라미터만 디스크에 저장하고, 런타임에 GPU에서 추론해 BC 블록 데이터를 재구성한다. 따라서 기존 쉐이더 코드를 전혀 수정할 필요가 없으며, 텍스처 로딩 시 약간의 GPU 연산만 추가된다.

실험에서는 4K 텍스처 여러 개를 하나의 머티리얼에 대해 10분 이내에 학습시키고, 추론 시 평균 1.2 ms 정도의 오버헤드만 발생한다. 저장 용량은 BC1/BC4 대비 평균 55 %~70 % 절감하면서 PSNR·SSIM 기준으로 기존 BC와 거의 동등한 품질을 유지한다. 한계점으로는 학습 비용이 텍스처당 몇 분 정도 필요하고, 매우 복잡한 고주파 텍스처에서는 품질 손실이 약간 늘어날 수 있다.

전반적으로 NTBC는 “블록 압축 포맷을 그대로 사용하면서 신경망으로 엔드포인트·인덱스를 재생성한다”는 새로운 패러다임을 제시하고, 저장 효율과 실시간 호환성을 동시에 달성한 점이 가장 큰 공헌이다.