JPEG XS 가중치 최적화로 작업별 이미지 압축 효율 극대화

초록

본 논문은 JPEG XS 코덱의 서브밴드 가중치(게인·우선순위)를 CMA‑ES 진화 알고리즘으로 최적화하여, 데스크톱 화면 이미지의 시각 품질과 도시 풍경 데이터셋의 의미론적 분할 정확도와 같은 특정 작업·콘텐츠에 맞는 비트레이트 절감 효과를 입증한다.

상세 분석

JPEG XS는 저지연·저복잡도 이미지 코덱으로, 각 서브밴드마다 게인(G)과 우선순위(P)를 정의하는 30개의 가중치 파라미터만을 가진다. ISO 21122‑1 표준은 PSNR을 최대화하도록 설계된 기본 가중치를 제공하지만, 특정 시각적 요구나 AI 분석 목적에 최적화된 가중치는 별도로 탐색되지 않았다. 저자들은 파라미터 공간이 작고 연산 비용이 크게 문제가 되지 않는다는 점을 이용해, 파생‑무료 비선형 최적화 기법인 CMA‑ES를 적용하였다. 초기 해는 표준 가중치이며, 표준편차는 각 파라미터의 변동 범위로 설정하고, 인구 크기는 자동으로 14로 지정했다.

최적화 과정에서 게인은 실수형으로 탐색하고, 정수형으로 변환된 값이 실제 인코더에 입력된다. 우선순위는 게인의 소수부를 내림차순 정렬해 결정함으로써, P < R (p) 조건에서 정밀도가 추가되는 메커니즘을 그대로 활용한다. 이렇게 하면 파라미터 자체가 양자화와 우선순위 역할을 동시에 수행한다.

실험은 크게 두 축으로 나뉜다. 첫 번째는 인간 시각 시스템(HVS) 관점에서 MS‑SSIM·PSNR을 목표로 하는 최적화이며, 두 번째는 Cityscapes 데이터셋을 이용한 의미론적 분할(IoU) 정확도를 목표로 하는 AI‑task 최적화이다. HVS 실험에서는 위키미디어의 피처드 이미지와 합성 데스크톱 스크린샷을 각각 240장씩 훈련·테스트 셋으로 사용했으며, 비트레이트 1.0, 3.0, 5.0 bpp에서 최적 가중치를 탐색했다. AI‑task 실험에서는 HarDNet 기반 세그멘테이션 모델을 사전 학습한 뒤, 압축된 이미지에 대한 IoU를 직접 측정해 피트니스 함수로 사용하였다. 각 비트레이트마다 4000(시각 최적)·1500(AI 최적) 회의 함수 평가를 수행했으며, 전체 최적화는 78개의 CPU 스레드와 GPU 가속을 병행해 약 3주에 걸쳐 완료되었다.

결과는 두드러진 비트레이트 절감 효과를 보였다. HVS 최적화에서는 저비트레이트(1 bpp)에서 표준 가중치 대비 12~18 % 적은 비트레이트로 동일한 MS‑SSIM을 달성했으며, PSNR 최적화는 기존 표준과 차이가 거의 없었다. AI‑task 최적화에서는 IoU 기준으로 33 %~59 %의 비트레이트 감소를 기록했으며, 7 bpp에서는 압축 이미지가 오히려 원본보다 높은 IoU(0.7514 vs 0.7506)를 보이는 흥미로운 현상도 관찰되었다. 또한, 서로 다른 작업에 최적화된 가중치는 교차 성능이 낮아, 시각 최적화 가중치가 AI 정확도에, AI 최적화 가중치가 시각 품질에 크게 기여하지 않음을 확인했다. 이는 피트니스 함수 자체가 최적화 방향을 결정한다는 점을 강조한다.

이 연구는 JPEG XS와 같은 경량 코덱에서도 파라미터 수가 적어 과적합 위험이 낮으며, 작은 데이터셋만으로도 충분히 일반화된 최적 가중치를 얻을 수 있음을 보여준다. 또한, CMA‑ES가 파라미터 수가 30개 수준인 경우 거의 파라미터‑프리 방식으로 작동해, 복잡한 파라미터 튜닝 없이도 다양한 목표(시각 품질, AI 정확도, 혹은 혼합 목표)로 확장 가능함을 입증한다. 향후 연구에서는 가중치와 비트레이트를 연속적으로 조정하는 다목표 최적화, 혹은 실시간 스트리밍 환경에서 동적 가중치 적응 메커니즘을 탐색할 여지가 있다.