효율적인 컨텍스트 기반 컨볼루션 엔트로피 모델링을 통한 이미지 압축 혁신

이미지 압축은 크게 손실less와 손실 lossy 두 가지 형태로 나뉘며, 두 경우 모두 엔트로피 모델링이 압축 효율을 좌우한다. 전통적인 방법은 라티스 코드가 서로 독립이라고 가정하고, 각 코드의 마진 확률만을 사용해 엔트로피를 계산한다. 그러나 자연 이미지의 라티스 표현은 여전히 강한 통계적 상관관계를 가지고 있어, 이러한 가정은 압축 성능을 제한한다. 최근 딥러닝 기반 압축에서는 엔트로피 모델을 개선하기 위해 PixelRNN, PixelCNN 등 복잡한 autoregressive 모델을 도입했지만, 이들은 순차적인 디코딩 과정 때문에 실시간 응용에 부적합했다. 본 논문은 이러한 한계를 극복하기 위해 ‘컨텍스트 기반 컨볼루션 네트워크(Convolutional Context Networks, CCN)’를 제안한다. CCN은 두 가지 핵심 기술을 기반으로 한다. 첫째, 3차원(채널, 높이, 너비) 공간에서 ‘지그재그(z‑y‑x) 스캔 순서’를 정의한다. 이 순서는 기존 라스터 스캔보다 더 넓은 주변 코드를 컨텍스트에 포함시켜, 현재 코드가 필요로 하는 정보를 충분히 제공한다. 동시에, 스캔 순서가 미리 정의되어 있기 때문에 인코더와 디코더가 동일한 컨텍스트를 공유할 수 있다. 둘째, ‘코드 분할(code dividing)’ 기법을 적용해 전체 라티스 블록을 여러 그룹으로 나눈다. 같은 그룹에 속한 코드는 서로 조건부 독립이라고 가정함으로써, 그룹 내부 코드를 병렬로 디코딩할 수 있다. 이때 그룹은 지그재그 스캔 순서에 맞춰 대각면(diagonal plane) 단위로 구성되며, 각 대각면 내부에서도 라인 단위로 순차적으로 처리해 필요한 컨텍스트를 유지한다. 구현 측면에서는 마스크된 컨볼루션 연산을 사용한다. 각 레이어의 필터에 이진 마스크를 적용해, 해당 레이어가 현재 코드의 컨텍스트에 해당하는 영역만을 참조하도록 제한한다. 첫 레이어에서는 완전한 컨텍스트(이미 인코딩된 이전 코드)만을 사용하고, 이후 레이어에서는 마스크를 약간 완화해 현재 위치 자체를 제외한 주변만을 활용한다. 이러한 설계는 ‘Assumption I’(입력 코드와 출력 피처 사이의 일대다 대응)와 ‘Assumption II’(피처 계산이 컨텍스트에만 의존) 를 만족시켜, 컨볼루션 네트워크가 정확히 조건부 확률을 추정하도록 만든다. 손실less 압축 실험에서는 입력 그레이스케일 이미지를 8비트 바이너리 플레인으로 변환한 뒤, CCN을 통해 각 비트의 베르누이 확률을 직접 예측한다. 손실 lossy 압축에서는 라티스 코드를 이산화된 가우시안 혼합(MoG) 분포로 모델링하고, 혼합 가중치·평균·분산을 각각 별도의 세 개 CCN이 추정한다. 이렇게 얻은 확률 모델은 아키텍처 전반에 걸쳐 엔트로피 손실과 재구성 손실(예: MSE, MS‑SSIM) 사이의 라그랑지안 형태로 최적화된다. 실험은 두 개의 표준 데이터셋인 Kodak(24장)와 Tecnick(100장)에서 수행되었다. 손실less 실험에서는 기존 BPG, PNG와 비교해 평균 비트당 PSNR이 0.3~0.5dB 향상되었으며, 손실 lossy 실험에서는 동일 비트레이트에서 Minnen et al., Ballé et al. 등 최신 딥러닝 기반 압축 방법과 비교해 PSNR 및 MS‑SSIM에서 비슷하거나 약간 우수한 결과를 얻었다. 특히 저비트레이트 구간(0.1~0.3bpp)에서 압축 효율이 크게 개선되었다. 시간 측면에서는 CCN 기반 모델이 PixelCNN 기반 모델 대비 3~5배 빠른 디코딩 속도를 보였으며, 전체 파이프라인이 실시간(30fps 이상) 수준으로 동작한다. 또한, 파라미터 수와 메모리 사용량도 기존 autoregressive 모델보다 현저히 낮았다. 이는 마스크된 컨볼루션이 복잡한 순환 구조 없이도 넓은 컨텍스트를 활용할 수 있음을 보여준다. 논문은 또한 CCN이 다양한 비트레이트에 대해 동일한 네트워크 구조를 유지하면서도, 학습 과정에서 비트레이트를 조절할 수 있는 ‘rate‑distortion trade‑off’ 학습 전략을 적용했음을 강조한다. 결론적으로, 이 연구는 엔트로피 모델링에 있어 컨텍스트 활용과 병렬성을 동시에 만족시키는 새로운 설계 패러다임을 제시한다. 3차원 지그재그 스캔과 코드 분할을 통한 마스크된 컨볼루션은 기존의 복잡하고 느린 autoregressive 모델을 대체할 수 있는 실용적인 대안이며, 향후 모바일 디바이스, 실시간 스트리밍, 클라우드 기반 이미지 서비스 등 다양한 응용 분야에 바로 적용 가능할 것으로 기대된다.