노이즈 파라메트릭 모델링을 활용한 영상 코딩 기법

초록

본 논문은 영상 인코딩 과정에서 노이즈를 스펙트럼 외피와 공간 분포를 파라메트릭하게 모델링하여 전송하고, HEVC와 실시간 노이즈 감소 기법을 결합함으로써 기존 코딩 대비 평균 1.8 MOS 향상을 달성한 방법을 제시한다.

상세 분석

본 연구는 영상 압축에서 흔히 간과되는 ‘노이즈 자체’를 정보로서 취급한다는 점에서 혁신적이다. 기존 고효율 비디오 코덱(HEVC)은 주로 영상의 구조적 특징(예: 모션, 텍스처)을 기반으로 변환·양자화·엔트로피 코딩을 수행하지만, 노이즈는 양자화 오차와 결합되어 시각적 품질 저하의 주요 원인으로 작용한다. 저자들은 노이즈를 ‘스펙트럼 외피(spectral envelope)’와 ‘공간 분포(spatial distribution)’라는 두 차원으로 분해하고, 각각을 저차원 파라메터 집합으로 압축한다. 스펙트럼 외피는 푸리에 변환 혹은 웨이블릿 변환을 통해 얻은 에너지 스펙트럼의 상위 형태를 근사하는데, 이는 대역별 평균 에너지 혹은 가우시안/라플라시안 형태의 모델 파라메터로 표현된다. 공간 분포는 노이즈가 영상 내에서 어떻게 퍼져 있는지를 나타내며, 이를 위해 저자들은 2차원 가우시안 혼합 모델(GMM) 혹은 마크오프 랜덤 필드(MRF) 기반의 파라메터화를 적용한다. 이러한 파라메터는 기존 비디오 스트림에 부가적인 메타데이터 형태로 삽입되며, 디코더 측에서는 역파라메터화를 통해 원본 노이즈 패턴을 재구성한다.

실험 설정은 두 단계로 구성된다. 첫 번째는 단순 실시간 노이즈 감소(pre‑filter)만 적용한 경우이며, 두 번째는 앞서 제안한 파라메트릭 노이즈 모델링을 HEVC와 결합한 경우이다. 테스트 시퀀스는 다양한 움직임과 텍스처를 포함한 표준 영상 집합을 사용했으며, 주관적 품질 평가는 11점 척도의 MOS를 통해 수행되었다. 결과는 파라메트릭 모델링이 적용된 경우 평균 1.8 MOS 상승을 보였으며, 이는 특히 저비트레이트 상황에서 눈에 띄는 개선으로 나타났다. 또한, 단순 노이즈 감소만으로도 약 0.7 MOS 정도의 향상이 확인되어, 노이즈 관리가 코딩 효율에 미치는 영향을 재조명한다.

기술적 관점에서 주목할 점은 파라메터 전송 비용이 전체 비트레이트에 비해 미미하다는 것이다. 저차원 파라메터는 일반적인 비디오 프레임당 수십 바이트 수준에 머물러, 전체 압축 효율을 크게 해치지 않는다. 또한, 파라메터 복원 과정이 복잡하지 않아 실시간 디코딩에 적합하며, 기존 HEVC 파이프라인에 최소한의 수정만으로 통합 가능하다. 한계점으로는 매우 고주파 노이즈나 비정형 잡음(예: 화염, 물방울)에서는 모델링 정확도가 떨어질 수 있으며, 파라메터 추정 단계에서 추가 연산량이 발생한다는 점을 들 수 있다. 향후 연구에서는 딥러닝 기반의 노이즈 파라메터 예측 및 적응형 모델 선택을 통해 이러한 문제를 보완할 여지가 있다.