이중 도메인 점진 정렬로 오류 전파를 차단한 학습 기반 비디오 압축

초록

기존 학습 기반 비디오 압축은 정확한 시간 정렬과 오류 전파 문제 사이에서 딜레마에 빠져있었습니다. 본 연구는 통합 변환 프레임워크에 거친 픽셀 도메인 정렬과 정교한 잠재 도메인 정렬을 결합한 ‘이중 도메인 점진적 시간 정렬’ 방법과, 품질에 따라 각 픽셀의 양자화를 동적으로 조절하는 ‘품질 조건부 전문가 혼합(QCMoE)’ 모듈을 제안합니다. 이를 통해 오류 전파 없이 우수한 압축 성능과 연속적 비트레이트 제어를 가능하게 했습니다.

상세 분석

본 논문이 해결하고자 한 근본적인 문제는 학습 기반 비디오 압축의 구조적 딜레마입니다. 고성능을 내는 ‘분리 변환’ 프레임워크는 서로 다른 인코더/디코더를 I-프레임과 P-프레임에 사용해 우수한 Rate-Distortion 성능을 보이지만, 이전 프레임의 복원 오류가 이후 프레임으로 누적되는 ‘오류 전파’ 문제가 불가피했습니다. 반면, 오류 전파를 근본적으로 차단하는 ‘통합 변환’ 프레임워크는 하나의 변환을 공유하지만, 공유된 잠재 공간에서의 운동 추정/보상이 어려워 성능이 떨어지는 한계가 있었습니다.

제안 방법의 핵심 혁신은 ‘이중 도메인 점진적 시간 정렬’입니다. 이는 단순한 운동은 효율적으로, 복잡한 운동은 정교하게 처리하는 코스-투-파인 접근법입니다. 첫 번째 단계인 ‘거친 픽셀 도메인 정렬’은 단일 참조 프레임으로부터 추정된 광학 흐름을 사용해 기본적인 운동 보상을 제공합니다. 이는 계산 효율적이며 단순 운동 패턴을 잘 처리합니다. 두 번째 단계인 ‘정교한 잠재 도메인 정렬’은 여러 참조 프레임의 잠재 표현을 활용합니다. 여기서 ‘장기 운동 정제 모듈’이 픽셀 도메인에서 추정된 초기 흐름을 정제하고, 이 정제된 흐름으로 ‘흐름 유도 가변형 트랜스포머’가 작동하여 최종적으로 정밀하게 정렬된 잠재 표현을 생성합니다. 이 방식은 복잡하고 장기적인 운동 패턴을 효과적으로 모델링할 수 있습니다.

또 다른 주요 기여는 ‘품질 조건부 전문가 혼합’ 모듈입니다. 기존 가변률 방식이 단일 양자화 생성기에 의존하거나 채널별 스케일링에 그친 반면, QCMoE는 목표 품질 임베딩을 조건으로 삼아 여러 ‘전문가’ 네트워크 중에서 각 픽셀의 시각적 특성과 품질 요구에 맞는 전문가를 동적으로 선택해 양자화 계수를 생성합니다. 이는 보다 세밀하고 내용에 적응적인 비트 할당을 가능하게 하며, 통합 변환 프레임워크와 결합되어 I-프레임과 P-프레임 전체에 걸쳐 일관된 품질 제어를 실현합니다.

실험 결과는 제안 방법이 오류 전파를 제거하면서도 최신 분리 변환 기반 방법들과 견줄 만한 Rate-Distortion 성능을 달성함을 보여줍니다. 이는 통합 변환 프레임워크의 성능 한계를 극복한 의미 있는 진전입니다. 기술적 통찰로는, 운동 정렬 문제를 단일 단계에서 해결하려는 기존 접근과 달리, 픽셀과 잠재라는 두 도메인을 활용한 점진적 정렬이 모션 추정의 ill-posed 문제를 효과적으로 완화한다는 점, 그리고 통합 변환이 가변률 제어의 일관성을 크게 향상시킨다는 점을 들 수 있습니다.