차세대 비디오 코덱 AV2의 변환·엔트로피 코딩 혁신

초록

AV2는 AV1의 변환·엔트로피 코딩 구조를 전면 개편해, 재설계된 DCT·ADST·FLIP‑ADST 커널, 데이터‑드리븐 변환, 확장된 변환 파티셔닝, 그리고 IST·TCQ·ATC·PARA·FSC·CCTX·PH 등 7가지 신규 도구를 도입한다. 이들 기술은 에너지 컴팩션을 강화하고 부호화 오버헤드를 감소시켜, 기존 AV1 대비 약 30 %의 비트레이트 절감과 품질 향상을 달성한다.

상세 분석

AV2는 변환 단계에서 가장 근본적인 두 축을 개선하였다. 첫째, 1차 변환 커널을 8‑bit 정수 기반 매트릭스 연산으로 재설계하고, 선택적으로 버터플라이 팩터라이제이션을 적용함으로써 하드웨어 구현 비용을 낮추면서도 정밀도를 유지한다. 기존 AV1의 DCT·ADST·FLIP‑ADST·IDTX 조합을 그대로 유지하되, 각 커널의 계수를 데이터‑드리븐 방식(DDT)으로 학습시켜 실제 잔차 통계에 최적화된 변환을 제공한다. 이는 특히 고주파 성분이 풍부한 인터 프레임 잔차와 스크린 콘텐츠의 급격한 경계에서 에너지 집중 효율을 크게 높인다.

둘째, 변환 파티셔닝을 기존의 재귀형 쿼드‑트리에서 8가지 파티션 타입( NONE, SPLIT, HORZ, VERT, HORZ4, VERT4, HORZ5, VERT5)으로 확장하였다. 새로운 HORZ5·VERT5 형태는 H‑shaped 레이아웃을 도입해 가로·세로 비율이 1:8, 1:16인 얇고 긴 블록을 효율적으로 처리한다. 파티션 타입 자체를 별도 문법 요소(do_partition, txfm_4way_partition_type, txfm_2or3_way_partition_type)로 신호화해 부가 비트 오버헤드를 최소화한다.

새로운 변환 도구인 IST(Intra/Inter Secondary Transform)는 1차 변환 후 잔여 에너지를 추가로 압축하는 2차 변환을 적용한다. 학습된 커널을 사용해 DC‑근처와 고주파 영역을 각각 최적화함으로써, 특히 저비트레이트 상황에서 PSNR 및 VMAF 향상이 두드러진다.

양자화 측면에서는 기존 스칼라 양자화에 트렐리스 부호화(TCQ)를 결합하였다. TCQ는 각 계수 레벨에 대해 최적의 비트 할당을 트렐리스 구조로 탐색해, 동일 QP에서도 평균 0.1‑0.2 dB의 품질 상승을 제공한다. 또한 ATC(Adaptive Transform Coding)는 계수 컨텍스트 모델을 동적으로 조정하고, 스캔 순서를 통합해 복잡도는 크게 증가시키지 않으면서 코딩 효율을 개선한다.

엔트로피 코딩 엔진은 MS‑AC(다중 심볼 산술 부호) 구조를 유지하되, PARA(Probability Adaptation Rate Adjustment)로 각 구문 요소별 적응 속도를 세밀히 조정한다. 이는 특히 변동이 큰 모션 벡터와 잔차 계수에 대해 빠른 확률 수렴을 가능하게 하여, 평균 5 % 정도의 비트 절감 효과를 만든다. FSC(Forward Skip Coding)는 스크린 콘텐츠와 고밀도 잔차에 대해 직접 스킵 신호를 전송함으로써, 불필요한 계수 전송을 차단한다. CCTX(Cross Chroma Component Transform)는 색차 평면 간 상관관계를 활용해, 색채 채널 간 중복을 제거하고 색채 품질을 유지하면서 비트레이트를 절감한다. 마지막으로 PH(Parity Hiding)는 DC 계수의 부호와 크기를 패리티 비트에 숨겨 전송함으로써, 별도 DC 신호 전송에 필요한 비트를 절감한다.

전체적으로 AV2는 변환·양자화·엔트로피 코딩을 통합적으로 최적화함으로써, AV1 대비 약 30 %의 비트레이트 절감과 동시에 실시간 인코딩·디코딩을 위한 저복잡도 구현을 가능하게 한다. 특히 하드웨어 친화적인 8‑bit 정수 연산, 파티션 신호 최소화, 그리고 데이터‑드리븐 커널 학습은 차세대 고해상도·고프레임레이트 영상 서비스에 필수적인 설계 선택이라 할 수 있다.