HEVC 인터프레임 코딩 최신 동향: 최적화, 구현, 그리고 미래

초록

본 논문은 HEVC(High Efficiency Video Coding) 인터프레임 코딩에 대한 최신 연구들을 세 가지 축(빠른 코딩 기법, 하드웨어 구현, 고급 코딩 기술)으로 정리하고, 각 방법의 장·단점, 압축 효율 및 복잡도 감소 효과를 비교한다. 200편 이상의 논문을 리뷰한 최초의 포괄적 설문으로, 실시간 적용과 차세대 코덱 개발에 유용한 지침을 제공한다.

상세 분석

HEVC는 H.264/AVC 대비 약 50 % 이상의 비트레이트 절감 효과를 제공하지만, CU/PU 구조와 정교한 모션 벡터 예측(AMVP, Merge) 등으로 인한 연산량이 4~10배, 실시간 적용 시 5 000배에 달한다. 논문은 이러한 복잡성을 세 부분(CU/PU 파티셔닝, 정수·소수픽셀 모션 추정, 모션 보상)으로 나누어 각각의 가속화 방법을 상세히 분석한다.
첫 번째 축인 ‘빠른 인터코딩 솔루션’에서는 Top‑Down, Bottom‑Up, Prediction‑Based 세 가지 접근법을 구분한다. Top‑Down 방식은 CU를 큰 단위부터 탐색하며 RDCost, CBF, SKIP 모드 등을 이용해 조기 종료 기준을 설정한다. Bayesian, K‑NN, MRF 등 확률 모델을 도입해 파티션 결정을 정밀화한 연구들도 소개된다. Bottom‑Up 방식은 작은 CU부터 시작해 깊이 예측과 역방향 탐색을 수행해 고텍스처·고모션 영역에 집중한다. 그러나 저텍스처·저모션 구간에서는 효율이 떨어지는 한계가 있다. Prediction‑Based 방법은 인접 CU·프레임의 깊이, 모션 벡터 분산, 에지 그라디언트 등 다양한 특징을 활용해 최적 파티션 범위를 직접 예측한다. 이들 기법은 파티션 탐색 횟수를 크게 줄이면서도 RD 손실을 최소화한다는 장점을 가진다.
두 번째 축인 ‘다양한 하드웨어 구현’에서는 GPU, FPGA, ASIC, 멀티코어 CPU 등 플랫폼별 최적화 전략을 정리한다. GPU 기반 구현은 대규모 병렬성을 활용해 IME와 FME의 연산을 동시에 수행하고, 메모리 접근 패턴을 최소화한다. FPGA 설계는 파이프라인 구조와 고정소수점 연산을 통해 전력 효율을 극대화하며, 특히 CU 파티셔닝 로직을 하드웨어 스위치로 구현해 지연을 감소시킨다. ASIC 구현은 전용 모션 벡터 검색 엔진과 고속 인터폴레이션 필터를 탑재해 실시간 8K 스트리밍을 가능하게 한다. 각 구현 방식은 복잡도·전력·지연 측면에서 트레이드오프를 제시하고, 최신 연구에서는 하이브리드 CPU‑GPU 협업 모델이나 동적 전압·주파수 스케일링(DVFS) 기법을 도입해 에너지 효율을 향상시킨 사례를 제시한다.
세 번째 축인 ‘고급 인터프레임 코딩 기술’에서는 어파인 변환 기반 모션 보상, 다중 레퍼런스 프레임 활용, 딥러닝 기반 모션 예측 및 비용 함수 설계 등을 다룬다. 어파인 변환은 회전·스케일 변형을 정확히 모델링해 복잡한 움직임을 효과적으로 압축한다. 다중 레퍼런스 프레임 선택 알고리즘은 후보 프레임 집합을 동적으로 조정해 검색 범위를 축소하면서도 품질을 유지한다. 최근에는 CNN·RNN 기반의 모션 벡터 예측 네트워크가 기존 AMVP보다 높은 정확도를 보이며, 비용 함수에 perceptual loss를 도입해 주관적 품질을 개선한다. 또한, 하이브리드 코덱 설계에서 전통적인 블록 기반 방법과 뉴럴 네트워크 기반 프레임 예측을 결합해 복합적인 이득을 얻는 연구도 소개된다.
전체적으로 논문은 각 기술이 목표로 하는 ‘복잡도 감소 vs. 압축 효율 유지’라는 트레이드오프를 정량적으로 비교하고, 실제 적용 시 고려해야 할 하드웨어 제약·실시간 요구사항·표준 호환성 등을 종합적으로 논의한다. 이는 연구자와 엔지니어가 특정 응용 분야(예: 모바일 스트리밍, 방송 전송, 클라우드 인코딩)에서 최적의 인터프레임 코딩 전략을 선택하는 데 실질적인 가이드를 제공한다.