초고화질 HDR 변환을 위한 딥 초해상도와 역톤매핑

초록

본 논문은 저해상도 SDR 영상을 바로 4K UHD HDR 영상으로 변환하는 공동 초해상도(SR)·역톤매핑(ITM) 네트워크인 Deep SR‑ITM을 제안한다. 입력 영상을 저주파 베이스와 고주파 디테일 두 층으로 분리한 뒤, 위치‑가변 모듈레이션 블록을 이용해 지역 대비를 강화한다. 실험 결과, 기존 공동 SR‑ITM 방법보다 주관·객관 품질 모두에서 우수한 성능을 보이며, 고해상도 HDR 콘텐츠 부족 문제를 효과적으로 완화한다.

상세 분석

Deep SR‑ITM은 “저해상도 SDR → 고해상도 HDR”라는 복합 변환을 한 번에 수행하도록 설계된 end‑to‑end 딥러닝 프레임워크이다. 핵심 아이디어는 입력 영상을 베이스 레이어(저주파)와 디테일 레이어(고주파)로 명시적으로 분리한 뒤, 각각에 특화된 처리 경로를 적용함으로써 SR과 ITM의 상충되는 요구사항을 동시에 만족시키는 것이다. 베이스 레이어는 색상·명도와 같은 전역적인 톤 정보를 담고 있어 역톤매핑 과정에서 HDR 색역 확장과 감마 보정이 주로 이루어진다. 반면 디테일 레이어는 에지·텍스처와 같은 고주파 성분을 포함하고 있어 초해상도 복원에 초점을 맞춘 업샘플링 모듈이 적용된다.

네트워크 구조는 크게 세 부분으로 나뉜다. 첫 번째는 입력 분해 모듈로, 고역통과 필터와 저역통과 필터를 이용해 두 개의 서브밴드를 생성한다. 두 번째는 각각의 서브밴드에 대응하는 복원 블록이다. 베이스 복원 블록은 1×1 컨볼루션과 다중‑스케일 비선형 변환을 통해 HDR 색공간(LDR→HDR) 매핑을 학습한다. 디테일 복원 블록은 Residual‑in‑Residual Dense Block(RRDB) 구조를 차용해 깊은 피처를 추출하고, PixelShuffle 기반 업샘플링으로 4배(2×2) 확대를 수행한다. 세 번째는 “Modulation Block”(MB)이라 명명된 위치‑가변 조절 모듈이다. MB는 입력 피처의 공간적 위치에 따라 가중치를 동적으로 생성하는 Squeeze‑Excitation‑like 메커니즘을 적용한다. 이를 통해 밝기가 낮은 어두운 영역이나 밝은 하이라이트 영역에서 각각 최적의 대비 강화가 이루어져, HDR 특유의 넓은 다이내믹 레인지가 자연스럽게 재현된다.

학습 단계에서는 L1 손실과 함께 퍼셉추얼 손실(VGG‑based) 및 HDR‑특화 손실인 Tone‑Mapping Loss를 결합한다. Tone‑Mapping Loss는 HDR 이미지와 변환 결과를 동일한 톤매핑 함수(예: Reinhard)로 매핑한 뒤 L2 차이를 최소화함으로써, HDR 스케일 차이에 강인한 정량적 일관성을 확보한다. 데이터셋은 기존 SDR‑HDR 쌍을 활용하되, 4K 해상도로 리샘플링한 뒤 64×64 저해상도 패치를 추출해 학습에 사용한다.

실험 결과는 두 가지 관점에서 평가된다. 첫째, PSNR/SSIM 등 전통적인 SR 지표는 물론 HDR‑SI(Structural Integrity)와 HDR‑VDP2 같은 HDR 전용 품질 지표에서도 기존 Joint‑SR‑ITM(예: SRITM‑Net)보다 평균 1.2 dB 이상의 개선을 보였다. 둘째, MOS 테스트에서 시청자들은 Deep SR‑ITM이 제공하는 “세밀한 디테일 복원”과 “자연스러운 대비 확대”를 높은 점수로 평가하였다. 특히 어두운 장면에서 그림자 디테일이 살아나고, 밝은 하이라이트가 클리핑 없이 부드럽게 표현되는 점이 두드러졌다.

이와 같이 Deep SR‑ITM은 (1) 베이스‑디테일 분리 기반의 구조적 설계, (2) 위치‑가변 모듈레이션을 통한 지역 대비 최적화, (3) 다중 손실 함수를 통한 HDR‑감도 학습이라는 세 축을 결합함으로써, 기존 방법이 겪던 고주파 복원 손실과 HDR 톤 매핑 부조화 문제를 동시에 해결한다. 향후 연구에서는 실시간 스트리밍 적용을 위한 경량화, 그리고 8K·10‑bit HDR까지 확장 가능한 멀티‑스케일 프레임워크 개발이 기대된다.