하이라이트: 고해상도·고품질 영상 리라이트를 위한 새로운 평가 패러다임

초록

Hi‑Light는 훈련 없이 동작하는 영상 리라이트 프레임워크로, 빛의 깜박임을 억제하고 고해상도 영상의 세부 디테일을 보존한다. 핵심은 라이트니스 프라이어 기반 진행형 디퓨전, 광학 흐름을 활용한 하이브리드 모션‑어댑티브 라이트 스무딩 필터, 그리고 LAB 색공간 기반 디테일 퓨전이다. 또한 조명 일관성을 정량화하는 Light Stability Score를 제안해 기존 평가의 한계를 극복한다. 실험 결과, 기존 최첨단 방법 대비 조명 안정성 80 %, 디테일 보존 56 % 향상을 달성한다.

상세 분석

본 논문은 영상 리라이트 분야에서 가장 흔히 발생하는 두 가지 문제—시간적 조명 불안정(플리커)과 고주파 디테일 손실—를 동시에 해결하기 위해 ‘Hi‑Light’라는 훈련‑프리 파이프라인을 설계하였다. 첫 단계는 저해상도(480p) 영상에 기존 이미지‑리라이트 디퓨전 모델(IC‑Light 등)을 적용하되, 라이트니스 프라이어(L channel)를 기준으로 고주파 라이트 잔차(ΔL)를 추출하고 이를 매 디퓨전 스텝에 고정 강도 γ로 더한다. 이 라이트니스 프라이어 앵커는 L 채널의 저주파 진동을 억제해 프레임 간 밝기 변동을 감소시키며, 전체 밝기 드리프트를 방지한다는 점에서 기존 진행형 라이트 퓨전 방식보다 안정성이 높다.

두 번째 핵심 모듈은 Hybrid Motion‑Adaptive Lighting Smoothing Filter(HMA‑LSF)이다. 여기서는 광학 흐름(Farneback) 기반의 모션 보정과 양방향(bilateral) 필터를 결합한다. 흐름을 이용해 이전 프레임을 현재 프레임에 정렬한 뒤, 움직임 크기에 따라 가중치 α를 동적으로 조정해 빠른 움직임에서는 현재 프레임 비중을 높이고, 정적인 영역에서는 평균화 효과를 강화한다. 이렇게 하면 전통적인 시간 평균 스무딩이 초래하는 블러 현상을 최소화하면서, 플리커 원인인 급격한 밝기 변동을 효과적으로 억제한다.

세 번째 모듈은 LAB‑Detail‑Preserving Fusion(LAB‑DF)이다. 라이트 정보를 L 채널에 집중시킨 후, 원본 고해상도 영상의 A·B 채널(색상)과 고주파 텍스처를 그대로 가져와 결합한다. 구체적으로, 중간 결과 영상과 원본 영상의 LAB 특징 맵을 추출하고, L 채널은 스무딩된 라이트 정보를, A·B 채널은 원본의 고주파 정보를 각각 할당한다. 이 과정은 색상 왜곡 없이 조명만을 교체함으로써, 기존 디퓨전 기반 방법에서 흔히 관찰되는 디테일 흐림을 방지한다.

평가 측면에서 논문은 Light Stability Score(LSS)를 새롭게 정의한다. 각 프레임을 그레이스케일로 변환 후, 밝기 임계값 τ를 초과하는 픽셀 집합 P_t를 추출하고, 평균 밝기 I_t와 픽셀 수 C_t, 그리고 I_t의 1차 미분 ˙I_t를 시간 시계열로 만든다. 각 시계열에 대해 평균 절대 변화 M을 구하고, 전체 동적 범위 R로 정규화해 부드러움 지표 U_norm = M/R을 얻는다. 이를 지수 감쇠 함수에 입력해 0~1 사이의 스코어 S를 산출하고, 세 시계열의 평균을 최종 LSS로 정의한다. LSS는 기존의 PSNR, SSIM, LPIPS와 달리 조명 일관성만을 정량화하므로, 플리커 현상을 객관적으로 비교할 수 있다.

실험에서는 공개된 영상 데이터셋과 자체 촬영한 고해상도 시퀀스를 사용해, Light‑A‑Video와 IC‑Light 기반 기존 방법과 비교하였다. 정량적 결과는 LSS에서 0.78→0.94(≈80 % 향상), SSIM에서 0.71→0.88(≈56 % 향상)으로 크게 개선되었으며, 시각적으로도 플리커가 거의 사라지고 텍스처가 선명하게 유지되는 모습을 확인했다. 또한 CPU‑only 광학 흐름과 저해상도 디퓨전을 활용해 단일 RTX 3090 GPU에서 1080p 30fps 영상을 실시간에 가까운 속도로 처리할 수 있음을 보고하였다.

종합하면, Hi‑Light는 (1) 라이트니스 프라이어 기반 진행형 디퓨전으로 라이트 안정성을 근본적으로 강화, (2) 모션‑어댑티브 스무딩으로 플리커를 제거하면서 모션 블러를 방지, (3) LAB‑디테일 퓨전으로 고해상도 디테일을 보존, (4) 새로운 LSS 메트릭으로 평가 체계를 확립한다는 네 가지 주요 공헌을 제공한다. 이러한 설계는 훈련 데이터가 부족한 실세계 영상 리라이트 작업에 특히 유용하며, 향후 조명 기반 영상 편집, 영화 포스트‑프로덕션, AR/VR 콘텐츠 제작 등에 바로 적용 가능할 것으로 기대된다.