복합 이벤트‑RGB 융합으로 저조도 비디오 복원 및 디블러링

초록

본 논문은 저조도 환경에서 장시간 노출로 인한 흐림과 잡음이 동시에 발생하는 비디오를 개선하기 위해, 이벤트 카메라와 RGB 프레임을 복소수 형태로 결합한 ‘CompEvent’ 프레임워크를 제안한다. 핵심은 복소수 GRU 기반의 시간 정렬 모듈과 복소수 공간‑주파수 학습 모듈로, 두 모달리티를 전 과정에서 지속적으로 융합한다. 실험 결과, 기존 단계적 융합 방식보다 뛰어난 저조도 비디오 향상·디블러링 성능을 보였다.

상세 분석

CompEvent은 저조도·모션 블러라는 이중 악조건을 동시에 해결하기 위해 ‘복소수 신경망’이라는 새로운 패러다임을 도입한다. 먼저, RGB 프레임을 실수부, 이벤트 데이터는 허수부로 매핑한 복소수 텐서를 구성함으로써 두 모달리티가 동일한 연산 흐름 안에서 상호작용하도록 설계했다. 이는 기존 실수값 네트워크가 실수와 허수를 별도 채널로 분리해 처리하는 방식과 달리, 복소수 컨볼루션이 실수·허수 커널을 공유하면서 동시에 연산을 수행하도록 함으로써 파라미터 효율성을 50% 이상 감소시키고, 정보 손실을 최소화한다.

시간 정렬 단계에서는 복소수 GRU(CT‑A‑GRU)를 사용한다. 복소수 게이트(리셋·업데이트)는 복소수 컨볼루션을 통해 계산되며, 실수부(RGB)와 허수부(이벤트)의 상호 보완 정보를 동시에 고려한다. 예를 들어, 빠른 움직임이 있는 영역에서는 이벤트의 고시간 해상도 정보가 리셋 게이트에 반영되어 과거의 흐릿한 RGB 특징을 적절히 억제하고, 최신 이벤트 흐름을 강조한다. 양방향 구조를 채택해 과거·미래 프레임 모두를 활용함으로써 저조도·노이즈 환경에서도 안정적인 시간 정렬을 달성한다.

정렬된 복소수 특징은 이후 복소수 공간‑주파수 학습 모듈(CSFL)로 전달된다. CSFL은 U‑Net 형태의 계층적 구조에 복소수 공간 컨볼루션과 복소수 푸리에 변환(FFT) 기반 주파수 컨볼루션을 병렬로 배치한 듀얼 브랜치를 포함한다. 공간 브랜치는 텍스처·색상 정보를, 주파수 브랜치는 저주파(조도)와 고주파(에지·디테일) 성분을 각각 강화한다. 복소수 FFT 연산은 실수·허수를 분리하지 않고 복소수 커널을 직접 적용하므로, 주파수 도메인에서의 정보 파편화가 방지되고, 저조도에 의한 저주파 손실과 블러에 의한 고주파 감쇠를 동시에 보정할 수 있다.

전체 파이프라인은 입력 RGB와 이벤트를 복소수 텐서로 통합 → CT‑A‑GRU로 시간 정렬 → CSFL로 공간·주파수 복합 복원 → 잔차 맵을 원본에 더해 최종 고품질 비디오를 출력한다. 실험에서는 RELED, ED‑TF 등 기존 저조도·디블러링 데이터셋에서 PSNR/SSIM 모두 1‑2dB 이상 향상되었으며, 시각적 품질에서도 흐림·노이즈 감소가 뚜렷하게 관찰되었다. 복소수 연산의 수학적 안정성, 파라미터 절감, 그리고 전 과정 융합이라는 설계 철학이 저조도 비디오 복원 분야에 새로운 가능성을 제시한다.