저조도 RAW 이미지 고속 향상을 위한 효율적 멀티스케일 네트워크 ERIENet

초록

ERIENet은 RAW 이미지의 녹색 채널 정보를 활용하고, 다중 스케일을 완전 병렬로 처리하는 효율적인 컨볼루션 구조와 채널‑인식 잔차 밀집 블록(CRDB)을 도입해 4K 해상도에서도 146 FPS 이상의 실시간 속도로 저조도 이미지를 고품질 sRGB로 복원한다.

상세 분석

본 논문은 저조도 환경에서 RAW 데이터를 직접 처리함으로써 기존 sRGB 기반 방법보다 더 넓은 동적 범위와 색상 세부 정보를 확보한다는 점에서 출발한다. 그러나 RAW 이미지의 고해상도 특성은 연산량과 메모리 요구를 급격히 증가시켜 실시간 적용을 어렵게 만든다. 이를 해결하기 위해 저자들은 세 가지 핵심 설계를 제안한다.

첫째, 입력 Bayer‑RGGB RAW를 4×, 8×, 16×로 각각 다운샘플링한 뒤, 각 스케일에 독립적인 경로를 두어 완전 병렬로 특징을 추출한다. 이렇게 하면 가장 낮은 해상도 경로에 연산을 집중하면서도 고해상도 경로에서 세밀한 텍스처를 보존할 수 있다. 기존의 순차적 피라미드 구조와 달리 스케일 간 상호 의존성을 최소화해 GPU 파이프라인 활용도를 극대화한다.

둘째, 각 경로에 삽입된 Channel‑aware Residual Dense Block(CRDB)은 전통적인 Residual Dense Block에 Efficient Channel Attention(ECA)을 결합한다. ECA는 1‑D 컨볼루션 기반의 채널 상호작용을 통해 복잡도는 거의 증가시키지 않으면서도 중요한 채널을 강조한다. CRDB 내부에서는 ReLU‑Conv 레이어를 여러 개 쌓아 출력들을 concatenate하고, 1×1 컨볼루션으로 차원을 축소한 뒤 ECA를 적용한다. 이 설계는 고해상도 RAW의 풍부한 채널 정보를 효과적으로 재조정하면서도 FLOPs를 1.13 G 이하로 낮춘다.

셋째, RAW 이미지에서 녹색 채널이 픽셀 수와 밝기 민감도 면에서 우수함을 이용해 Green Channel Guidance(GCG) 브랜치를 도입한다. GCG는 3×3 컨볼루션으로 녹색 채널로부터 γ, β 파라미터를 추출하고, 이를 Spatially‑Adaptive Normalization(SAN)에 삽입해 해당 스케일의 특징 맵을 동적으로 보정한다. 결과적으로 어두운 영역의 디테일 복원과 색상 균형이 크게 향상된다.

손실 함수는 L1 손실에 더해 Wavelet‑SSIM 및 Wavelet‑MSE를 결합한다. Haar 웨이브릿을 3단계 적용해 고주파 성분을 강조함으로써 노이즈 억제와 미세 구조 복원을 동시에 달성한다.

실험에서는 SID와 ELD 두 저조도 RAW 데이터셋을 사용했으며, PSNR·SSIM·LPIPS 모두에서 기존 최첨단 방법들을 앞선다. 특히 4K 해상도 이미지에 대해 146 FPS(RTX 3090)라는 실시간 수준을 기록했으며, 파라미터 수는 39 M, FLOPs는 1.13 G로 경량화에 성공했다. Ablation 연구에서는 멀티스케일 병렬 구조, GCG‑SAN, CRDB 각각이 성능 향상에 기여함을 정량적으로 입증한다.

전반적으로 ERIENet은 RAW 이미지의 고유 특성을 고려한 네트워크 설계와 효율적인 연산 구조를 통해 저조도 이미지 복원에서 속도·품질·자원 사용량 삼박자를 모두 만족시키는 실용적인 솔루션으로 평가된다.