핸드헬드 멀티프레임 초고해상도: 디모자이킹 없이 바로 RGB 합성

본 논문은 스마트폰 카메라의 근본적인 한계—작은 센서 면적, 제한된 조리개, 작은 픽셀 크기, 그리고 Bayer 색상 필터 어레이(CFA)로 인한 디모자이킹 손실—를 극복하기 위해, 멀티프레임 초고해상도(MFSR) 알고리즘을 설계하였다. 기존의 디모자이킹은 색채 채널 간 상관성을 가정하고 보간을 수행하지만, 고주파 텍스처가 손실되고 모아레·색상 왜곡 같은 아티팩트가 발생한다. 저자들은 이러한 문제를 근본적으로 없애고자, 원시 Bayer RAW 이미지들의 연속적인 버스트를 직접 합성해 각 픽셀에 R, G, B 값을 동시에 복원한다. 핵심 전제는 손에 든 스마트폰을 촬영할 때 발생하는 자연스러운 손떨림이 서브픽셀 수준의 무작위 오프셋을 제공한다는 점이다. 손떨림은 8–12 Hz의 주파수와 약 0.1–0.3 pixel 정도의 진폭을 가지며, 이는 인간이 의도적으로 움직임을 가하지 않아도 충분히 다양한 샘플링 위치를 만든다. 논문은 실험을 통해 이러한 오프셋이 초고해상도 재구성에 필요한 ‘샘플 다양성’을 충족함을 입증한다(Section 4). 알고리즘 흐름은 다음과 같다. (a) Zero‑Shutter‑Lag 모드에서 최근 캡처된 N개의 RAW 프레임을 버퍼에서 추출한다. (b) 각 프레임을 기준 프레임(base frame)과 피라미드 기반 블록 매칭을 통해 정밀하게 정렬한다. 여기서는 기존 방법보다 더 작은 탐색 윈도우와 서브픽셀 보간을 사용해 정렬 오차를 최소화한다. (c) 정렬된 프레임마다 로컬 그라디언트와 구조 텐서를 계산해 비등방성 커널을 설계한다. 커널은 로컬 에지 방향에 따라 길이를 늘리거나, 평탄 영역에서는 원형으로 유지돼 고주파 디테일을 보존한다. (d) 각 프레임의 샘플은 커널 회귀를 통해 목표 좌표에 투사되며, 이때 모션 로버스트니스 모델이 적용돼 정렬 벡터의 일관성, 색상 분산, 텍스처 강도 등을 고려해 가중치를 부여한다. (e) 모든 프레임의 기여를 색채별로 누적한 뒤, 채널당 정규화 과정을 거쳐 최종 RGB 이미지를 생성한다. 이 과정은 12 MP 입력에 대해 100 ms 이내에 완료될 수 있도록 최적화되었으며, 모바일 GPU/CPU 혼합 실행을 전제로 설계되었다. 실험 결과, 기존 디모자이킹+단일 프레임 SR 파이프라인 대비 약 1.5배 이상의 공간 해상도와 2배 이상의 신호대잡음비(SNR) 향상을 달성했다. 특히, 움직이는 물체가 포함된 씬이나 부분적인 가려짐이 있는 경우에도 로버스트니스 모델 덕분에 눈에 띄는 아티팩트가 거의 발생하지 않았다. 관련 연구와 비교했을 때, 본 방법은 (1) 단일 이미지 SR이 갖는 강한 사전 가정(예: 고정된 블러 커널)을 피하고, (2) 비디오 SR이 요구하는 연속 프레임 전송 및 높은 연산량을 필요로 하지 않으며, (3) 기존 RAW 버스트 합성 방식(Hasinoff et al. 2016)과 달리 디모자이킹 자체를 없애고 직접 RGB를 재구성한다는 점에서 차별화된다. 또한, 커널 기반 회귀와 로컬 통계 기반 가중치 부여는 실시간 렌더링 분야에서 사용된 기법들을 차용하면서도 사진 촬영이라는 정적 이미지 도메인에 맞게 재구성하였다. 최종적으로 이 알고리즘은 구글 플래그십 스마트폰의 ‘Super‑Res Zoom’ 및 ‘Night Sight’ 모드의 핵심 엔진으로 채택되었으며, 사용자는 별도의 촬영 보조 장치 없이도 DSLR 수준의 디테일과 저조도 성능을 경험할 수 있다. 논문은 향후 고해상도 디지털 줌, 비디오 프레임 간 초고해상도, 그리고 다른 센서 형태(예: Quad‑Bayer)에도 적용 가능함을 제시하며, 손떨림을 유용한 신호로 전환하는 새로운 패러다임을 제시한다.