노이즈 기반 사전학습으로 고해상도 학습 가속화

초록

본 논문은 무작위 노이즈를 목표로 하는 사전학습(pre‑training) 방식을 도입해 신경망 가중치를 초기화한다. 기존의 Xavier·Kaiming 등 확률적 초기화와 달리, 노이즈를 학습함으로써 구조화된 파라미터 상태를 만들고, 이후 이미지 재구성·초해상도·디노이징 등 작업에서 수렴 속도와 고주파 성분 회복을 크게 향상시킨다.

상세 분석

이 연구는 “노이즈 타깃”이라는 매우 단순하지만 효과적인 자기지도(pre‑text) 과제를 제시한다. 네트워크를 무작위 가중치에서 바로 학습시키는 대신, 먼저 입력‑출력 쌍을 동일하게 잡고(입력은 좌표·이미지 픽셀, 출력은 백색 잡음) 일정 에폭 동안 최적화한다. 이 과정은 파라미터 공간을 무작위 점에서 네트워크 구조가 내재한 ‘가능한’ 함수 공간의 중심으로 이동시킨다.

핵심 이론적 근거는 NTK(Neural Tangent Kernel) 분석이다. 표준 초기화에서는 NTK의 고유벡터가 저주파 중심의 계층적 구조를 보이며, 고유값이 급격히 감소해 초기 단계에서 저주파만 빠르게 학습된다(‘spectral bias’). 노이즈 사전학습 후에는 NTK의 스펙트럼이 평탄해지고, 고유벡터가 무작위에 가까운 형태로 변한다. 이는 학습 그래디언트가 특정 주파수 모드에 편중되지 않아, 고주파 성분도 초기부터 충분히 업데이트될 수 있음을 의미한다. 실험 결과, SIREN 기반 INR에서 NTK 고유값의 감소율이 현저히 완만해졌으며, 대각선 밴드가 좁아져 지역적(고주파) 상관성이 강화되는 현상이 관찰되었다.

실제 이미지 재구성 실험에서는 50100 iteration만에 노이즈 초기화가 고주파 디테일을 복원하는 반면, 기존 초기화는 여전히 저주파 중심의 흐릿한 결과를 보였다. 손실 곡선과 PSNR에서도 초기 손실이 다소 높음에도 불구하고, 12 epoch 내에 빠르게 우위를 점했다. DIP 기반 초해상도, 디노이징, 인페인팅에서도 동일한 패턴이 재현되었으며, 전반적인 학습 안정성(진동 감소)과 최종 품질 향상이 보고되었다.

이 접근법의 장점은 데이터·아키텍처 의존성이 전혀 없으며, 사전학습 비용이 몇 백 iteration 정도에 불과해 실용성이 높다는 점이다. 다만, 고주파 민감도가 증가하면서 작은 입력 변동에 대한 취약성이 커질 가능성이 제기된다(논문에서는 ‘robustness trade‑off’로 언급). 또한, 매우 깊거나 비선형성이 강한 네트워크에서는 NTK 근사 정확도가 떨어질 수 있어 효과가 제한될 수도 있다. 향후 연구에서는 노이즈 분포(가우시안·균등)와 사전학습 에폭 수를 최적화하고, 다른 활성화 함수·정규화 기법과의 상호작용을 탐색하는 것이 필요하다.