GAN 기반 투사기로 빠른 선형 역문제 복구

초록

본 논문은 사전 학습된 GAN의 생성기 G에 대한 네트워크 기반 투사기 P = G ∘ G†를 학습시켜, 내부 최적화 루프 없이 투사형 경사 하강법(PGD)을 수행한다. 제안 방법은 Jacobian 계산을 제거해 60∼80배 속도 향상을 달성하고, 측정 행렬이 제한된 조건(RE C)을 만족하면 O(δ) 복구 오차를 O(log 1/δ) 단계 내에 보장한다. 또한, 데이터‑특정 측정 행렬을 빠르게 설계하는 알고리즘을 제시해 기존 무작위 Gaussian 행렬 대비 5∼10배 적은 측정으로도 높은 복구 성능을 얻는다. 압축 센싱, 초해상도, 인페인팅 등 다양한 선형 역문제에 재학습 없이 적용 가능함을 실험으로 입증한다.

상세 분석

이 논문은 GAN 기반 이미지 사전 모델을 선형 역문제에 적용하는 두 가지 핵심 혁신을 제시한다. 첫 번째는 기존 연구에서 요구되던 비선형 내부 최적화(예: Adam을 이용한 z‑space 최적화)를 완전히 제거하고, 대신 사전 학습된 생성기 G와 그에 대응하는 역변환 네트워크 G†를 결합한 투사기 P = G ∘ G†를 학습한다. G†는 입력 이미지가 생성기 G의 범위 R(G) 외부에 있을 때 최소 거리 투사를 수행하도록 설계되며, 손실 함수는 (i) 재구성 오류 ‖G(G†(G(z)+ν))−G(z)‖²와 (ii) 잠재 변수 복원 오류 ‖G†(G(z)+ν)−z‖²를 가중합한 다중 과제 형태이다. 이 구조는 매 iteration마다 단순히 한 번의 전방·역방향 연산만으로 투사를 구현하므로, Jacobian ∇z G를 계산할 필요가 없어 연산량이 크게 감소한다.

두 번째 혁신은 이 투사 기반 PGD(NPGD)의 수렴성을 이론적으로 보장한다는 점이다. 저자는 제한된 고유값 제약(REC) α ≤ ‖A(x₁−x₂)‖²/‖x₁−x₂‖² ≤ β (∀ x₁,x₂∈R(G))를 도입하고, β/α < 2인 경우에 단계 크기 η = 1/β 로 진행되는 NPGD가 f(x)=‖Ax−y‖²를 기하급수적으로 감소시키며, 최종 복구 오차는 O(δ·√(α/β−1)) 수준으로 수렴함을 정리 1에 명시한다. 여기서 δ는 투사기의 근사 오차이며, δ가 작을수록 정확도가 향상된다.

또한, REC 조건을 만족시키는 측정 행렬 A를 설계하기 위한 실용적인 방법을 제안한다. 저자는 생성기 G의 정규화된 시컨트 집합 S(G) = {(x₁−x₂)/‖x₁−x₂‖ | x₁,x₂∈R(G)} 의 샘플을 추출하고, 기대값 E_s‖As‖²를 최대화하는 행렬을 찾는다. 구체적으로, 시컨트 샘플을 열로 갖는 행렬 D를 구성한 뒤, A* = argmax_{A,AAᵀ=I_m}‖AD‖₂ 의 해는 D Dᵀ의 상위 m 개의 고유벡터가 된다. 이 절차는 O(M n² + n³) 시간에 수행 가능하며, 실험적으로 β/α < 2를 만족하는 행렬을 얻는다.

실험 결과는 세 가지 주요 측면에서 기존 방법을 능가한다. (1) 속도: 내부 루프가 사라진 NPGD는 CSGM·PGD‑GAN 대비 60∼80배 빠르며, GPU 환경에서도 실시간에 근접한다. (2) 정확도: 동일한 측정 비율에서 PSNR/SSIM이 기존 방법보다 크게 개선되며, 특히 61배 압축(1.6 % 측정)에서도 안정적인 복구가 가능하다. (3) 측정 효율성: 설계된 행렬을 사용할 경우, 무작위 Gaussian 행렬 대비 5∼10배 적은 측정 수로도 동일 수준의 복구 품질을 유지한다. 마지막으로, 학습된 G와 P는 측정 행렬 A와 무관하게 재사용 가능하므로, 압축 센싱, 4배 초해상도, 고노이즈 인페인팅 등 다양한 선형 역문제에 별도 재학습 없이 적용할 수 있음을 보여준다.