조건부 GAN을 위한 융합 판별기 기반 구조 예측

본 논문은 구조화된 예측(task)에서 조건부 GAN(cGAN)의 판별기 설계가 성능에 미치는 영향을 심도 있게 분석하고, 이를 개선하기 위한 ‘융합 판별기(Fusion Discriminator)’라는 새로운 아키텍처를 제안한다. 기존 cGAN에서는 조건 이미지 x와 목표 이미지 y를 단순히 채널 차원에서 연결(concatenation)한 뒤 판별기에 입력하는 방식이 일반적이었다. 이러한 방식은 고차원 이미지 쌍 사이에 존재하는 비국소적, 고차원 통계적 의존성을 충분히 활용하지 못한다는 한계가 있다. 특히 의미분할이나 깊이 추정과 같이 픽셀 간의 복잡한 관계를 보존해야 하는 작업에서는 이러한 제한이 성능 저하로 이어진다. 저자들은 이러한 문제점을 해결하고자, 입력 이미지 x와 생성(또는 실제) 이미지 y를 각각 독립적인 CNN(ψ와 φ)으로 처리한 뒤, 각 레이어에서 얻어진 특징 맵을 요소별 합산(element‑wise addition)하는 ‘융합 블록’으로 결합한다. 이때 합성은 Conv → Spectral Normalization → ReLU 순서의 연산 뒤에 수행되며, 두 네트워크가 동일한 구조와 깊이를 가지므로 레이어‑레벨에서의 직접적인 비교가 가능하다. 수식 (4)를 통해 ReLU 활성화 함수에 대해 합산이 단순 연결 후 활성화보다 큰 값을 생성함을 보이며, 이는 판별기가 두 입력 모두에서 의미 있는 신호를 동시에 강화시켜 전달한다는 이론적 근거를 제공한다. 구조적 관점에서 보면, 이 방식은 CNN‑CRF가 구현하려는 고차 잠재함수(high‑order potentials)를 명시적으로 설계할 필요 없이, 판별기 자체가 데이터의 고차원 통계와 비국소적 연관성을 학습하도록 만든다. 즉, 판별기가 ‘학습된 손실 함수’ 역할을 수행하면서, 생성기가 보다 구조적으로 일관된 출력을 만들도록 유도한다. 구현 세부 사항으로는, 저자들이 VGG‑16 스타일의 깊은 네트워크와 4‑layer 경량 네트워크 두 가지 변형을 제시한다. 두 네트워크 모두 동일한 ‘fusion block’을 여러 단계에 삽입해 x와 y의 특징을 점진적으로 결합한다. 모든 합성곱 층에는 Spectral Normalization을 적용해 Lipschitz 상수를 제한함으로써 훈련 안정성을 확보하고, Adam 옵티마이저(learning rate 2e‑4, β1=0, β2=0.9)로 최적화한다. 실험은 세 가지 대표적인 구조 예측 태스크에 초점을 맞춘다. 첫 번째는 Cityscapes 데이터셋을 이용해 의미 마스크를 실제 RGB 이미지로 변환하는 ‘마스크‑투‑이미지 합성’이다. 두 번째는 동일 데이터셋에서 의미분할을 수행하며, 세 번째는 NYU‑v2 데이터셋을 이용한 실내 장면 깊이 추정이다. 모든 실험에서 생성기에는 U‑Net 구조를 사용했으며, 비교 대상은 기존의 concatenation 기반 cGAN 판별기와 제안된 융합 판별기이다. 정량적 결과는 다음과 같다. 마스크‑투‑이미지 합성에서는 Fréchet Inception Distance(FID)가 15% 이상 감소했으며, 의미분할에서는 mean IoU가 2.3%p 상승했다. 깊이 추정에서는 RMSE가 0.12m 감소하는 등 전반적으로 성능 향상이 관찰되었다. 또한 Grad‑CAM 시각화 실험을 통해, 융합 판별기가 중요한 구조적 영역(예: 객체 경계, 깊이 급변 구역)에 대해 더 강렬하고 집중된 활성화를 보이며, 이는 판별기가 고차원 구조 정보를 보다 효과적으로 활용하고 있음을 시각적으로 확인할 수 있었다. 논문의 기여는 크게 세 가지로 정리된다. 첫째, 조건부 정보를 특징 공간에서 직접 합성하는 새로운 판별기 설계법을 제시함으로써, 기존 cGAN의 한계를 극복했다. 둘째, 이 설계가 CNN‑CRF와 같은 복잡한 그래프 모델이 요구하는 고차 잠재함수 정의 없이도 고차원 구조 일관성을 학습한다는 점을 실험적으로 입증했다. 셋째, 다양한 비전 태스크에 적용 가능함을 보여줌으로써, 구조 예측 문제에 대한 GAN 기반 접근법의 범용성을 크게 확장했다. 향후 연구에서는 더 복잡한 다중 모달 입력(예: RGB‑D, 라이다)이나 비디오 시퀀스에 대한 확장, 그리고 판별기 내부의 fusion block을 동적으로 학습하도록 하는 메커니즘을 탐색할 여지가 있다.