프리트레인 네트워크를 활용한 GAN 향상: FakeTwins와 판별기 일관성

초록

HP‑GAN은 사전학습된 CNN·ViT 모델을 인코더로 활용해 Barlow Twins 기반의 자기지도 손실(FakeTwins)을 생성 이미지에 적용하고, CNN‑Discriminator와 ViT‑Discriminator 사이에 일관성 손실을 부과한다. 이를 통해 다양성과 품질을 동시에 개선하고, 17개 데이터셋에서 FID 기준 기존 최첨단 방법들을 지속적으로 앞선다.

상세 분석

HP‑GAN은 기존 GAN 연구가 주로 사전학습된 네트워크를 퍼셉추얼 손실이나 특징 투영에만 이용하던 한계를 넘어, 두 가지 혁신적인 메커니즘을 도입한다. 첫 번째인 FakeTwins는 사전학습된 고성능 CNN·ViT를 고정 인코더로 사용하고, Barlow Twins (Barlow Twins)라는 정보‑최대화 기반 자기지도 학습 손실을 생성 이미지에 직접 적용한다. Barlow Twins는 두 개의 서로 다른 데이터 증강(또는 왜곡) 버전을 동일 인코더에 통과시켜 얻은 임베딩 사이의 교차‑상관 행렬을 정규화하고, 이 행렬을 단위 행렬에 가깝게 만들면서 중복성을 최소화한다. 이 과정에서 “다양한 이미지일수록 손실이 낮다”는 가정을 두고, 생성기가 다양한 시각적 패턴을 만들도록 유도한다. 기존의 대비‑학습 기반 SSL(예: SimCLR, MoCo)은 음성 샘플을 필요로 하고 큰 배치 크기에 의존하지만, Barlow Twins는 음성 샘플이 없고 비대칭 네트워크나 대규모 배치가 필요 없어 메모리 효율이 높다. HP‑GAN은 이러한 장점을 그대로 활용해, 생성 이미지가 사전학습된 특징 공간에서 정보량이 풍부하고 중복이 적도록 강제한다.

두 번째 메커니즘은 판별기 일관성(Discriminator Consistency)이다. 기존 GAN에서는 단일 판별기(또는 다중 판별기)만을 사용해 진·가짜를 구분한다. HP‑GAN은 두 종류의 판별기를 동시에 운영한다. 하나는 CNN 기반 특징 맵을 입력으로, 다른 하나는 ViT 기반 토큰 시퀀스를 입력으로 받는다. 구조적 차이 때문에 두 판별기의 출력 스코어는 자연히 차이를 보이지만, 이는 학습 불안정을 야기할 수 있다. 이를 해결하기 위해 두 판별기의 출력(스칼라 혹은 다차원 로그‑오즈)을 L2 혹은 코사인 유사도 기반의 일관성 손실로 묶어, 동일 이미지에 대해 두 판별기가 비슷한 “품질 점수”를 내도록 강제한다. 이 과정은 생성기가 두 판별기로부터 일관된 피드백을 받게 하여, 모드 붕괴와 같은 불안정 현상을 완화한다. 또한 CNN과 ViT가 서로 보완적인 시각 정보를 제공하므로, 일관성 손실은 두 네트워크의 장점을 융합하는 역할을 한다.

실험에서는 17개 데이터셋(대규모 FFHQ, 소규모 포켓몬, 의료 영상 등)을 대상으로 FID, KID, Precision‑Recall, Perceptual Path Length(PPL) 등을 측정했다. Ablation study에서 (a) 기본 FastGAN → (b) Projected GAN(CNN) → (c) ViT 추가 → (d) 일관성 손실 추가 → (e) FakeTwins 전체 적용 순서로 성능이 점진적으로 향상되는 것이 확인되었다. 특히 FFHQ에서 FID가 12.69→1.69으로 10배 이상 감소했으며, PPL도 크게 낮아져 이미지 변형에 대한 연속성이 개선되었다. 소규모 데이터셋에서도 기존 방법 대비 20‑30% 수준의 FID 감소를 기록, 데이터가 부족한 상황에서도 안정적인 학습이 가능함을 입증했다.

핵심 기여는 (1) 사전학습된 네트워크를 고정 인코더로 활용해 생성기에 직접 정보‑최대화 SSL을 적용한 FakeTwins, (2) 서로 다른 구조의 두 판별기 간 일관성을 강제해 학습 안정성을 높인 Discriminator Consistency, (3) 다양한 도메인·데이터 규모에서 일관된 성능 향상을 보인 포괄적인 실험이다. 코드와 모델이 공개돼 재현성과 확장성이 확보되었으며, 특히 의료·예술·소규모 데이터 분야에서 GAN 활용을 고민하는 연구자들에게 실질적인 가이드라인을 제공한다.