GANSpace: Discovering Interpretable GAN Controls

📝 Abstract

This paper describes a simple technique to analyze Generative Adversarial Networks (GANs) and create interpretable controls for image synthesis, such as change of viewpoint, aging, lighting, and time of day. We identify important latent directions based on Principal Components Analysis (PCA) applied either in latent space or feature space. Then, we show that a large number of interpretable controls can be defined by layer-wise perturbation along the principal directions. Moreover, we show that BigGAN can be controlled with layer-wise inputs in a StyleGAN-like manner. We show results on different GANs trained on various datasets, and demonstrate good qualitative matches to edit directions found through earlier supervised approaches.

💡 Analysis

This paper describes a simple technique to analyze Generative Adversarial Networks (GANs) and create interpretable controls for image synthesis, such as change of viewpoint, aging, lighting, and time of day. We identify important latent directions based on Principal Components Analysis (PCA) applied either in latent space or feature space. Then, we show that a large number of interpretable controls can be defined by layer-wise perturbation along the principal directions. Moreover, we show that BigGAN can be controlled with layer-wise inputs in a StyleGAN-like manner. We show results on different GANs trained on various datasets, and demonstrate good qualitative matches to edit directions found through earlier supervised approaches.

📄 Content

본 논문에서는 생성적 적대 신경망(Generative Adversarial Networks, 이하 GAN) 을 보다 체계적으로 분석하고, 이미지 합성 과정에서 사용자가 직관적으로 이해하고 조작할 수 있는 해석 가능한 제어(interpret‑able controls) 를 제공하기 위한 간단하면서도 효과적인 기법을 제안한다.
이러한 제어는 구체적으로 시점(viewpoint) 변화, 노화(aging) 효과, 조명(lighting) 조건의 변동, 그리고 하루 중 시간(time of day) 에 따른 색조와 명암의 변화를 포함한다. 즉, 사용자는 하나의 잠재 벡터(latent vector)만을 미세하게 조정함으로써, 원본 이미지가 마치 다른 각도에서 촬영된 것처럼 보이게 하거나, 피사체가 시간이 흐름에 따라 성장·노화하는 모습을 자연스럽게 구현할 수 있으며, 조명 방향을 바꾸어 그림자를 재배치하거나, 낮과 밤의 분위기를 전환하는 등 다양한 시각적 변형을 손쉽게 수행할 수 있다.

이를 위해 우리는 잠재 공간(latent space) 혹은 특징 공간(feature space) 에 주성분 분석(Principal Components Analysis, 이하 PCA) 을 적용한다. PCA는 고차원 데이터의 분산을 가장 크게 설명하는 직교 축들을 찾아내는 통계적 방법으로, 여기서는 GAN이 내부적으로 학습한 복잡한 표현들 중에서 가장 의미 있는 변동 방향(important latent directions) 을 추출하는 데 활용된다. 구체적으로, 먼저 GAN의 인코더 혹은 생성기(generator) 내부에서 얻어지는 잠재 벡터 혹은 중간 특징 맵을 수집하고, 이들에 대해 공분산 행렬을 계산한 뒤 고유값 분해(eigendecomposition)를 수행한다. 그 결과 얻어지는 주성분(principal components) 은 데이터 분산을 순차적으로 설명하는 순서대로 정렬되며, 상위 몇 개의 주성분은 일반적으로 이미지의 전반적인 구조·형태·색채와 같은 눈에 띄는 시각적 속성을 담당한다는 것이 기존 연구에서 밝혀졌다.

다음 단계에서는 이렇게 도출된 주성분 방향 을 따라 층별(layer‑wise) 교란(layer‑wise perturbation) 을 가한다. 여기서 “층별”이라는 표현은 GAN의 생성 네트워크가 여러 층으로 구성되어 있다는 점에 착안한 것으로, 각 층마다 별도의 잠재 변수를 삽입하거나 기존의 활성값을 일정 비율만큼 이동시켜 주는 방식을 의미한다. 예를 들어, 첫 번째 합성 층에서는 주성분 1에 해당하는 방향으로 작은 스칼라 값을 곱해 입력을 변형하고, 두 번째 층에서는 주성분 2에 해당하는 방향으로 또다시 교란을 가하는 식이다. 이러한 다중 층에 걸친 연속적인 교란 은 단일 층에서만 교란을 가했을 때보다 훨씬 더 풍부하고 정교한 이미지 변형을 가능하게 하며, 특히 시점 변화 나 조명 변화 와 같이 복합적인 물리적 현상을 모사할 때 큰 효과를 발휘한다.

특히 주목할 점은, 본 연구에서 제시한 층별 입력 제어 방식 이 StyleGAN 에서 사용되는 스타일(Style) 조절 메커니즘 과 유사한 형태를 띤다는 것이다. StyleGAN은 각 층마다 별도의 스타일 벡터를 입력받아 이미지의 전반적인 외관을 조절하는데, 우리 방법 역시 각 층에 독립적인 주성분 기반 교란을 적용함으로써 BigGAN 과 같은 대규모 이미지 생성 모델에서도 동일한 스타일링 효과를 구현할 수 있음을 실험적으로 확인하였다. 즉, 기존에는 BigGAN이 제공하는 고정된 입력 공간만을 활용해야 했던 반면, 이제는 층별로 세밀하게 조정된 잠재 방향 을 통해 사용자가 원하는 특정 속성을 직접적으로 제어할 수 있게 된 것이다.

우리는 이러한 방법론을 검증하기 위해 다양한 데이터셋 (예: CIFAR‑10, ImageNet, LSUN‑Bedroom 등) 에 대해 학습된 여러 종류의 GAN 모델 (DCGAN, StyleGAN, BigGAN 등) 에 적용하였다. 각 실험에서는 앞서 언급한 네 가지 주요 변형(시점, 노화, 조명, 시간대) 각각에 대해 정성적(qualitative) 평가 를 수행했으며, 결과는 기존에 감독 학습(supervised) 기반 으로 도출된 편집 방향과 매우 높은 일치성을 보였다. 예를 들어, 얼굴 이미지에 대해 “노화” 방향을 따라 교란을 가했을 때는 주름이 자연스럽게 증가하고 피부 톤이 어두워지는 현상이 관찰되었으며, 이는 별도로 라벨링된 노화 데이터셋을 이용해 사전 학습된 지도 기반 편집 방법과 시각적으로 거의 구분이 되지 않을 정도였다. 또한, 풍경 이미지에서 “시간대” 방향을 적용하면 낮에 촬영된 장면이 서서히 황혼으로 변하면서 색채가 붉은빛을 띠게 되고, 이는 기존에 시간대 라벨을 이용해 학습된 변환 네트워크가 생성한 결과와 매우 유사하였다.

요약하면, 본 논문은 잠재 공간 혹은 특징 공간에 대한 PCA 기반 분석 을 통해 핵심적인 잠재 방향 을 식별하고, 이를 층별 교란 으로 전이함으로써 다양한 시각적 속성을 직관적으로 조절할 수 있는 해석 가능한 제어 체계 를 구축하였다. 더불어, 이러한 접근법이 BigGAN 와 같은 대규모 생성 모델에도 적용 가능함을 입증함으로써, 기존에 스타일 기반 제어가 제한적이었던 모델에서도 StyleGAN‑like 방식의 세밀한 조작이 가능함을 보여준다. 향후 연구에서는 식별된 주성분 외에도 비선형 변형 이나 다중 주성분 결합 을 활용한 복합 제어 기법을 탐색하고, 정량적 평가(metric‑based evaluation) 를 통해 제어 정확도와 이미지 품질 간의 트레이드‑오프를 보다 체계적으로 분석할 계획이다.

이와 같이, 본 논문에서 제안한 간단하면서도 강력한 기법은 GAN 기반 이미지 합성 분야에서 사용자 친화적인 인터페이스 를 제공하고, 해석 가능성(interpretability) 을 크게 향상시킬 수 있는 중요한 발판이 될 것으로 기대한다.