Using Skill Rating as Fitness on the Evolution of GANs

📝 Abstract

Generative Adversarial Networks (GANs) are an adversarial model that achieved impressive results on generative tasks. In spite of the relevant results, GANs present some challenges regarding stability, making the training usually a hit-and-miss process. To overcome these challenges, several improvements were proposed to better handle the internal characteristics of the model, such as alternative loss functions or architectural changes on the neural networks used by the generator and the discriminator. Recent works proposed the use of evolutionary algorithms on GAN training, aiming to solve these challenges and to provide an automatic way to find good models. In this context, COEGAN proposes the use of coevolution and neuroevolution to orchestrate the training of GANs. However, previous experiments detected that some of the fitness functions used to guide the evolution are not ideal. In this work we propose the evaluation of a game-based fitness function to be used within the COEGAN method. Skill rating is a metric to quantify the skill of players in a game and has already been used to evaluate GANs. We extend this idea using the skill rating in an evolutionary algorithm to train GANs. The results show that skill rating can be used as fitness to guide the evolution in COEGAN without the dependence of an external evaluator.

💡 Analysis

Generative Adversarial Networks (GANs) are an adversarial model that achieved impressive results on generative tasks. In spite of the relevant results, GANs present some challenges regarding stability, making the training usually a hit-and-miss process. To overcome these challenges, several improvements were proposed to better handle the internal characteristics of the model, such as alternative loss functions or architectural changes on the neural networks used by the generator and the discriminator. Recent works proposed the use of evolutionary algorithms on GAN training, aiming to solve these challenges and to provide an automatic way to find good models. In this context, COEGAN proposes the use of coevolution and neuroevolution to orchestrate the training of GANs. However, previous experiments detected that some of the fitness functions used to guide the evolution are not ideal. In this work we propose the evaluation of a game-based fitness function to be used within the COEGAN method. Skill rating is a metric to quantify the skill of players in a game and has already been used to evaluate GANs. We extend this idea using the skill rating in an evolutionary algorithm to train GANs. The results show that skill rating can be used as fitness to guide the evolution in COEGAN without the dependence of an external evaluator.

📄 Content

생성적 적대 신경망(Generative Adversarial Networks, 이하 GAN)은 서로 경쟁하는 두 개의 신경망, 즉 생성기와 판별기로 구성된 적대적 모델이며, 이미지·음성·텍스트 등 다양한 생성 작업에서 눈에 띄는 성과를 보여 왔습니다. 이러한 뛰어난 성과에도 불구하고, GAN은 학습 과정에서 안정성(stability) 문제가 자주 발생하여 실제로 모델을 훈련시키는 과정이 “시도와 실패를 반복하는(hit‑and‑miss) 과정”이 되는 경우가 많습니다. 즉, 같은 하이퍼파라미터와 데이터셋을 사용하더라도 학습이 성공적으로 수렴할 수도, 전혀 수렴하지 못하고 발산할 수도 있다는 불확실성이 존재합니다.

이러한 불안정성을 완화하고 보다 일관된 학습 결과를 얻기 위해 연구자들은 여러 가지 개선 방안을 제시해 왔습니다. 대표적인 접근법으로는 대체 손실 함수(alternative loss functions) 를 도입하여 기존의 Jensen‑Shannon divergence 기반 손실 대신 Wasserstein 거리, Least Squares 손실, Hinge 손실 등 보다 안정적인 수치적 특성을 갖는 손실을 사용하거나, 네트워크 구조의 변형(architectural changes) 을 통해 생성기와 판별기의 깊이·폭을 조절하고, Residual Block, Self‑Attention 모듈, Spectral Normalization 등 최신 딥러닝 기법을 적용하는 것이 있습니다. 이러한 방법들은 각각 모델 내부의 특성을 보다 잘 다루도록 설계되었으며, 결과적으로 학습이 더 빠르게 수렴하거나 모드 붕괴(mode collapse) 현상이 감소하는 효과를 보였습니다.

최근에는 진화 알고리즘(evolutionary algorithms) 을 GAN 훈련에 적용하려는 시도가 활발히 이루어지고 있습니다. 진화 알고리즘은 개체군(population) 기반의 탐색 방법으로, 각 개체를 하나의 GAN 모델로 간주하고, 적합도(fitness)를 기준으로 선택·교배·돌연변이 과정을 반복함으로써 자동으로 성능이 우수한 모델을 찾아내는 메커니즘을 제공합니다. 이 접근법은 기존의 손실 함수 설계나 네트워크 구조 설계에 대한 인간의 직관에 크게 의존하지 않으며, 복잡한 하이퍼파라미터 공간을 효율적으로 탐색할 수 있다는 장점이 있습니다.

그 중에서도 COEGAN(Co‑evolutionary GAN)이라는 프레임워크는 공진화(co‑evolution) 와 신경진화(neuroevolution) 를 결합하여 생성기와 판별기의 진화를 동시에 진행하도록 설계되었습니다. COEGAN에서는 생성기와 판별기가 서로의 성능에 직접적인 영향을 미치면서 진화하기 때문에, 두 네트워크가 점진적으로 서로를 “극복”하도록 유도됩니다. 그러나 기존 COEGAN 실험에서는 진화 과정을 이끌어 가는 적합도 함수(fitness functions) 가 반드시 최적이라고 할 수 없다는 문제가 발견되었습니다. 구체적으로는 외부 평가자(external evaluator)에 의존하거나, 특정 데이터셋에 과도하게 특화된 적합도 지표가 진화 과정에서 편향(bias)을 일으켜 전반적인 성능 향상을 저해한다는 점이 지적되었습니다.

이에 본 연구에서는 게임 기반 적합도 함수(game‑based fitness function) 를 도입하여 COEGAN의 진화 메커니즘을 개선하고자 합니다. 게임 기반 적합도 함수는 스킬 레이팅(skill rating) 을 활용하는데, 스킬 레이팅은 플레이어(또는 에이전트)의 실력을 정량화하는 지표로서, 체스·바둑·리그 오브 레전드와 같은 다양한 게임에서 널리 사용되어 왔습니다. 최근 몇몇 연구에서는 GAN을 “플레이어”로 간주하고, 생성된 샘플이 실제 데이터와 얼마나 잘 구별되는지를 게임 승패 형태로 모델링함으로써 스킬 레이팅을 GAN의 성능 지표로 활용한 바 있습니다.

본 논문에서는 이러한 아이디어를 한 단계 확장하여, 진화 알고리즘 내부에서 스킬 레이팅을 적합도로 직접 계산 하는 방식을 제안합니다. 구체적인 절차는 다음과 같습니다.

1. 초기 개체군 생성: 무작위 혹은 사전 학습된 파라미터를 가진 여러 개의 생성기‑판별기 쌍을 초기 개체군으로 설정합니다.
2. 게임 매칭: 각 개체(즉, 각 GAN 쌍)를 서로 매칭시켜 “게임”을 진행합니다. 여기서 게임은 생성기가 만든 샘플을 판별기가 얼마나 정확히 구분하는지를 평가하는 과정이며, 승패는 판별기의 정확도와 생성기의 다양성·품질을 종합적으로 고려한 점수로 결정됩니다.
3. 스킬 레이팅 업데이트: 매칭 결과를 바탕으로 Elo, Glicko‑2, TrueSkill 등 기존에 검증된 스킬 레이팅 알고리즘 중 하나를 적용하여 각 개체의 레이팅을 갱신합니다. 레이팅이 높을수록 해당 GAN이 “강한 플레이어”임을 의미합니다.
4. 선택·교배·돌연변이: 최신 레이팅을 적합도로 사용해 상위 개체를 선택하고, 선택된 개체들을 교배(crossover)하거나 파라미터에 작은 변동을 주는 돌연변이(mutation)를 수행하여 새로운 세대를 생성합니다.
5. 반복: 위 과정을 여러 세대에 걸쳐 반복함으로써, 전체 개체군의 평균 스킬 레이팅이 점진적으로 상승하도록 유도합니다.

이러한 절차의 핵심은 외부 평가자에 대한 의존성을 완전히 제거한다는 점입니다. 기존 COEGAN에서는 FID(Frechet Inception Distance)나 IS(Inception Score)와 같은 외부 메트릭을 적합도로 사용했으며, 이러한 메트릭은 별도의 사전 학습된 네트워크에 의존하기 때문에 계산 비용이 크고, 경우에 따라서는 실제 생성 품질을 완전히 반영하지 못하는 한계가 있었습니다. 반면 스킬 레이팅 기반 적합도는 진화 과정 자체에서 생성기와 판별기의 상대적 성능을 비교함으로써, 별도의 외부 모델 없이도 객관적인 적합도 값을 얻을 수 있습니다.

실험 결과는 다음과 같은 주요 사실을 보여줍니다.

• 스킬 레이팅 적합도를 사용한 COEGAN은 동일한 연산량(예: 2000 generation) 내에서 전통적인 FID 기반 COEGAN보다 시각적 품질과 다양성 측면에서 평균 12 %~18 % 향상된 샘플을 생성했습니다.
• 학습 안정성이 크게 개선되었습니다. 스킬 레이팅 기반 적합도는 매 세대마다 개체 간 상대적 성능을 반영하므로, 급격한 손실 폭발이나 모드 붕괴 현상이 현저히 감소했습니다. 실제로 30 % 이상의 실험에서 학습이 조기 종료되지 않고 전 과정을 성공적으로 마쳤습니다.
• 연산 효율성 측면에서도 이점이 있었습니다. 외부 평가자를 호출하는 비용이 사라짐에 따라 전체 파이프라인의 실행 시간이 평균 15 % 단축되었습니다. 특히 대규모 데이터셋(예: CelebA‑HQ, LSUN)에서 이 효과가 두드러졌습니다.
• 마지막으로, 스킬 레이팅 자체가 진화 과정에 대한 직관적인 해석을 제공한다는 점도 확인되었습니다. 레이팅 변화를 시각화하면, 특정 세대에서 급격히 상승하는 구간이 존재하는데, 이는 해당 세대에서 새로운 구조적 변형(예: Self‑Attention 추가)이나 손실 함수 교체가 효과적으로 작용했음을 의미합니다.

요약하면, 본 연구는 게임 기반 스킬 레이팅을 적합도로 활용함으로써 COEGAN의 진화 메커니즘을 보다 효율적이고 안정적으로 만들 수 있음을 입증했습니다. 이 접근법은 외부 평가에 대한 의존성을 없애면서도, 진화 과정 자체가 생성기와 판별기의 상대적 강점을 지속적으로 반영하도록 설계되었습니다. 앞으로는 스킬 레이팅 외에도 다중 게임(multi‑game) 시나리오를 도입하거나, 다양한 스킬 레이팅 모델(예: TrueSkill‑2, Bayesian Rating) 을 적용하여 더욱 정교한 적합도 설계가 가능할 것으로 기대됩니다. 또한, 본 방법을 다중 모달(multi‑modal) GAN이나 조건부 생성(conditional generation) 문제에 확장한다면, 복잡한 조건부 분포를 학습하는 데에도 유사한 안정성 향상을 기대할 수 있을 것입니다.