생성적 적대 네트워크와 인공 호기심의 숨은 관계

초록

**
이 논문은 1990년 제안된 인공 호기심(Artificial Curiosity, AC) 프레임워크가 2014년 등장한 생성적 적대 네트워크(GAN)의 근본 원리와 동일함을 보이고, 1991년 제안된 예측가능성 최소화(Predictability Minimization, PM) 역시 최소-극대 게임 구조를 기반으로 한다는 점을 정정한다. AC‑1990의 두 신경망(생성기와 세계 모델) 사이의 적대적 최소화·극대화 관계가 GAN의 생성기·판별기, 그리고 PM의 인코더·예측기 구조와 일치함을 이론적·역사적으로 조명한다.

**

상세 분석

**
논문은 먼저 1990년 Jürgen Schmidhuber가 제안한 인공 호기심(AC) 모델을 상세히 재조명한다. AC‑1990에서는 하나의 에이전트가 두 개의 신경망, 즉 행동을 생성하는 컨트롤러 C와 그 행동의 결과를 예측하는 세계 모델 M을 동시에 학습한다. M은 예측 오차를 최소화하도록 gradient descent를 사용하고, C는 M이 최소화하는 손실을 최대화하도록 학습한다. 즉, C는 M이 아직 잘 예측하지 못하는 데이터를 의도적으로 만들어 내는 ‘호기심’ 보상을 받는다. 이 구조는 전통적인 강화학습에서 외부 보상이 없는 상황에서도 자체적인 탐색 동기를 제공한다는 점에서 혁신적이다.

다음으로 논문은 GAN을 AC‑1990의 특수한 경우로 해석한다. GAN에서는 생성기 G(=C)가 무작위 노이즈를 입력받아 데이터를 생성하고, 판별기 D(=M)는 해당 데이터가 실제 데이터 집합 X에 속하는지(1) 아닌지(0)를 예측한다. D는 이진 교차 엔트로피 손실을 최소화하고, G는 D가 최소화하는 손실을 최대화한다. 이는 AC‑1990에서 C가 M의 손실을 극대화하는 메커니즘과 완전히 일치한다. 특히, 논문은 2010년 조건부 GAN(cGAN)과 2019년 StyleGAN가 각각 AC‑1990에서 환경 입력을 허용하거나 깊은 층에 노이즈를 주입하는 방식과 어떻게 대응되는지를 구체적으로 설명한다.

또한 Predictability Minimization(PM)도 최소‑극대 게임으로 재분류한다. PM에서는 인코더 E가 입력 데이터를 압축된 코드 z로 변환하고, 각 코드 성분을 별도의 예측기 P_i가 예측한다. 각 P_i는 예측 오차를 최소화하고, E는 이러한 오차를 최대화하도록 학습한다. 이는 AC‑1990에서 C와 M 사이의 적대적 관계와 구조적으로 동일하며, 기존 문헌에서 PM이 최소‑극대 게임이 아니라는 잘못된 주장에 대한 정정이다.

논문은 또한 AC‑1990의 확장인 AC‑1997을 소개한다. 여기서는 두 개의 정책(좌뇌·우뇌)이 프로그램 형태의 실험을 생성하고, 그 실험의 이진 결과에 대해 서로 베팅한다. 베팅 결과에 따라 보상이 주어지며, 각 정책은 상대방을 놀라게 할 실험을 만들려는 동기를 갖는다. 이는 기존의 GAN·PM보다 더 복잡한 메타‑학습·베팅 메커니즘을 포함한다.

마지막으로 수렴 문제와 학습 안정성에 대한 논의가 포함된다. AC‑1990과 그 파생 모델들은 모두 최소‑극대 게임의 고전적 불안정성을 공유한다. 논문은 학습률 조정, 경험 재플레이, 정규화 기법 등 현대 GAN 연구에서 사용되는 안정화 전략이 AC·PM에도 적용 가능함을 제시한다. 전체적으로 이 논문은 1990년대 초반의 이론적 작업이 오늘날 딥러닝에서 폭넓게 활용되는 적대적 학습의 근본 토대임을 설득력 있게 입증한다.

**