생성 AI, 답이라면 질문은 무엇인가

초록

본 논문은 생성 AI를 “데이터의 규칙을 학습하고, 이를 기반으로 새로운 데이터를 만들어내는 머신러닝 과제”로 정의하고, 예측·압축·의사결정과의 연관성을 조명한다. 자동회귀, VAE, 정규화 흐름, GAN, 확산 모델 등 다섯 가지 주요 생성 모델 패밀리를 체계적으로 비교하고, 밀도 추정과 실제 생성 사이의 구분을 강조하는 확률론적 프레임워크와 두 사람 게임 이론적 접근을 제시한다. 또한 배포 전후의 모델 수정 기법과 프라이버시·콘텐츠 검출·지식재산권 등 사회적 책임 이슈를 논의한다.

상세 분석

논문은 먼저 “생성”이라는 작업을 예측, 압축, 의사결정이라는 기존 머신러닝 핵심 문제와 연결시켜, 생성이 단순히 데이터를 복제하는 것이 아니라 학습된 확률 구조를 활용해 새로운 샘플을 효율적으로 탐색하는 과정임을 강조한다. 이를 위해 저자는 확률 모델 p(x)와 조건부 모델 p(x|c)를 기본 정의로 삼고, 밀도 추정(density estimation)과 실제 샘플링(generation)의 차이를 명확히 구분한다. 밀도 추정은 모델이 데이터 분포를 정확히 파악하는 데 초점을 맞추는 반면, 생성은 그 분포에서 의미 있는 샘플을 뽑아내는 알고리즘적 절차에 중점을 둔다.

다섯 가지 주요 모델 패밀리—자동회귀 모델, 변분 오토인코더(VAE), 정규화 흐름(Normalizing Flow), 생성적 적대 신경망(GAN), 확산 모델—에 대해 각각의 확률적 해석, 학습 목표, 샘플링 메커니즘을 상세히 비교한다. 자동회귀 모델은 체인 룰을 이용해 순차적으로 조건부 확률을 곱해 전체 로그우도를 최적화하며, 토큰 수준의 노출 편향을 완화하기 위한 스케줄드 샘플링 등 실용적 트릭을 소개한다. VAE는 변분 하한을 통해 명시적 잠재 변수 z를 도입하고, 인코더‑디코더 구조로 효율적인 샘플링을 가능하게 하지만, ELBO 최적화가 실제 데이터 다양성을 충분히 포착하지 못하는 한계가 있다. 정규화 흐름은 역변환 가능한 변환을 연속적으로 적용해 정확한 로그우도 계산이 가능하도록 하며, 고차원 연속 데이터에 강점을 보인다. GAN은 생성자와 판별자 사이의 미니맥스 게임을 통해 실제와 구분이 어려운 샘플을 만들지만, 모드 붕괴와 학습 불안정성이 주요 문제이다. 확산 모델은 노이즈를 점진적으로 제거하는 과정에서 스코어 매칭을 활용해 고품질 샘플을 생성하며, 최근 이미지·음성·비디오 분야에서 급격히 성능이 향상되고 있다.

특히 저자는 Kleinberg‑Mullainathan이 제안한 두 사람 게임 이론 모델을 인용해, “생성자는 데이터 분포를 추정하고, 평가자는 생성된 샘플의 품질을 테스트한다”는 구조를 일반화한다. 이 프레임워크는 모델이 단순히 확률을 맞추는 것을 넘어, 실제 사용 환경에서의 유용성을 평가하도록 설계될 수 있음을 시사한다.

배포 전후 단계에서는 파인튜닝, 프롬프트 엔지니어링, 안전성 필터링, 지식 증류 등 다양한 후처리 기법을 논의한다. 마지막으로 프라이버시 침해 방지를 위한 차등 개인정보 보호, AI‑생성 콘텐츠 탐지를 위한 디지털 워터마크, 그리고 저작권·지식재산권 보호를 위한 법적·윤리적 가이드라인을 제시하며, 기술적 진보와 사회적 책임이 병행되어야 함을 강조한다.