노이즈가 있는 언어 생성의 힘과 한계

초록

이 논문은 언어 생성 모델에 외부 잡음 문자열이 삽입될 때 발생하는 효과를 정량화한다. 단일 잡음 문자열이 존재만 해도 무잡음 상황에서 가능했던 일부 컬렉션의 생성이 불가능해짐을 보이며, 한 번의 잡음이 있으면 모든 유한 잡음 수준이 동등하다는 놀라운 동등성을 증명한다. 이를 바탕으로 비균일 잡음‑종속 생성 가능성에 대한 최초의 구조적 특성을 제시한다.

상세 분석

본 연구는 Kleinberg‑Mullainathan이 제시한 “언어 생성 in the limit” 모델을 출발점으로, Li·Raman·Tewari가 정의한 균일·비균일 생성 개념을 잡음이 포함된 상황에 확장한다. Raman·Raman(2025)의 잡음 모델에서는 적대자가 최대 n*개의 외부 문자열을 삽입할 수 있으며, 알고리즘은 이 잡음이 섞인 열거를 보고 목표 언어의 새로운 문자열을 생성해야 한다. 논문은 두 가지 주요 정리를 통해 잡음의 영향을 정량화한다. 첫 번째 정리(정리 2.15)는 단일 잡음 문자열만으로도 무잡음에서 생성 가능했던 컬렉션이 생성 불가능해지는 사례를 구성함으로써, 비균일(또는 균일) 생성과 잡음‑비종속 생성 사이에 엄격한 구분이 존재함을 증명한다. 이는 Raman·Raman이 제기한 “비균일 생성이 잡음‑비종속 생성과 동등한가?”라는 열린 질문에 부정적인 답을 제공한다. 두 번째 정리(정리 2.14)는 매우 흥미로운 동등성을 보여준다. 잡음 수준 i≥1이 주어졌을 때, i 수준에서 가능한 컬렉션은 정확히 잡음 수준 1에서 가능한 컬렉션과 동일하다. 즉, 한 번의 잡음이 있으면 추가적인 잡음이 더해져도 생성 능력에 변화가 없으며, 이는 Bai·Panigrahi·Zhang(2026)이 제시한 “잡음 레벨에 따른 무한 계층”과는 정반대의 결과이다. 이 동등성은 잡음‑종속 균일·비균일 생성과 잡음 수준 1에서의 생성이 서로 동치임을 의미한다. 논문은 이러한 동등성을 이용해 비균일 잡음‑종속 생성 가능성을 완전하게 특성화한다. 핵심 기술은 ‘노이즈 클로저’와 ‘노이즈 클로저 차원’ 개념을 활용하여, 알고리즘이 현재까지 관찰한 문자열 집합 S에 대해 안전하게 생성할 수 있는 문자열 집합 ⟨S⟩{C,i}를 정의하고, 이 클로저가 유한한 경우와 무한한 경우를 구분한다. 특히, 비균일 잡음‑종속 생성이 가능하려면 모든 유한 S에 대해 ⟨S⟩{C,i}가 무한해야 함을 보이며, 이는 기존의 비균일 생성 결과와 일치한다. 전체적으로 이 논문은 잡음이 존재할 때 언어 생성 모델의 가능 영역을 정확히 그려내며, 단일 잡음 문자열이 갖는 파괴적 영향과 동시에 잡음 수준이 1이면 모든 유한 잡음이 동등해지는 두 가지 상반된 현상을 동시에 밝힌다. 이러한 결과는 LLM이 실제로 잡음이 섞인 데이터(예: 웹 크롤링, 사용자 입력)에서 학습·생성될 때, 잡음 관리 전략을 설계하는 데 이론적 근거를 제공한다.