언어 모델 역전: 엔드투엔드 미분으로 최적 프롬프트 찾기

초록

본 논문은 언어 모델(LM)의 ‘역전’ 문제, 즉 원하는 출력 시퀀스를 생성하는 입력 프롬프트를 찾는 문제를 해결합니다. 핵심은 토큰 시퀀스가 아닌 ‘토큰에 대한 확률 분포 시퀀스’의 관점에서 LM을 재정의하여 엔드투엔드 미분 가능한 모델(DLM)을 만드는 것입니다. Gumbel-Softmax 기법과 학습 가능한 온도 매개변수를 활용해 프롬프트를 직접 최적화하며, 길이 10 및 80의 프롬프트로 길이 20의 목표 출력을 안정적으로 생성할 수 있음을 실험으로 입증했습니다.

상세 분석

본 논문의 기술적 핵심은 기존 언어 모델의 두 가지 비미분 가능(Non-differentiable) 장벽을 해결하여 엔드투엔드 역전파를 가능하게 한 점에 있습니다.

첫 번째 장벽은 ‘하드 임베딩(Hard Embedding)’ 모듈입니다. 이는 이산적인 토큰 인덱스를 임베딩 벡터로 변환하는 룩업(Lookup) 연산으로, 토큰 인덱스 자체에 대한 그래디언트가 정의되지 않습니다. 논문은 이 문제를 ‘소프트 임베딩(Soft Embedding)’ 모듈로 대체하여 해결합니다. 입력을 특정 토큰이 아닌, 전체 어휘집(Vocabulary)에 대한 확률 분포(예: