지식의 기하학으로 대형 언어모델 다양성 한계 돌파

초록

본 논문은 의미 공간이 다중 매니폴드 구조로 조직된다는 가설을 바탕으로, 소수의 앵커 생성물을 임베딩해 연속적인 잠재 영역을 구축하고, 이를 xRAG‑style 프로젝터로 LLM에 조건화함으로써 파라미터를 전혀 수정하지 않고도 생성 다양성을 크게 확대한다는 프레임워크를 제안한다. NoveltyBench와 Alternative Uses Test에서 기존 프롬프트 기반·디코딩 기반 방법을 능가하는 결과를 보고한다.

상세 분석

이 연구는 “지식은 의미 공간 안에서 구조화된 매니폴드 형태로 존재한다”는 전제에서 출발한다. 기존의 다양성 증진 기법은 프롬프트 변형, 온도·핵심 샘플링, 다중 에이전트 대화 등 이산적인 컨텍스트 집합을 탐색하는 데 한계가 있다. 논문은 이러한 한계를 극복하기 위해 연속적인 잠재 변수 z 를 도입한다. 구체적으로, 입력 x 에 대해 사전 학습된 임베딩 모델 E 가 토큰‑레벨 의미 표현 e = E(x) 를 생성하고, LLM이 초기 앵커 응답 m 개를 생성한다. 이 앵커들을 동일한 임베딩 모델에 다시 매핑해 Aₓ ={e₁,…,e_m} 이라는 이산 집합을 만든 뒤, 선형 보간 z = (1‑λ)e_i + λe_j 와 작은 잡음·진화적 탐색을 결합해 연속적인 서브매니폴드 Zₓ 를 정의한다.

핵심 기술은 xRAG(Cheng et al., 2024)에서 제안된 멀티모달 프로젝터 g 을 활용해 z 를 LLM의 토큰 임베딩 공간에 직접 삽입함으로써, 파라미터를 고정한 채 모델의 조건부 분포 pθ(y|c) 를 변형한다. 수식 (4)‑(6)에서 보듯, 이 접근법은 Var_z E