프롬프트 튜닝에서 임베딩 사전분포 활용으로 해석 가능성과 제어성 강화

초록

본 연구는 프롬프트 튜닝 시 자주 나타나는 임베딩 붕괴 현상이 모델 성능에 미치는 영향을 조사한다. 베이지안 사전분포(가우시안, 구조화 가우시안, 배제·보간 가우시안, VAE‑샘플링)를 설계하고, Soft Prompt와 Deep Prompt 튜닝에 적용해 사전이 최종 임베딩 위치와 다양성에 미치는 역할을 분석한다. 실험 결과, 사전은 임베딩 위치를 크게 좌우하지만, 사전 종류에 관계없이 모델은 활성화 공간의 서로 다른 영역(심지어 완전히 새로운 영역)에서도 동일한 수준의 성능을 유지한다는 점을 발견했다. 또한, NLP와 수학 과제 간에는 명확한 활성화 클러스터가 형성되는 반면, 같은 분야 내 과제들은 동일 클러스터에 머무른다. 이러한 결과는 프롬프트 튜닝의 제어 가능성을 강조하고, 향후 체인‑오브‑쓰스(COT) 디스틸레이션 등에서 사후분포를 초기화에 활용할 가능성을 시사한다.

상세 분석

이 논문은 프롬프트 튜닝에서 관찰되는 ‘임베딩 붕괴(embedding collapse)’ 현상을 근본적인 한계로 보지 않고, 사전분포(prior)를 통해 이를 조절할 수 있는 가능성을 탐구한다. 연구자는 먼저 LLaMA‑1B(16‑layer) 모델에 대해 Soft Prompt와 Deep Prompt 두 가지 변형을 적용했으며, 각각 20개의 토큰 임베딩(또는 3개의 마지막 레이어에 20개의 레이어‑레벨 임베딩)을 학습시켰다. 실험 데이터는 SQuAD(질문‑응답)와 DeepMind Math(산술) 두 도메인을 사용해 NLP와 수학 과제 간의 활성화 분포 차이를 살폈다.

사전 설계는 크게 네 가지로 구분된다. (1) 등방성 가우시안(σ²I) – 가장 단순한 베이스라인으로, 사전이 구조를 전혀 제공하지 않음. (2) 구조화 가우시안(μ, Σ) – 사전 토큰 임베딩의 평균·공분산을 추정해 차원 간 상관관계를 반영, 기존 클러스터와의 거리 유지에 기여한다. (3) 가우시안 배제(Gaussian exclusion) – 고밀도 영역을 넓은 분산(c·dim·Σ)으로 확장한 뒤, 확률 밀도 비율에 따라 샘플을 거부함으로써 ‘새로운’ 영역을 강제한다. (4) 가우시안 보간(Gaussian interpolation) – 사전 도메인과 목표 도메인의 가우시안을 선형 보간해 중간 지점을 샘플링, 두 영역 사이의 ‘브릿지’를 형성한다. 추가로 VAE‑샘플링을 통해 비선형적인 잠재 공간을 탐색하였다.

시각화(t‑SNE, PCA) 결과는 몇 가지 핵심 인사이트를 제공한다. 첫째, 문장 수준의 트래젝터리는 토큰 임베딩 공간에서도, 고층 활성화 공간에서도 국소화되지 않고 ‘점프’하는 경향을 보였다. 이는 사전 설계 시 특정 문장 흐름에 맞춘 정밀한 제어보다는 전반적인 분포 특성을 고려해야 함을 의미한다. 둘째, NLP 과제(SQuAD)와 수학 과제는 활성화 공간에서 명확히 구분되는 클러스터를 형성했으며, 같은 분야 내 과제들은 거의 동일한 클러스터에 머물렀다. 이는 모델이 서로 다른 도메인 간에 ‘활성화 격차’를 가지고 있음을 시사한다. 셋째, 사전 종류와 학습률에 따라 프롬프트 임베딩이 사전 토큰 임베딩과 얼마나 멀리 떨어지는지가 크게 달라졌다. 등방성 가우시안 초기화와 높은 학습률(5e‑3)에서는 임베딩이 기존 토큰 클러스터에 수렴하는 경향이 있었지만, 구조화 가우시안 초기화와 낮은 학습률(5e‑4)에서는 보다 넓은 영역으로 퍼졌다.

성능 측면에서는 사전이 임베딩의 위치와 다양성을 크게 바꾸었음에도 불구하고, 최종 정확도·F1 점수는 크게 변동하지 않았다. 즉, LLaMA‑1B는 ‘어디서’ 임베딩이 위치하든 동일한 수준의 작업 수행 능력을 유지한다는 의미다. 이는 프롬프트 튜닝이 사전‑후분포(posteriors)의 제어 가능성을 제공함을 보여준다. 특히, 가우시안 배제와 보간 사전은 임베딩을 완전히 새로운 활성화 영역으로 이동시켰음에도 불구하고, 성능 저하가 관찰되지 않았다.

마지막으로, 논문은 이러한 관찰을 바탕으로 두 가지 향후 연구 방향을 제시한다. 첫째, 제어 가능한 프롬프트 사후분포를 체인‑오브‑쓰스(COT) 디스틸레이션 같은 복합 추론 작업의 초기화에 활용함으로써, 복잡한 사고 과정을 더 효율적으로 학습시킬 수 있다. 둘째, 서로 다른 도메인 간 클러스터 간격을 ‘브릿징’하는 사전(예: 가우시안 보간)을 설계하면, 다중 도메인·다중 모달리티 학습에서 일반화 능력을 향상시킬 가능성이 있다.

전반적으로 이 연구는 프롬프트 튜닝에서 임베딩 붕괴를 단순히 부정적인 현상으로 보는 기존 시각을 넘어, 사전 설계를 통한 제어와 해석 가능성을 제시함으로써, 향후 대규모 언어 모델의 적응성 및 투명성을 높이는 중요한 발판을 제공한다.