개인화 토큰 가중치 학습: PerContrast와 PerCE로 보는 LLM 맞춤화 혁신

초록

본 논문은 대형 언어 모델(LLM)의 출력 토큰마다 개인화 기여도를 정량화하고, 이를 학습 시 가중치로 활용하는 새로운 방법론인 PerContrast와 PerCE를 제안한다. 퍼스널 인플루언스 비율(PIR)을 통해 토큰 수준의 인과적 개인화 효과를 측정하고, EM‑형식의 온라인 루프에서 토큰 가중치를 추정·최적화한다. 실험 결과, 다양한 모델과 데이터셋에서 평균 10% 이상, 최고 68%까지 개인화 성능이 향상되었으며, 교차 작업·시나리오 전이에서도 강력한 효과를 보였다.

상세 분석

이 연구는 “개인화는 토큰 수준에서 불균등하게 기여한다”는 직관을 정량적·이론적으로 뒷받침한다. 기존 개인화 연구는 전체 응답을 하나의 목표로 삼아 학습하지만, 실제로는 스타일 토큰, 정보 토큰 등 개인화에 핵심적인 토큰과 그렇지 않은 토큰이 혼재한다. 저자들은 이를 해결하기 위해 두 가지 핵심 메커니즘을 설계했다.

1. PerContrast: 사용자 프로필(p_u)과 질의(x)를 포함한 전체 컨텍스트와, 프로필을 제거한 대조 컨텍스트 사이에서 동일 토큰 y_i의 로그 확률 차이를 계산한다. 이 차이를 Personal Influence Ratio(PIR)라 정의하고, 인과 그래프(DAG)를 통해 PIR이 토큰‑레벨 인과 효과(Causal Effect)와 동등함을 정리(정리 2.3)한다. 즉, PIR은 “프로필이 없었을 때와 있을 때 토큰이 얼마나 달라지는가”를 직접 측정하는 지표이며, 이는 토큰이 개인화에 얼마나 의존하는지를 나타낸다.

2. PerCE: PIR을 토큰 가중치 w_i의 추정값으로 사용한다. 가중치는 클리핑(