명시적 속성 기반 디코딩 시 개인화

초록

EXACT는 사전 정의된 해석 가능한 속성 집합을 이용해 사용자의 선호를 명시적으로 모델링하고, 오프라인에서 속성 서브셋을 학습한 뒤 온라인에서는 입력 프롬프트와 가장 유사한 과거 프롬프트의 속성을 검색해 컨텍스트에 삽입함으로써 디코딩 단계에서 개인화된 출력을 생성한다. 이 과정은 이론적 근사 보장과 함께 선호 변동을 완화하며, 실험에서 기존 베이스라인을 크게 능가한다.

상세 분석

EXACT는 기존 디코딩‑시 개인화 방법이 갖는 두 가지 근본적인 한계를 해결한다. 첫째, 사용자의 선호를 암묵적인 프롬프트나 로그잇 스티어링으로 표현하면 해석 가능성이 떨어지고, 사용자 프로필이 고정돼 컨텍스트에 따라 변하는 ‘선호 이동(contextual preference shift)’을 반영하지 못한다. 둘째, 다수의 보조 모델을 필요로 하는 로그잇 스티어링은 추론 비용과 프라이버시 위험을 증가시킨다. EXACT는 이러한 문제를 ‘속성(attribute)’이라는 중간 표현으로 전환한다. 논문은 K개의 사전 정의된 속성을 스타일, 톤, 전문성, 가치 네 가지 대분류로 조직하고, 각 사용자‑프롬프트 쌍에 대해 최대 우도(log‑likelihood) 차이를 기반으로 속성 서브셋을 선택한다. 이때 탐욕적(k‑greedy) 알고리즘을 사용해 O(K·k) 연산으로 최적에 근접한 해를 찾으며, 서브모듈러성 가정 하에 (1‑1/e) 근사 보장을 제시한다.

오프라인 단계에서 얻어진 (프롬프트, 속성) 인덱스는 온라인 단계에서 코사인 유사도 기반 임베딩 검색을 통해 가장 관련성 높은 과거 프롬프트를 찾아 그 속성을 현재 프롬프트에 ‘Attributes: …’ 형태로 삽입한다. 이렇게 하면 동일 사용자의 서로 다른 작업에서도 적절히 다른 속성이 적용돼 컨텍스트 의존적 선호 변동을 자연스럽게 완화한다. 이론적으로는 검색된 속성 집합 A가 원래 프롬프트 x와 가장 높은 조건부 확률 p(y_w|x,A)를 제공함을 보이며, 이는 Bradley‑Terry 모델 하에서 선호 확률을 최대로 만든다.

실험에서는 PRISM, Summarize‑from‑Human‑Feedback 등 인간 선호 데이터셋을 활용해 속성 선택 정확도와 개인화된 텍스트 품질을 평가했다. EXACT는 기존 Prompt‑based, P‑AD, Drift 등 베이스라인 대비 선호 모델링 정확도와 인간 평가 점수에서 5~12% 향상을 기록했으며, 특히 컨텍스트가 크게 달라지는 상황에서 성능 격차가 두드러졌다. 또한 속성 삽입만으로도 추가 파라미터 없이 베이스 LLM 하나만 사용해 추론 비용이 크게 증가하지 않음이 입증되었다.

요약하면, EXACT는 해석 가능하고 경량화된 속성 기반 프레임워크를 통해 디코딩 시 개인화를 구현하고, 이론적·실증적 근거를 모두 제공함으로써 향후 LLM 개인화 연구에 중요한 방향성을 제시한다.