협업 디코딩을 통한 실시간 개인화: 로컬 델타 스티어링

초록

CoSteer는 개인화가 필요한 사용자의 프라이버시를 보호하면서 클라우드 대형 언어 모델(LLM)의 성능을 유지하도록 설계된 프레임워크이다. 로컬에 배치된 소형 모델이 개인 컨텍스트를 이용해 생성한 로그잇 차이를 ‘델타 신호’로 활용하고, 이를 클라우드 LLM의 디코딩 과정에 실시간으로 주입한다. 사용자는 개인 정보가 클라우드로 전송되지 않으며, 최종 토큰만 전송돼 효율성과 프라이버시를 동시에 확보한다.

상세 분석

CoSteer의 핵심 아이디어는 “로그잇 델타 스티어링”이다. 동일한 어휘와 동일한 프리픽스를 공유하는 로컬 소형 모델(SLM)과 클라우드 LLM이 각각 ‘개인화‑비포함’과 ‘개인화‑포함’ 두 가지 입력 조건으로 로그잇을 출력한다. SLM이 개인화 컨텍스트(p pers)를 포함했을 때와 제외했을 때의 로그잇 차이(Δlog π) 를 계산하면, 이는 개인화 방향을 나타내는 신호가 된다. 이 신호는 LLM의 로그잇 공간에 그대로 매핑될 수 있기 때문에, 클라우드에 개인 정보를 전송하지 않고도 LLM의 토큰 분포를 조정할 수 있다.

논문은 이를 온라인 학습(FTRL) 프레임워크와 결합한다. 디코딩 단계마다 현재 정책 π_t 를 목표로 삼고, 이전 단계까지 누적된 유틸리티 u_i 를 이용해 KL‑정규화된 목적함수 U_t 를 정의한다. 일반적인 FTRL 업데이트는 반복 최적화가 필요하지만, CoSteer는 이를 로그잇 수준에서 닫힌 형태로 변형해 π_t(a) ∝ exp