Bifrost: 맥락 차이를 메우는 전략적 궤적 스티어링

초록

본 논문은 대규모 언어 모델(LLM) 에이전트가 과거에 성공적으로 수행한 작업 궤적을 새로운 과제의 맥락에 맞게 변환하는 훈련‑무료 방법인 Bifrost 를 제안한다. 저자는 “맥락‑궤적 상관관계”를 발견하고, 숨겨진 상태 공간에서 컨텍스트 차이를 나타내는 스티어링 벡터를 계산해 기존 궤적을 목표 작업에 정밀하게 정렬한다. 이 방식은 파인튜닝 비용 없이도 다양한 벤치마크에서 기존 재사용·파인튜닝 기법을 능가한다.

상세 분석

Bifrost 의 핵심 아이디어는 “맥락‑궤적 상관관계”이다. 저자는 LLM 을 임베딩‑언임베딩 구조로 모델링하고, 입력 텍스트 x 를 숨겨진 상태 h(x) 로, 출력 토큰 y 를 언임베딩 벡터 g(y) 로 매핑한다. 이때 다음 토큰 확률은 exp( h(x)·g(y) ) 로 표현되며, 이는 숨겨진 상태와 출력 방향 사이의 내적이 최대가 되는 방향을 선택한다는 의미다. 이러한 가정 하에, 서로 다른 작업 A와 B 가 공유하는 개념 W 에 대해 h·W 와 g·W 가 독립적인 서브스페이스를 형성한다는 가정을 제시한다(Assumption 1).

맥락이 변하면 숨겨진 상태 h 에 일정한 변위 ¯h_W 가 추가된다(식 3). 이 변위는 스케일 파라미터 α 로 조절되며, 결과적으로 로그잇(logit)도 선형적으로 변한다(정리 2). 즉, 특정 개념에 대한 출력 확률은 α·K·¯h_W 와 비례하게 변동한다. 이를 실험적으로 검증하기 위해 AQUA와 GSM8K 데이터셋에서 100개의 샘플을 추출해 컨텍스트 변환 벡터를 계산하고, α 값에 따른 궤적 유사도가 통계적으로 유의함을 확인하였다.

Bifrost 의 실제 알고리즘은 다음과 같다. 먼저 과거 궤적 C={ (q_i, a_i) }_k 에 대해 각 레이어 ℓ 의 평균 숨겨진 상태 ¯h_ℓ 를 사전 계산한다. 목표 질문 ˆq 에 대해 현재 모델의 숨겨진 상태 h_ℓ(ˆq) 를 구하고, Δ_ℓ = h_ℓ(ˆq) – ¯h_ℓ 를 스티어링 벡터로 정의한다. 이후 모든 레이어 ℓ 에 대해 h_ℓ^s = h_ℓ + α·Δ_ℓ 로 조정하고, 이 스티어링된 상태를 사용해 인컨텍스트 학습 프롬프트(p = C ◦ ˆq)를 입력해 출력 ˆa 를 생성한다. 중요한 점은 α 를 통해 변환 강도를 미세 조정할 수 있다는 점이며, 레이어 선택은 중후반 레이어가 추론 패턴을 가장 잘 반영한다는 기존 연구를 근거로 한다.

이론적 분석에서는 인컨텍스트 학습을 베이지안 추론으로 해석한다. 과거 궤적 C 가 잠재 개념 ϕ 에 대한 사전(p(ϕ|C)) 를 형성하고, 목표 입력 x 에 대한 예측은 해당 사후 분포의 기대값으로 근사된다. Bifrost 는 Δ_ℓ 를 통해 사후 평균을 목표 맥락에 맞게 이동시키면서 분산(불확실성)을 감소시킨다. 이를 통해 일반적인 LLM 에이전트보다 위험(bound) 이 낮아짐을 증명한다. 또한, 다중 개념이 존재하는 복합 작업에서도 서브스페이스 독립성과 인과적 분리성을 가정하면 각 개념별 스티어링이 서로 간섭하지 않음이 보장된다.

실험에서는 질문 응답(AQUA), 수학 추론(GSM8K), 코드 생성(코드베이스) 등 세 가지 도메인에서 다양한 모델 크기(7B70B) 를 대상으로 Bifrost 를 적용했다. 베이스라인으로는 (1) 단순 궤적 재사용, (2) 파인튜닝 기반 자기 개선, (3) 기존 히스토리 기반 프롬프트 엔지니어링 방법을 사용하였다. 결과는 대부분의 설정에서 Bifrost 가 27%p 정도 정확도 향상을 보였으며, 특히 맥락 차이가 큰 GSM8K→AQUA 전이에서 가장 큰 이득을 기록했다. 추가 분석에서는 PCA·Sparse AutoEncoder 로 스티어링 벡터를 압축했을 때도 성능 저하가 거의 없음을 확인해, 메모리 효율성도 확보할 수 있음을 보여준다.

요약하면, Bifrost 는 (1) 맥락‑궤적 상관관계를 이론적으로 정립, (2) 숨겨진 상태 수준에서 컨텍스트 변위 벡터를 계산해 훈련‑무료로 궤적을 변환, (3) 베이지안 관점에서 사후 불확실성을 감소시켜 위험을 낮춤, (4) 다양한 실험에서 기존 방법을 능가하는 실용적 성능을 입증한다는 점에서 자기 개선 에이전트 연구에 중요한 전진을 제공한다.