다중 인컨텍스트 지식 업데이트에서 검색 편향 진단

초록

본 논문은 동일한 질문에 대해 여러 차례 업데이트된 사실이 동시에 존재할 때 대형 언어 모델(LLM)이 최신 정보를 정확히 회수하지 못하고 과거 정보를 과잉 활용하는 ‘검색 편향’ 현상을 규명한다. 인지심리학의 AB‑AC 간섭 패러다임을 차용해 동적 지식 인스턴스(DKI) 프레임워크를 설계하고, 초기와 최신 상태를 각각 질의하는 엔드포인트 프로빙을 통해 편향 정도를 정량화한다. 다양한 LLM을 실험한 결과, 업데이트 횟수가 늘어날수록 최신 상태 정확도는 급격히 떨어지고 초기 상태 정확도는 유지되는 현상이 관찰된다. 내부 신호(Attention, 은닉 상태 유사도, 로짓) 분석은 오류 상황에서 이러한 신호가 평탄해져 최신 정보를 구별하기 어려워짐을 보여준다. 인지심리학적 기억 강화 기법을 프롬프트에 적용한 개입 전략도 성능 향상이 제한적이며 편향을 완전히 해소하지 못한다.

상세 분석

이 연구는 “다중 업데이트 상황에서 LLM이 어떻게 정보를 검색하고 선택하는가”라는 근본적인 질문에 접근한다. 기존 연구는 주로 단일 업데이트 혹은 충돌 상황만을 다루어, 여러 버전이 동시에 존재하는 현실적인 시나리오를 간과했다. 논문은 이를 인지심리학의 AB‑AC 간섭 모델에 비유함으로써, 동일 cue(A)에 대해 연속적으로 다른 value(B, C, …)가 연결될 때 발생하는 기억 경쟁 메커니즘을 LLM의 컨텍스트 처리와 연결시켰다.

핵심 기법인 Dynamic Knowledge Instance(DKI) 프레임워크는 cue‑value 쌍의 시계열을 정의하고, 업데이트 길이 T를 조절함으로써 실험적 통제력을 확보한다. 두 종류의 DKI를 구축했는데, (1) 무작위 단어를 사용한 합성 cue‑value 시퀀스는 사전 지식의 간섭을 최소화해 순수한 컨텍스트 추적 능력을 평가하고, (2) 실제 세계의 시간에 따라 변하는 속성‑값 쌍을 재구성한 실제 DKI는 모델이 실제 지식 변동을 얼마나 잘 반영하는지를 검증한다.

엔드포인트 프로빙은 가장 오래된 값 V(1)과 최신 값 V(T)을 각각 질의함으로써 ‘초기‑최신 정확도 차이(Early‑Latest Accuracy Gap, ELAG)’를 정량화한다. 실험 결과, 모델군(예: GPT‑3.5, LLaMA‑2, Claude 등) 전반에 걸쳐 ELAG가 업데이트 수와 거의 선형적으로 증가한다는 점이 눈에 띈다. 특히 최신 상태 정확도는 3~5번 업데이트 이후 급격히 하락하며, 초기 상태 정확도는 80% 이상을 유지한다. 이는 모델이 “과거에 본” 정보를 장기 기억처럼 보존하면서도, 새로운 정보를 ‘단기 버퍼’에만 얕게 저장한다는 가설을 뒷받침한다.

내부 신호 분석에서는 세 가지 지표를 사용했다. 첫째, 어텐션 가중치는 정답 토큰 위치에서 각 후보 값 토큰으로의 평균 어텐션을 측정했으며, 정답이 될 경우 높은 어텐션 스코어를 보였지만 오류 경우 어텐션 분포가 거의 균등해졌다. 둘째, 은닉 상태 유사도는 정답 후보와 답변 위치 은닉 벡터 사이의 코사인 유사도로 계산했는데, 정답일 때는 특정 레이어(특히 중간‑상위 레이어)에서 뚜렷한 피크가 나타났지만 오류 시에는 전체 레이어에 걸쳐 평탄한 값이 관측되었다. 셋째, 출력 로짓 및 확률은 최신 값에 대한 확신도가 낮아질수록 로짓 차이가 감소하고, softmax 확률 역시 균등에 가까워졌다. 이러한 평탄화 현상은 모델이 최신 정보를 명시적으로 구분할 내부 신호가 부족함을 의미한다.

개입 전략으로는 인지심리학에서 제시된 ‘반복 재인코딩’, ‘의미적 연결 강화’, ‘우선순위 프롬프트’ 등을 프롬프트 레벨에서 구현했다. 예를 들어, “가장 최근에 업데이트된 정보를 강조해 주세요”와 같은 메타 프롬프트, 혹은 최신 값 앞에 특수 토큰(예: )을 삽입하는 방식이다. 실험 결과, 이러한 기법은 최신 상태 정확도를 평균 5~8% 정도 끌어올렸지만, 여전히 초기‑최신 격차는 크게 남아 있었다. 즉, 프롬프트 기반의 일반적 개입만으로는 근본적인 기억 경쟁 구조를 바꾸기에 한계가 있음을 보여준다.

전체적으로 이 논문은 LLM이 장기 컨텍스트에서 “시간에 따라 변하는 사실”을 추적하는 데 구조적인 약점을 가지고 있음을 과학적으로 입증한다. 이는 향후 모델 설계 시, 기억 트래킹 전용 모듈(예: 외부 키‑값 메모리, 동적 파라미터 업데이트)이나 훈련 단계에서 시간적 일관성을 강화하는 손실 함수를 도입해야 함을 시사한다.