동적 컨텍스트 프루닝으로 장기 대화 효율성 향상

초록

DyCP는 사전 세그멘테이션 없이 현재 턴에 맞춰 대화 히스토리를 동적으로 선택하는 경량 컨텍스트 관리 기법이다. Kadane 알고리즘을 확장한 KadaneDial을 이용해 연속적인 관련 구간을 추출하고, 이를 순서대로 연결해 LLM에 전달한다. 세 가지 장기 대화 벤치마크와 여러 LLM 백엔드에서 전체 컨텍스트 대비 유사하거나 더 높은 품질을 유지하면서 토큰 사용량과 지연 시간을 크게 감소시킨다.

상세 분석

DyCP는 기존의 요약 기반, 턴‑레벨 검색, 고정된 세그멘트 검색 방식이 갖는 한계를 극복하기 위해 설계되었다. 핵심 아이디어는 현재 사용자 질문 qₙ을 바이‑인코더 B 로 임베딩한 뒤, 이전 턴 h₁…hₙ₋₁의 임베딩과 내적하여 얻은 스코어 시퀀스 S를 기반으로 관련 구간을 탐색하는 것이다. 여기서 사용된 KadaneDial 알고리즘은 전통적인 최대 부분 배열 탐색을 변형해, 스코어를 z‑점수 정규화하고 τ 라는 이득 임계값을 적용해 신호의 변동성을 보정한다. 이후 누적 이득 G가 정지 임계값 θ 보다 작아질 때까지 반복적으로 최고 구간을 추출하고, 이미 선택된 구간은 −∞ 로 마스킹해 중복 선택을 방지한다. 이 과정은 O(n) 시간 복잡도로 수행되며, 실시간 대화 흐름에 거의 부하를 주지 않는다.

DyCP가 제공하는 “연속 구간”은 대화의 순차적 연관성을 보존한다는 점에서 기존의 턴‑레벨 검색이 놓치기 쉬운 맥락 연결성을 유지한다. 또한 사전 세그멘테이션을 요구하지 않으므로 추가 LLM 호출 비용이 발생하지 않는다. 실험에서는 LoCoMo(평균 300 턴), MT‑Bench+(≈ 65 턴), SCM4LLMs(≈ 64 턴) 세 데이터셋에 대해 GPT‑4o, Claude 3.7, GPT‑4o mini 등 128k 토큰 이상을 지원하는 모델을 사용하였다. 결과는 Full Context 대비 평균 30% 이상의 토큰 절감과 2‑3배의 응답 지연 감소를 보였으며, BLEU·ROUGE·GPT‑4o Eval 등 자동 평가 지표와 인간 평가 모두에서 품질 저하가 거의 없었음을 확인했다.

비용 분석에서도 DyCP는 오프라인 전처리 비용이 거의 없고, 온라인 추론 시 단일 LLM 호출만 필요하므로, 메모리 요약이나 다중 에이전트 기반 메모리 컨트롤러가 요구하는 높은 API 비용을 크게 절감한다. 특히 CondMem과 같은 하이브리드 요약‑검색 방식은 전체 대화가 1 M 토큰을 초과하는 경우 전처리 비용이 O(n·|AT|) 로 급증해 실용성이 떨어지는 반면, DyCP는 선형 시간 내에 필요한 구간을 선택한다.

한계점으로는 현재 스코어 계산이 단순 내적에 의존해 의미적 미묘함을 놓칠 수 있다는 점과, τ 와 θ 의 하이퍼파라미터가 데이터셋마다 튜닝이 필요하다는 점을 들 수 있다. 또한, 매우 긴 대화(수천 턴)에서는 스코어 시퀀스 자체가 메모리 부담이 될 수 있어, 슬라이딩 윈도우나 계층적 인덱싱이 추가적으로 고려될 여지가 있다.

전반적으로 DyCP는 “동적·경량·연속성 보존”이라는 세 축을 만족시키는 컨텍스트 관리 솔루션으로, 확장된 LLM 컨텍스트 윈도우와 결합했을 때 비용 효율적인 장기 대화 시스템 구축에 실질적인 가치를 제공한다.