대화 일관성을 위한 사전 처리기 C.A.P. 프레임워크

본 논문은 인간과 대형 언어 모델(LLM) 간의 장기·동적 대화에서 발생하는 맥락 불일치를 사전에 탐지·보정하는 “Context Alignment Pre‑processor”(C.A.P.)를 제안한다. C.A.P.는 (1) 의미 확장, (2) 시간 가중치 기반 대화 이력 검색, (3) 정렬 검증·분기라는 세 단계로 구성되며, 정렬 점수가 임계값 이하일 경우 구조화된 명확화 프로토콜을 통해 사용자와 협업적으로 대화를 재조정한다. 인지 과학·공통 기…

저자: Ding Wei

본 논문은 인간과 대형 언어 모델(LLM) 사이의 장기·동적 대화에서 발생하는 ‘맥락 불일치’ 문제를 해결하기 위해 “Context Alignment Pre‑processor”(C.A.P.)라는 사전 처리 프레임워크를 제안한다. 서론에서는 LLM이 현재 제한된 컨텍스트 윈도우와 단순한 주의 메커니즘에 의존해, 사용자가 전제를 생략하거나 급작스럽게 주제를 전환할 때 기계적인 응답이나 주제 이탈이 빈번히 발생한다는 점을 지적한다. 이러한 현상은 인간 대화에서 공유된 ‘공통 기반(Common Ground)’이 약화될 때 나타나는 ‘수리(repair)’ 메커니즘과 대비되며, 기존 연구는 주로 윈도우 확대, 어텐션 최적화, 인스트럭션 튜닝 등 수동적 접근에 머물러 있다. 관련 연구 섹션에서는 (1) LLM의 컨텍스트 처리 한계—윈도우 크기 제한, 중간 부분 손실, 최근성 편향—를 정리하고, (2) 전통적인 대화 관리 시스템(DST)이 슬롯‑기반, 도메인‑제한형 구조에 의존해 오픈‑도메인 대화에 부적합함을 논한다. 이어서 공통 기반 이론을 소개하며, 인간이 대화 중 불확실성을 감지하면 즉시 명확화를 시도한다는 점을 강조한다. C.A.P.의 핵심 설계는 세 단계 프로세스로 구성된다. 첫 번째 단계, 의미 확장(Semantic Expansion)은 사용자의 단일 명령 A를 중심으로 전제(A⁻)와 함의(A⁺)를 생성한다. 이는 “이 명령을 수행하기 위해 필요한 전제는?”과 같은 메타프롬프트를 작은 LLM에 전달해 자동화한다. 이렇게 확장된 의미 집합 Set(A) = {A⁻, A, A⁺}는 명령을 ‘점’에서 ‘구간’으로 변환해 이후 정렬 검증에 풍부한 의미 정보를 제공한다. 두 번째 단계, 시간 가중치 컨텍스트 검색(Time‑Weighted Context Retrieval)은 전체 대화 이력 H = {H₁,…,H_n} 중 최근 k 라운드를 추출하고, 각 라운드에 시간 거리 Δt_i에 기반한 가중치 W_i = 1/(Δt_i + τ)를 부여한다. τ는 시간 스케일 파라미터로, 급격한 전환이 있더라도 과거 중요한 정보를 완전히 소멸시키지 않도록 설계된다. 이 과정은 인간의 기억에서 최근 정보가 우선시되는 현상을 수학적으로 모델링한다. 세 번째 단계, 정렬 검증·분기(Alignment Check & Decision Branching)는 의미 확장 결과와 가중치가 적용된 이력 사이의 코사인 유사도를 계산한다. Sentence‑BERT와 같은 사전 학습된 임베딩 모델을 사용해 Set(A)와 각 히스토리 라운드 H_j를 고차원 벡터 v로 변환하고, S_align = max_j (W_j · sim(v_set(A), v(H_j))) 를 정의한다. 여기서 sim은 코사인 유사도이며, 최대 가중 유사도를 선택함으로써 현재 명령이 과거 대화와 얼마나 일치하는지를 정량화한다. 정렬 점수 S_align이 사전에 정의된 임계값 θ보다 크면(정렬 확인) 명령을 그대로 LLM에 전달하고, 필요 시 가장 유사한 과거 라운드 H_j를 추가 컨텍스트로 삽입한다. 반대로 S_align < θ이면(정렬 경고) 명확화 프로토콜을 실행한다. 이 프로토콜은 (1) 현재 요청을 재진술, (2) 가장 유사한 과거 라운드와의 차이를 알림, (3) 사용자가 “계속 진행”, “의도 교정”, “새로운 요청” 중 선택하도록 하는 구조화된 인터페이스를 제공한다. 이를 통해 AI가 스스로 불확실성을 인정하고, 인간과 협업적으로 대화를 재조정한다. 이론적 배경에서는 인지 과학의 메타인지적 반성 메커니즘과 HCI의 공통 기반 이론을 연결한다. 인간이 대화 중 이해가 불확실해지면 즉시 확인 질문을 하는 ‘수리’ 과정은 C.A.P.의 정렬 검증·명확화 단계와 일치한다. 또한, 텍스트 기반 인간‑컴퓨터 인터랙션에서 발생하는 높은 ‘그라운딩 비용’을 낮추는 역할을 한다는 점을 강조한다. 구현 방안으로는 C.A.P.를 경량 모듈형 미들웨어로 설계해 기존 LLM 파이프라인에 비침투적으로 삽입할 수 있음을 제시한다. 평가 방법론은 (1) 정렬 점수와 실제 사용자 만족도 간 상관관계, (2) 명확화 프로토콜 도입 전후 대화 효율성(턴 수, 재질문 비율) 비교, (3) 다양한 도메인(코드 작성, 창작, 의학 상담)에서의 일반화 성능을 포함한다. 논의에서는 C.A.P.가 제공하는 장점—맥락 일관성 향상, 사용자 신뢰도 증대, LLM을 ‘파트너’로 전환—을 강조하면서도, (1) 의미 확장 단계에서 작은 LLM의 오류 전파 위험, (2) 시간 가중치 파라미터 τ와 임계값 θ 설정의 도메인 의존성, (3) 추가 연산 비용이 실시간 서비스에 미치는 영향 등을 한계점으로 제시한다. 향후 연구 방향으로는 (a) 의미 확장에 대한 다중 모델 앙상블, (b) 동적 임계값 학습, (c) 멀티모달 대화(음성, 이미지)와의 통합을 제안한다. 결론에서는 C.A.P.가 LLM의 컨텍스트 관리에 새로운 패러다임을 제시하며, 인지 과학·HCI 이론과의 긴밀한 연계를 통해 인간‑AI 협업 대화의 품질을 근본적으로 향상시킬 수 있음을 재확인한다.

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기