비동기 사고로 실시간 대화형 LLM 구현

초록

본 논문은 기존의 순차적 “읽고‑생각하고‑답변” 사이클을 탈피하여, 사전 학습된 추론 능력을 그대로 활용하면서도 입력을 실시간으로 수용하고 답변을 동시에 출력할 수 있는 비동기 추론 기법인 AsyncReasoning을 제안한다. 위치 임베딩의 기하학적 특성을 이용해 생각(think) 스트림과 작성(writer) 스트림을 하나의 연속된 시퀀스로 재구성하고, 모델이 자체적으로 멈춤·재개 시점을 판단하도록 함으로써, 첫 토큰 응답 시간을 최대 80배, 전체 지연을 12배까지 감소시키면서도 정확도와 안전성을 유지한다.

상세 분석

AsyncReasoning은 기존 LLM이 학습된 “다음 토큰 예측” 구조를 그대로 유지하면서, 추론 단계와 출력 단계를 동시에 진행하도록 설계된 추론‑생성 병렬화 기법이다. 핵심 아이디어는 트랜스포머 모델이 순서를 인식하는 유일한 메커니즘인 위치 임베딩을 동적으로 재배치함으로써, 두 개의 논리적 스트림(‘think’와 ‘write’)을 물리적으로는 동일한 KV 캐시 안에 존재하지만, 서로 다른 위치 인덱스를 부여해 순차적 입력으로 인식하게 만든다. 이를 통해 생각 토큰은 아직 공개되지 않은 상태로 내부에 저장되고, 작성 토큰은 사용자에게 바로 스트리밍될 수 있다.

모델은 일정 간격(예: 20 토큰 또는 문단 종료)마다 “계속 생각할까요?”라는 특수 프롬프트를 삽입하고, ‘yes’와 ‘no’ 토큰의 확률을 비교해 생각 스트림을 이어갈지, 작성 스트림을 일시 정지할지를 스스로 결정한다. 이 방식은 별도의 파인튜닝 없이도 모델이 자체적인 메타‑추론을 수행하도록 하여, 새로운 입력(예: 사용자의 정정, 추가 정보)이나 안전 검증을 백그라운드에서 진행하면서도 사용자에게는 지연 없이 응답을 제공한다.

효율성 측면에서 저자들은 기존 KV 캐시를 재활용하고, 상대적 위치 임베딩을 이용해 토큰 순서를 재구성함으로써 추가적인 메모리 오버헤드 없이 병렬 토큰 처리를 구현한다. 또한, GPU 커널 수준에서 동시 어텐션 연산을 지원하도록 설계해, 기존 추론 프레임워크(예: vLLM, FlashAttention)와 원활히 통합할 수 있다.

실험에서는 수학(수식 풀이), 상식 추론, 안전성 검증 세 가지 벤치마크에서 AsyncReasoning을 적용했으며, 첫 토큰 응답 시간을 5초 이하로 단축하고 전체 지연을 최대 12배 감소시켰다. 정확도는 기존 ‘읽고‑생각하고‑답변’ 방식과 동등하거나 약간 향상되었으며, 특히 안전성 평가에서는 비공개 생각 스트림을 활용해 위험한 출력이 발생하기 전에 사전 차단하는 효과를 보였다.

이 기법은 음성 비서, 로봇 제어, 실시간 인터랙티브 에이전트 등 실시간 상호작용이 필수적인 응용 분야에 바로 적용 가능하며, 추가 학습 없이도 다양한 모델(예: GPT‑4, LLaMA‑2, Qwen)에서 활용할 수 있다는 점이 큰 장점이다.