온라인 인컨텍스트 지식 증류로 LLM 캐스케이드 효율 혁신

초록

Inter‑Cascade는 강력한 LLM이 해결한 문제에 대한 일반화된 풀이 전략을 저장하고, 유사한 이후 질의에 약한 LLM의 프롬프트에 삽입함으로써 실시간으로 지식을 전이한다. 이를 통해 약한 모델의 정확도와 신뢰도는 크게 상승하고, 강한 모델 호출 횟수와 비용은 절감된다.

상세 분석

본 논문은 기존 LLM 캐스케이드가 “메모리리스”하게 동작해 동일하거나 유사한 질의가 반복될 때마다 고비용 모델을 재호출한다는 비효율성을 지적한다. 이를 해결하기 위해 제안된 Inter‑Cascade는 두 가지 핵심 메커니즘을 도입한다. 첫째, 강한 모델이 답변을 생성할 때 단순한 정답뿐 아니라 “전략”(strategy)이라 부르는 토큰 시퀀스를 함께 출력한다. 이 전략은 문제 정의, 핵심 아이디어, 일반화 가능한 풀이 단계 등을 포함하도록 설계돼, 동일 유형의 새로운 질문에 바로 적용될 수 있다. 둘째, 이러한 (질문, 전략) 쌍을 동적으로 성장하는 전략 레포지토리(Repo)에 저장하고, 유사도 기반 매칭 함수 f 를 통해 현재 질의와 가장 관련성이 높은 k 개의 전략을 검색한다. 검색된 전략들은 약한 모델의 입력에 병합되어 인‑컨텍스트 학습 형태로 제공된다.

이 설계는 기존 파인튜닝이나 외부 캐시와는 차별화된다. 파인튜닝은 비용과 시간, API 제한 때문에 실시간 적용이 어려운 반면, 전략 레포는 토큰 수준의 경량 메타데이터만 저장하므로 메모리와 연산 오버헤드가 미미하다. 또한, 전략은 구체적인 정답이 아니라 풀이 과정 자체를 담고 있기 때문에 질문이 약간 변형돼도 재사용 가능성이 높다.

이론적 분석에서는 전략이 약한 모델의 confidence c 함수에 미치는 영향을 정량화한다. 기존 캐스케이드에서는 c(q) ≥ λ 인 경우에만 약한 모델이 답변하고, 그 외는 강한 모델에 위임한다. 전략이 추가되면 동일 λ 하에서 c(q) 를 초과하는 질의 수가 b·n(λ) (b ≥ 1) 로 증가하고, 오답 비율은 ε 배 감소한다는 가정 하에, 위험 허용도 α 가 감소함을 정리 2.2 와 F.1 을 통해 증명한다. 즉, 전략 삽입이 약한 모델의 캘리브레이션을 개선해 더 많은 질의를 자체 처리하게 만들면서도 안전성을 유지한다는 것이다.

실험에서는 GSM‑Plus, MathQA, HotpotQA 등 8개의 베치마크(대표 4개)에서 Inter‑Cascade를 기존 최첨단 캐스케이드(Jung et al., 2025)와 비교했다. 약한 모델 정확도는 최대 33.06 % 상승했고, 전체 시스템 정확도는 평균 6.35 % 향상되었다. 강한 모델 호출 횟수는 최대 48.05 % 감소했으며, 비용 절감 효과는 49.63 %에 달했다. 특히, 유사 질의가 빈번히 발생하는 수학·논리 추론 작업에서 전략 레포가 급격히 성장하면서 효율이 크게 개선되는 모습을 확인했다.

전체적으로 Inter‑Cascade는 “강한 모델 → 교사”, “약한 모델 → 학생”이라는 교사‑학생 프레임을 온라인 인‑컨텍스트 지식 증류 형태로 구현한다. 전략 레포는 자동으로 진화하고, 시스템은 별도 파인튜닝 없이도 지속적으로 성능을 향상시킨다. 이는 오픈소스 모델뿐 아니라 API 기반 클라우드 모델에도 적용 가능하므로, 실시간 비용‑효율 최적화를 원하는 다양한 서비스에 바로 활용될 수 있다.