FutureMind: 소형 언어 모델에 전략적 사고 패턴을 주입하는 적응형 지식 증류

초록

FutureMind는 소형 언어 모델(SLM)에 대형 언어 모델(LLM)의 전략적 사고‑패턴을 적응형 지식 증류로 전이시켜, 네 단계(문제 분석·논리 추론·전략 계획·검색 안내) 모듈과 세 가지 검색 패러다임(전방 단계별, 후방 제약 집중, 병렬 교차)으로 복합 다중 홉 QA를 고효율·고정밀하게 해결한다. 실험 결과 2WikiMultihopQA·MuSiQue·Bamboogle·Frames에서 기존 Search‑o1·ReAct 등을 크게 앞섰으며, 교사‑학생 간 인지 편향(bias) 병목이 증류 효율을 제한한다는 인사이트를 제공한다.

상세 분석

FutureMind는 “전략적 사고‑패턴 프라이어”를 LLM으로부터 추출하고, 이를 경량화된 프롬프트 형태로 SLM에 주입하는 적응형 지식 증류 프레임워크이다. 전체 파이프라인은 네 개의 순차 모듈로 구성된다. 첫 번째 Problem Analysis(P) 단계에서는 입력 질문을 목표(Objective), 속성(Attribute), 목표 출력(Target), 핵심 조건(Condition) 네 요소(O, A, T, C)로 구조화한다. 두 번째 Logical Reasoning(L) 단계는 첫 원리 기반 추론을 수행해 인과 메커니즘(M)과 우선순위가 매겨진 핵심 조건 집합 K={K₁…Kₘ}을 도출한다. 세 번째 Strategy Planning(S) 단계에서는 M과 K를 입력으로 삼아 비용 함수 F를 통해 세 가지 사전 정의된 검색 전략(R_A, R_B, R_C) 중 최적(R*)을 선택한다. 여기서 R_A는 조건을 넓은 범위에서 점진적으로 좁히는 전방 단계별 방식, R_B는 가장 제한적인 제약부터 역방향으로 확장하는 후방 집중 방식, R_C는 모든 제약을 병렬로 적용 후 교차하는 방식이다. 마지막 Retrieval Guidance(R) 단계는 선택된 전략을 구체적 키워드, 필터링 기준, 실행 순서로 변환해 실제 검색 엔진에 전달한다.

증류 과정은 LLM이 생성한 전체 사고 흐름(문제 분석 → 논리 추론 → 전략 선택 → 검색 지시)을 “생각‑패턴 프라이어”라는 메타‑시퀀스로 압축하고, 이를 SLM에 프롬프트 형태로 삽입한다. 중요한 점은 SLM이 자체 파라미터 업데이트 없이도 이 프라이어를 활용해 복합 다중 홉 추론을 수행한다는 것이다. 실험에서는 3B 규모의 Qwen‑3B‑Instruct와 72B 규모의 Qwen‑72B‑Instruct 두 모델에 적용했으며, 특히 SLM에서 평균 8~12%p의 절대 정확도 향상을 기록했다.

또한 논문은 “인지‑편향 병목(cognitive‑bias bottleneck)” 현상을 제시한다. 교사 모델의 사고 계획이 학생 모델의 처리 용량을 초과하면, 증류 과정에서 일부 논리 단계가 손실되거나 노이즈가 증폭돼 최종 성능이 제한된다. 이는 단순히 모델 크기를 키우는 것이 아니라, 교사‑학생 간 사고 복잡도 매칭이 중요함을 시사한다.

한계점으로는 (1) 현재 증류 프라임이 고정된 템플릿 형태라 새로운 도메인에 대한 즉각적 적응이 어려울 수 있고, (2) 검색 엔진 자체의 품질에 크게 의존한다는 점, (3) 전략 선택을 위한 비용 함수 F가 LLM에 의해 추정되므로 LLM의 오류 전파 위험이 존재한다는 점을 들 수 있다. 향후 연구에서는 동적 프라임 업데이트, 다중 검색 백엔드 앙상블, 그리고 교사‑학생 간 인지 차이를 정량화하는 메트릭 개발이 필요하다.