멘토콜랩: 효율적인 추론을 위한 선택적 대형‑소형 모델 협업

초록

멘토콜랩은 대형 추론 모델(LRM)을 멘토로 두고, 소형 모델(SLM)이 토큰을 생성할 때 무작위로 선택된 위치에서만 멘토의 짧은 추론 구간을 검증·채택하도록 설계된 추론‑시간 협업 기법이다. 평균 18 % 정도의 멘토 토큰만 사용하면서도 12개의 15가지 설정에서 평균 3 %p, 최대 8 %p의 정확도 향상을 달성한다.

상세 분석

본 논문은 대형 언어 모델(LRM)이 긴 체인‑오브‑생각(chain‑of‑thought)으로 뛰어난 추론 성능을 보이지만, 높은 연산 비용과 불필요한 중복 추론이 문제점이라는 점을 출발점으로 삼는다. 반면 파라미터 수가 8 B 이하인 소형 모델(SLM)은 추론 비용이 낮지만 다단계 논리 문제에서는 성능이 크게 뒤처진다. 기존의 모델 협업 방법들은 주로 멘토 모델이 전체 토큰을 대체하거나, 불확실성에 따라 멘토 토큰을 삽입하는 방식으로 구현돼, 소형 모델이 멘토의 장황한 체인‑오브‑생각을 그대로 모방하게 만든다. 이는 토큰 비용을 증가시킬 뿐 아니라, 실제 오류를 교정하는 데는 한계가 있다.

멘토콜랩은 이러한 한계를 극복하기 위해 ‘선택적·희소’ 협업을 제안한다. 구체적으로, 생성 단계마다 사전 정의된 확률 ρ(논문에서는 25 %)에 따라 Bernoulli 샘플링을 수행해 토큰 위치를 선택한다. 선택된 위치에서 소형 모델(G)과 대형 모델(M)의 현재 토큰을 비교해 불일치(Dₜ=1) 여부를 판단한다. 불일치가 감지되면 두 모델 모두 길이 L(논문에서는 16)인 미래 토큰 구간을 생성한다. 여기서 핵심은 ‘검증기(verifier)’가 두 구간 중 어느 것이 정답에 더 가까운지를 판단해 최종 토큰 시퀀스를 결정한다는 점이다.

검증기에는 두 가지 구현이 있다. 첫 번째인 MentorCollab‑FREE는 소형 모델 자체를 프롬프트 기반 검증기로 활용한다. 즉, “다음 구간 중 정답에 더 가까운 것은?“이라는 질문을 두 구간에 대해 제시하고, 모델이 A/B 중 선택하도록 한다. 이는 추가 학습 없이 바로 적용 가능하지만, 프롬프트 설계와 모델의 자체 판단 능력에 의존한다. 두 번째인 MentorCollab‑MLP는 작은 다층 퍼셉트론(MLP)을 사전 학습한다. 학습 데이터는 소형 모델이 실패하고 멘토가 올바른 구간을 제공한 사례를 모아, 소형 모델의 마지막 레이어 은닉 상태를 입력으로 정답 구간을 라벨링한다. 이 MLP는 이진 교차 엔트로피 손실로 학습되며, 추론 시 은닉 상태만으로 멘토 구간을 채택할지 여부를 판단한다.

실험은 세 가지 도메인(수학(MA TH), 일반 지식(SuperGPQA), 상식(Com2‑hard‑Intervention))과 15개의 SLM‑LRM 조합을 대상으로 수행됐다. 주요 하이퍼파라미터는 ρ=0.25, L=16, greedy decoding, 최대 512 토큰으로 제한하였다. 베이스라인으로는 토큰 평균화(Average Decoding), Nudging, CoSD, R‑Stitch, 그리고 토크나이저 호환이 가능한 경우에만 적용 가능한 Co‑LLM을 사용했다.

결과는 인상적이다. MentorCollab은 12/15 설정에서 정확도 향상을 보였으며, 평균 3 %p, 최고 8 %p 상승을 기록했다. 특히 MentorCollab‑MLP는 별도 협업 전용 학습 없이도 Co‑LLM과 동등하거나 더 나은 성능을 보였으며, 멘토 토큰 사용 비율은 전체 토큰의 평균 18.4 %에 불과했다. 추가 분석에서는 멘토 구간 길이가 4‑8 토큰이면 충분하고, 과도한 probing(ρ를 크게 올리는 경우)보다 적당한 빈도(ρ≈0.25)가 최적의 비용‑성능 균형을 만든다는 점을 확인했다.

이 논문이 제시하는 핵심 통찰은 ‘멘토는 언제, 얼마나, 어떤 형태로 개입해야 하는가’에 대한 실용적 답변이다. 전체 토큰을 멘토에게 넘기는 것이 아니라, 불일치가 감지된 순간에 짧은 미래 구간을 검증·채택함으로써 소형 모델의 자체 추론 능력을 유지하면서도 대형 모델의 정확성을 보완한다. 이는 대형 모델에 대한 API 호출 비용을 크게 절감하면서도 고품질 추론을 필요로 하는 실시간 서비스에 바로 적용 가능한 전략이다.