모바일 LLM 추론 효율화와 동적 어댑터 스위칭

** 본 논문은 “Efficient Reasoning on the Edge”라는 제목 아래, 대형 언어 모델(LLM)의 체인‑오브‑생각(CoT) 추론 능력을 모바일 디바이스에 적합한 소형 모델에 이식하기 위한 종합적인 설계와 구현을 제시한다. 연구 배경으로는 현재 LLM이 복잡한 수학·과학·코딩 문제 해결에 뛰어난 성능을 보이지만, 추론 과정에서 발생하는 방대한 토큰 생성과 KV‑캐시 사용량이 모바일 환경에서 실용성을 크게 저해한다는 점을 들었다. 기존 연구들은 대형 모델의 추론 트레이스를 그대로 증류(distill)하거나, 전체 파라미터를 미세조정하는 방식에 의존했으며, 이는 모델 크기와 메모리 요구사항을 크게 늘려 온‑디바이스 배포에 부적합했다. 이에 저자들은 세 가지 핵심 기술을 결합한 경량 파이프라인을 설계했다. 첫 번째는 LoRA(Low‑Rank Adaptation) 어댑터를 활용한 파라미터 효율적인 미세조정이다. LoRA는 기존 모델 가중치를 고정하고, 저차원 매트릭스를 추가 학습함으로써 파라미터 수를 수십 배 감소시킨다. 논문에서는 Qwen2.5‑3B와 Qwen2.5‑7B를 베이스 모델로 삼아, Mixture of Thoughts(MoT)와 OpenThoughts3와 같은 고품질 추론 트레이스 데이터를 사용해 5 epoch 동안 LoRA rank = 128, α = 256, 학습률 = 2e‑4, 배치 = 64로 학습하였다. 이 단계에서 모델은 기본적인 다단계 추론 능력을 획득하지만, 종종 불필요하게 긴 추론 과정을 생성한다는 부작용이 있다. 두 번째 단계는 강화학습(RL) 기반 “예산 강제(Budget Forcing)”이다. 여기서는 정답 정확도와 생성 토큰 수를 동시에 고려한 보상 함수를 설계한다. 구체적으로, 정답을 맞추면 +1 보상을 주고, 사전에 정의된 토큰 예산(예: 150 토큰)을 초과하면 일정 비율의 페널티를 부과한다. 정책 최적화는 그룹 기반 상대 정책 최적화(GRPO)를 사용해 LoRA 파라미터만 업데이트한다. 실험 결과, 예산 강제를 적용한 모델은 평균 응답 길이가 30 % 이상 감소하면서도 정확도 손실이 1 % 미만에 머물렀다. 이는 모바일 디바이스에서 KV‑캐시 사용량을 크게 줄이고 전력 소모를 감소시키는 데 결정적인 역할을 한다. 세 번째로 제안된 “동적 스위처(Dynamic Switcher)”는 입력 프롬프트를 분석해 해당 질의가 추론을 필요로 하는지 여부를 판단한다. 스위처는 베이스 모델의 은닉 표현을 입력으로 하는 경량 MLP이며, 이진 분류(추론 필요/불필요) 결과에 따라 LoRA 어댑터를 활성화하거나 바이패스한다. 추론이 불필요한 경우 베이스 모델만 실행되므로 KV‑캐시 성장과 지연이 최소화된다. 스위처 자체는 전체 파라미터에 비해 미미한 오버헤드만을 차지한다. 네 번째 핵심 기법은 “병렬 테스트‑타임 스케일링(Parallel Test‑time Scaling)”이다. 디코딩 단계는 메모리 바운드가 되기 쉬운데, 이를 완화하기 위해 여러 디코딩 스트림을 동시에 실행한다. 각 스트림의 중간 출력은 경량 검증기(verification head)로 평가되며, 검증기는 베이스 모델의 잠재 표현을 이용해 학습된 작은 네트워크이다. 최종 답안은 검증 점수가 가장 높은 스트림의 출력을 선택한다. 이 방식은 정확도를 약 2 % 향상시키면서도 지연 시간 증가를 10 % 이하로 억제한다. 마지막으로 온‑디바이스 배포를 위한 양자화와 최적화 단계가 제시된다. 저자는 4‑bit 가중치 양자화와 16‑bit 활성화(정밀도 보존) 전략을 채택해 Qualcomm GENIE SDK와 FastForward 툴체인으로 모델을 컴파일한다. KV‑캐시 공유 전략을 통해 프리필(pre‑fill) 단계에서 베이스 모델과 LoRA‑증강 모델이 동일한 캐시를 재사용하도록 설계했으며, 이는 첫 토큰 응답 시간을 0.8 초 이하로 단축시킨다. 실험에서는 Qwen2.5‑7B 기반 모델에 제안된 파이프라인을 적용했을 때, 모바일 CPU/GPU 환경에서 토큰당 처리량(TPS)이 기존 대형 모델 대비 2‑3배 향상되고, 메모리 사용량은 40 % 이하로 감소하였다. 또한, 수학(AIME, AMC), 과학(GPQA), 코딩(LiveCodeBench, HumanEval) 등 다양한 벤치마크에서 정확도 손실이 1‑2 % 수준에 머물렀으며, 특히 예산 강제와 스위처를 결합했을 때 전체 지연이 평균 1.2 초 이하로 유지되었다. 결론적으로, 이 논문은 LoRA 어댑터와 강화학습 기반 예산 강제, 동적 스위처, 병렬 디코딩, 그리고 효율적인 양자화·캐시 공유 기법을 통합함으로써, 모바일 디바이스에서도 실용적인 수준의 체인‑오브‑생각 추론을 가능하게 만든다. 향후 연구에서는 어댑터 자동 랭크 탐색, 멀티‑모달 입력 처리, 그리고 사용자 개인화된 예산 정책 등을 확장할 여지가 있다. **