프롬프트브릿지 모델 전이 프레임워크

초록

프롬프트브릿지는 모델 교체 시 기존 프롬프트의 성능 저하(모델 드리프팅)를 최소화하기 위해, 소량의 정렬 작업을 이용해 소스·타깃 모델 간 최적 프롬프트 매핑을 학습하는 훈련‑프리 방법이다. MAP‑RPE를 통해 각 모델에 맞는 최적 프롬프트를 도출하고, 이를 기반으로 교차‑모델 프롬프트 변환기를 만들며, 새로운 작업에 대해 소스 모델 프롬프트만 제공하면 타깃 모델에 최적화된 프롬프트를 바로 생성한다. 실험 결과 단일·다중 에이전트 시나리오 모두에서 정확도가 크게 향상되고, 재조정 비용이 크게 감소한다.

상세 분석

본 논문은 대형 언어 모델(LLM) 생태계가 급격히 변동함에 따라, 동일한 작업이라도 모델마다 최적 프롬프트가 크게 달라지는 현상, 즉 “모델 드리프팅”을 체계적으로 규명한다. 저자들은 GPT, Claude, Llama 등 다양한 상용·오픈소스 모델을 대상으로 30여 개 이상의 베이스라인 프롬프트와 10여 개의 다운스트림 태스크(코드 생성, 수학 추론, 에이전트 협업 등)를 실험하여, 동일 프롬프트를 다른 모델에 그대로 적용했을 때 평균 12%p 이상의 성능 감소를 관측한다. 이는 프롬프트 엔지니어링 비용이 모델 교체마다 재발생한다는 실질적인 문제를 제기한다.

PromptBridge는 두 단계로 구성된다. 첫 번째 단계인 Model‑Adaptive Reflective Prompt Evolution (MAP‑RPE)는 소스와 타깃 모델 각각에 대해 “반사적” 프롬프트 개선 루프를 수행한다. 초기 프롬프트를 입력하고, 모델의 출력과 사전 정의된 정량적 메트릭(정답률, ROUGE, 코드 실행 성공률 등)을 비교해 피드백을 생성한다. 이 피드백을 다시 프롬프트에 삽입해 재생성하는 과정을 3~5회 반복하면, 각 모델에 대해 거의 최적에 근접한 프롬프트 쌍이 얻어진다.

두 번째 단계에서는 위에서 얻은 (소스‑프롬프트, 타깃‑프롬프트) 쌍을 이용해 교차‑모델 매핑 함수를 학습한다. 저자들은 간단한 시퀀스‑투‑시퀀스 변환 모델(Transformer 기반)을 사용했으며, 입력은 소스 모델 프롬프트, 출력은 타깃 모델 프롬프트이다. 매핑 학습은 매우 적은 데이터(≈50쌍)만으로도 수렴하며, 모델 간 언어 스타일, 토큰 분포, 프롬프트 구조 차이를 효과적으로 보정한다.

핵심 인사이트는 “프롬프트 자체가 모델 특성에 맞게 적응될 필요가 있다”는 점이다. MAP‑RPE는 모델 내부의 ‘생각 방식’을 반영한 프롬프트를 자동 생성하고, 매핑 단계는 이러한 모델‑특화 프롬프트를 다른 모델에 투사한다. 결과적으로 새로운 작업에 대해 소스 모델에 최적화된 프롬프트만 제공하면, PromptBridge가 즉시 타깃 모델에 맞는 프롬프트를 생성한다. 이는 기존에 필요했던 작업‑별·모델‑별 재조정 과정을 크게 축소한다.

실험에서는 단일 에이전트 코드 생성(HumanEval), 수학 문제 풀이(MATH), 그리고 다중 에이전트 협업 시나리오(AgentBench)에서 PromptBridge 적용 전후 성능 차이를 비교한다. 평균적으로 정확도 향상이 8~15%p이며, 특히 비용 효율이 높은 오픈소스 Llama‑2 모델로 전환할 때 기존 프롬프트를 그대로 사용했을 때의 성능 저하를 70% 이상 회복한다. 또한 매핑 학습에 소요되는 시간은 10분 이내, 메모리 요구량도 경량화된 Transformer 6M 파라미터 수준에 머물러 실시간 서비스 적용이 가능함을 보인다.

한계점으로는 매핑 모델이 소스·타깃 모델 쌍마다 별도로 학습되어야 한다는 점과, 매우 특수한 도메인(예: 의료 법률)에서는 정렬 작업이 충분히 대표성을 갖추기 어려울 수 있다는 점을 언급한다. 향후 연구에서는 멀티‑모델 공동 매핑, 프롬프트 메타‑학습, 그리고 비지도 정렬 방법을 탐구할 계획이다.