프롬프트 품질 평가와 최적화 통합 프레임워크

초록

본 논문은 프롬프트 품질을 체계적으로 정의하고, 텍스트만으로 다차원 품질 점수를 예측하는 실행‑무료 평가기를 제안한다. 이 평가기는 메트릭‑인식 최적화기와 연동되어 쿼리‑의존적인 오류 원인을 진단하고 해석 가능한 방식으로 프롬프트를 재작성한다. 실험 결과, 제안된 평가‑지시 최적화 파이프라인은 8개 데이터셋과 3가지 백본 모델에서 정적 템플릿 및 기존 쿼리‑의존 방식보다 일관된 성능 향상을 달성한다.

상세 분석

이 연구는 프롬프트 최적화 분야에서 두 가지 근본적인 한계를 지적한다. 첫째, 기존 방법들은 대부분 단일 정적 템플릿을 미세조정하는 데 머물러, 사용자 의도와 상황이 변동하는 복잡한 시나리오에 적합하지 않다. 둘째, 쿼리‑의존형 접근법은 텍스트 기반 피드백이나 블랙박스 보상 모델에 의존하는데, 이들은 신뢰성이 낮고 최적화 신호가 해석하기 어렵다. 이러한 문제를 해결하기 위해 저자들은 ‘성능‑지향적·체계적·포괄적’이라는 세 축을 기반으로 프롬프트 품질을 정의하는 평가 프레임워크를 설계한다. 핵심 구성 요소는 (1) 텍스트만으로 다차원 품질 점수를 직접 예측하는 실행‑무료 평가기이며, 이는 대규모 언어 모델을 활용해 다중 태스크에서 라벨링된 성능 데이터를 학습한다. (2) 평가기로부터 얻은 점수를 메트릭‑인식 최적화기에 전달해, 각 쿼리별 실패 모드를 자동으로 진단하고, 구체적인 재작성 지침을 생성한다. 이 과정은 ‘해석 가능성’과 ‘쿼리‑의존성’를 동시에 만족한다는 점에서 혁신적이다. 실험에서는 평가기가 실제 프롬프트 실행 없이도 높은 상관관계(r > 0.85)를 보였으며, 최적화 파이프라인은 정적 템플릿 기반 방법과 기존 쿼리‑의존형 방법을 모두 능가했다. 특히, 모델‑불변성을 유지하면서도 다양한 도메인(질문‑응답, 요약, 번역 등)에서 일관된 성능 향상을 입증했다. 이 결과는 프롬프트 품질을 메트릭에 기반한 객관적 지표로 전환함으로써, 향후 자동화된 프롬프트 설계와 평가에 새로운 패러다임을 제시한다.