프롬프트 구체성이 추론 성능에 미치는 영향

초록

본 논문은 프롬프트의 구체성 수준이 대형 언어 모델(LM)의 추론 정확도에 미치는 영향을 체계적으로 조사한다. DETAIL이라는 프레임워크를 도입해 GPT‑4 기반으로 다중 수준 프롬프트를 자동 생성하고, 퍼플렉시티를 구체성 지표로 활용한다. 30개의 새로운 추론 과제에 대해 GPT‑4와 O3mini을 테스트한 결과, 구체한 프롬프트가 특히 소형 모델과 절차적 과제에서 정확도를 크게 향상시킨다. 연구는 적응형 프롬프트 설계의 필요성을 강조하고, 데이터와 도구를 공개한다.

상세 분석

DETAIL 프레임워크는 세 단계로 구성된다. 첫 번째 단계에서는 기존 베이스 질문을 GPT‑4에 입력해 “매우 추상적”, “중간 구체성”, “고도로 구체적” 세 수준의 변형 프롬프트를 자동 생성한다. 여기서 구체성은 텍스트의 정보 밀도와 어휘 다양성을 반영하는 퍼플렉시티(perplexity) 값으로 정량화한다. 퍼플렉시티가 낮을수록 모델이 예측하기 쉬운, 즉 더 구체적인 표현으로 간주한다. 두 번째 단계에서는 30개의 신규 추론 태스크(논리 퍼즐, 수학 문제, 절차적 시나리오 등)를 선정하고, 각 태스크마다 세 수준의 프롬프트를 적용한다. 세 번째 단계에서는 모델의 출력이 정답과 의미적으로 동등한지를 GPT‑4 기반의 의미 동등성 평가기능으로 자동 채점한다.

실험 결과는 두 가지 주요 패턴을 드러낸다. 첫째, 전체 평균 정확도는 “고도로 구체적” 프롬프트에서 가장 높았으며, 특히 파라미터가 적은 O3mini(≈3B)에서는 정확도 상승 폭이 12%p에 달했다. 이는 작은 모델이 입력의 불확실성을 더 크게 민감하게 받아들여, 구체적인 힌트가 있을 때 추론 경로를 효율적으로 좁힐 수 있음을 시사한다. 둘째, 절차적 과제(예: 단계별 조리법, 알고리즘 흐름)에서 구체성 효과가 두드러졌다. 이러한 과제는 중간 단계의 명시적 지시가 없으면 모델이 논리적 연결을 놓치기 쉬운데, 구체적 프롬프트가 각 단계의 목표와 조건을 명확히 제시함으로써 오류 전이를 방지한다. 반면, 순수 논리적 진리값 판단과 같은 비절차적 과제에서는 구체성 효과가 상대적으로 미미했다.

또한, 퍼플렉시티와 정확도 사이의 상관관계를 회귀 분석한 결과, 퍼플렉시티가 15 이하인 프롬프트에서 정확도 상승이 급격히 나타났으며, 30을 초과하면 오히려 성능이 감소하는 비선형 패턴을 보였다. 이는 과도한 구체성이 오히려 모델을 제한하거나 불필요한 세부 정보에 집중하게 만들 수 있음을 암시한다.

연구는 또한 프롬프트 자동 생성 과정에서 발생할 수 있는 편향을 최소화하기 위해 다중 샘플링과 인간 검증을 병행했으며, 공개된 데이터셋과 코드베이스는 재현성을 높이는 데 기여한다. 전체적으로 DETAIL은 프롬프트 설계의 정량적 기준을 제공하고, 모델 규모와 과제 유형에 따라 맞춤형 구체성 전략을 제안한다는 점에서 실용적 가치를 가진다.