다국어·다모델 5W3H 프롬프트가 의도 전달을 일반화한다는 증거

** 본 논문은 인간‑AI 상호작용에서 사용자가 의도를 정확히 전달하지 못해 발생하는 ‘의도 전송 손실(intent transmission loss)’을 해결하고자, 기존에 제안된 Prompt Protocol Specification(PPS)이라는 5W3H 기반 구조화 프레임워크를 다국어·다모델 환경에 적용해 그 일반화 가능성을 실증한다. PPS는 What, Why, Who, When, Where, How‑to‑do, How‑much, How‑feel의 8가지 차원을 포함해 사용자의 목표, 제약, 청중, 시점, 배경, 수행 절차, 양적 요구, 감성 톤을 명시한다. 이러한 구조는 비구조화된 자연어 프롬프트가 흔히 놓치는 세부 정보를 체계적으로 보완한다. 연구는 세 가지 확장 축을 설정했다. 첫째, 영어와 일본어 두 개 언어를 추가해 총 3개 언어(중국어, 영어, 일본어)에서 동일한 60개의 과제를 수행한다. 각 과제는 여행, 비즈니스, 기술 분야에서 골고루 선정했으며, 언어별·문화별 차이를 최소화하도록 번역·조정하였다. 둘째, 기존에 사용자가 직접 8차원을 모두 작성해야 했던 ‘조건 C’를 대체할 ‘조건 D’를 도입했다. 조건 D에서는 사용자가 단일 문장(조건 A와 동일)만 입력하면, AI‑assisted authoring 인터페이스가 나머지 7차원을 자동으로 채워 5W3H 사양을 완성한다. 이 과정은 DeepSeek‑V3 모델을 활용해 0온도, 고정 시드로 deterministic하게 수행했으며, 최종 프롬프트는 조건 C와 동일한 자연어 렌더링 형태를 갖는다. 셋째, 모델 간 출력 일관성을 새로운 평가 차원으로 도입했다. 동일 과제·조건에 대해 세 모델(DeepSeek‑V3, Qwen‑max, Moonshot Kimi)에서 생성된 점수의 표준편차를 계산해 ‘Cross‑Model Variance’를 측정함으로써, 구조화된 프롬프트가 프로토콜 수준에서 신뢰성을 제공하는지를 검증한다. 실험 설계는 네 가지 프롬프트 조건을 포함한다. - **조건 A**: 단순 자연어 프롬프트(비구조화) – 온도 0.7, 실제 사용자와 유사한 변동성 반영. - **조건 B**: PPS를 JSON 형태로 그대로 전달(구조화하지만 렌더링 없음) – 온도 0, 시드 42. - **조건 C**: PPS를 자연어 섹션 헤더와 함께 렌더링한 형태 – 온도 0, 시드 42. - **조건 D**: 조건 A와 동일한 단순 프롬프트를 AI가 5W3H로 자동 확장한 후 자연어 렌더링 – 온도 0, 시드 42. 평가자는 LLM‑as‑Judge 방식을 채택해, 각 출력에 대해 ‘Composite Score’(5개 세부 항목 평균)와 ‘Goal Alignment(GA)’ 점수를 1~5점 척도로 매겼다. Composite Score는 과제 완수, 구조, 구체성, 제약 준수, 전반적 품질을 평가하고, GA는 사용자가 실제 의도한 바와 출력이 얼마나 일치하는지를 판단한다. 또한, 동일 과제·조건에 대해 세 모델이 만든 Composite Score와 GA 점수의 표준편차를 구해 Cross‑Model Variance를 산출했다. **핵심 결과** 1. **조건 D vs. 조건 C**: AI‑expanded 5W3H 프롬프트(조건 D)는 수작업 PPS(조건 C)와 GA 점수에서 통계적으로 유의한 차이가 없었다(p > 0.05). 이는 비전문가가 단일 문장만 입력해도 구조화된 의도 전달이 가능함을 의미한다. 2. **구조화가 모델 간 변동성에 미치는 영향**: 대부분의 경우 조건 B‑C‑D는 Cross‑Model Variance를 감소시키거나 형태를 변화시켰다. 특히 영어와 일본어에서는 변동성 감소가 뚜렷했으며, 이는 다국어 모델이 구조화된 지시를 더 잘 해석한다는 가설을 뒷받침한다. 반면 중국어에서는 일부 과제에서 변동성이 오히려 증가했으며, 이는 언어별 프롬프트 해석 차이와 과제 특성(예: 문화적 맥락) 때문일 가능성이 있다. 3. **조건 A의 Dual‑Inflation Bias**: 비구조화 프롬프트는 GA와 Composite Score가 인위적으로 높게 평가되는 동시에 모델 간 변동성이 낮게 측정되는 ‘dual‑inflation bias’를 보였다. 이는 비구조화 프롬프트를 기준선으로 삼을 경우, 실제 성능 향상을 과대평가하고 일관성 개선 효과를 과소평가할 위험을 시사한다. 4. **언어·도메인별 효과 차이**: 여행 과제는 가장 개방형이라 구조화의 이점이 상대적으로 작았으며, 비즈니스·기술 과제는 명확한 제약과 청중 정의가 필요해 구조화된 프롬프트에서 큰 성능 향상을 보였다. **기여** - 3개 언어·3모델·4조건·60과제로 구성된 대규모 실증 데이터셋 공개. - AI‑assisted 저비용 의도 확장 메커니즘이 수작업과 동등한 성능을 보임을 최초로 입증. - 구조화된 프롬프트가 모델 간 일관성을 향상시킬 수 있음을 정량적으로 제시. - 비구조화 프롬프트의 평가 편향을 밝혀 향후 연구에서 기준선 설계 시 주의점을 제공. **제한점 및 향후 연구** - 온도 차이(조건 A = 0.7, B‑D = 0)로 인해 구조화 효과와 샘플링 변동성을 동시에 평가하게 된 점은 결과 해석에 혼동을 줄 수 있다. 향후 온도를 통일한 실험이 필요하다. - 조건 D에서 자동 확장된 5W3H를 사용자 검증 없이 그대로 사용했으므로, 실제 사용자 피드백을 포함한 인터랙티브 평가가 필요하다. - 평가자는 LLM‑as‑Judge 하나뿐이며, 인간 전문가 평가와의 상관관계 검증이 부족하다. 다수의 인간 평가자를 포함한 다중 평가 체계 구축이 요구된다. - 현재는 여행·비즈니스·기술 3개 도메인에 국한되었으며, 교육·법률·의료 등 고도화된 도메인에 대한 일반화 검증이 남아 있다. 종합하면, PPS는 언어와 모델에 관계없이 의도 전달 정확도와 접근성을 크게 향상시킬 수 있는 유망한 프레임워크이며, AI‑assisted 자동 확장은 비전문가에게도 실용적인 구조화 도구를 제공한다는 점에서 실무적·학술적 가치를 동시에 지닌다. **