LLM 평가를 위한 단계별 워크플로우 설계: 전문가·일반 사용자·모델 기준의 통합

초록

본 논문은 도메인 전문가, 일반 사용자, 그리고 LLM 자체가 생성한 평가 기준을 비교·분석하여 각각의 강점과 한계를 규명한다. 두 개의 실제 도메인(영양학·수학 교육)에서 a priori(프롬프트 기반)와 a posteriori(출력 기반) 단계별 기준 변화를 관찰하고, 기준의 ‘드리프트’와 ‘수렴’ 현상을 확인한다. 이를 토대로 품질·비용·확장성을 균형 있게 맞추는 단계적 평가 워크플로우와 설계 가이드라인을 제시한다.

상세 분석

이 연구는 LLM 평가에 있어 “누가 기준을 만들 것인가”라는 근본적인 질문에 답하고자 세 가지 출처—도메인 전문가, 일반 사용자, 그리고 LLM 자체—의 기준 특성을 정량·정성적으로 분석한다. 먼저, 전문가가 만든 기준은 사실 기반이며, 장기적인 교육·의료 가치에 초점을 맞춘다. 이들은 프롬프트를 읽는 순간에 핵심 개념·오류 방지를 위한 체크리스트를 제시하며, a priori 단계에서 높은 신뢰성을 제공한다. 반면 일반 사용자는 사용성, 가독성, 인터페이스 친화성 등에 중점을 두어, 실제 서비스 상황에서의 만족도와 직관성을 평가한다. 이들의 기준은 출력물을 직접 확인한 뒤 보완되는 경향이 있어 a posteriori 단계에서 활발히 등장한다. LLM이 자동 생성한 기준은 절차적·형식적 검증에 강점이 있다. 예를 들어, “문장이 완전한 문법을 갖추었는가”, “키워드가 포함되었는가”와 같은 저수준 검증 항목을 빠르게 생성한다. 그러나 모델 자체가 생성한 기준은 출력에 내재된 오류를 그대로 반영하거나, 편향을 강화할 위험이 있다.

연구는 기준의 ‘드리프트’를 두 단계에서 관찰한다. a priori 단계에서는 각 출처가 서로 다른 관점(전문성 vs. 사용성 vs. 절차성)으로 기준을 제시하지만, a posteriori 단계에서는 출력에 명시된 요소에 기반해 모든 출처가 유사한 기준으로 수렴한다. 이는 인간이 직접 오류를 발견하고 보완하는 과정이 없을 경우, LLM만으로는 오류를 교정하기 어려움을 시사한다. 또한, 전문가와 일반 사용자는 출력에서 발견된 오류에 반응해 새로운 기준을 추가하는 반면, LLM은 기존 출력에만 의존해 새로운 기준을 만들지 못한다는 점이 강조된다.

이러한 발견을 바탕으로 저자는 세 단계(전문가‑a priori, LLM‑a priori, 인간‑a posteriori)로 구성된 혼합 워크플로우를 제안한다. 초기 설계 단계에서는 전문가가 핵심 사실·윤리 기준을 제공하고, LLM이 절차적 검증 항목을 자동 생성한다. 이후 프로토타입 출력이 생성되면 일반 사용자가 사용성·가독성 중심의 기준을 추가·수정한다. 마지막으로 전문가가 최종 검증을 수행해 장기적 가치와 정확성을 확보한다. 이 구조는 비용을 최소화하면서도 고품질 평가를 가능하게 한다.

또한, 프롬프트 설계와 기준 생성 자동화에 대한 구체적 가이드라인을 제시한다. 예를 들어, 전문가가 제공하는 “핵심 사실 체크리스트”를 프롬프트에 삽입하고, LLM에게 “절차적 검증 항목을 5가지 제시하라”는 명령을 부여함으로써 초기 자동 기준을 확보한다. 이후 인간 피드백 루프를 통해 기준을 재정제하고, 최종 평가 단계에서 다중 기준을 통합해 점수화한다. 이러한 설계는 평가 비용을 크게 낮추면서도, 인간 전문가의 깊이 있는 판단을 유지하도록 설계되었다.

전반적으로 이 논문은 LLM 평가에 인간·기계·사용자 세 주체가 상호 보완적으로 작용할 수 있는 구체적인 프로세스를 제시함으로써, 향후 복합 도메인에서의 신뢰성 있는 AI 활용에 중요한 이정표를 제공한다.