대형 언어 모델(LLMs)은 자연어 처리를 혁신적으로 발전시켰으며, 맥락 이해와 인간과 유사한 응답 생성 능력이 돋보입니다. 이러한 개선 사항은 사용자와의 의미 있고 참여적인 대화가 가능하게 하며, 확장 가능한 응용 분야는 사용자의 참여를 높이는 것부터 정신 건강 지원에 이르기까지 다양합니다. 최근 연구는 다양한 접근 방식을 통해 응답 품질을 개선하는데 초점을 맞추고 있습니다. 이를 위해 다각도의 응답 생성, 유연한 전략 또는 프레임워크를 사용하고 사회적 관습과 표현을 통합하는 방법 등이 있습니다.

그러나 이러한 발전은 주로 대규모 모델에서 이루어지며 이는 효율적으로 작동하기 위해 많은 컴퓨팅 자원이 필요합니다. 반면, 작은 규모의 언어 모델(SLMs)은 계산 효율성, 비용 효과성 및 유연성을 제공하는 데 있어 큰 장점을 가지고 있지만, 대화 품질 면에서는 동등한 수준을 이루는 데 어려움이 있습니다. LLMs와 SLMs 사이의 성능 격차를 해소하기 위해 프롬프트 기반 기법—특히 몇 가지 샷 인-컨텍스트 학습—이 추가적인 훈련이나 모델 매개변수 수정 없이 모델 성능을 개선하는 유망한 접근 방식으로 부상하고 있습니다. 이러한 방법은 LLMs와 SLMs 모두에 효과를 나타냈습니다.

따라서 본 논문에서는 작은 규모의 언어 모델(SLMs)이 대형 모델과 동등한 수준의 오픈 도메인 대화 생성을 달성할 수 있는 새로운 다차원 프롬프트 체이닝 프레임워크를 소개합니다. 프롬프트 체이닝은 복잡한 작업을 순차적인 하위 작업으로 분해하여 하나의 프롬프트에서 중간 출력을 다음 프롬프트로 전달하는 방식입니다. 우리의 프레임워크는 이 접근 방법을 활용하여 각 프롬프트가 응답 품질의 특정 차원을 개선하도록 구조화된 체인을 통해 생성된 응답을 반복적으로 정교하게 합니다. 특히 맥락적 일관성, 자연스러움 및 매력성을 중심으로 응답 품질을 개선합니다. 다양한 몇 가지 샷 학습 구성에 대한 체계적인 실험을 통해 우리의 접근 방식이 양정적 지표와 질적 평가 모두에서 응답 품질을 크게 개선하고, SLMs를 대형 모델보다 훨씬 더 많은 자원을 필요로 하는 LLMs과 동등한 수준으로 성능을 발휘하게 함을 경험적으로 입증합니다.

이 논문의 나머지 부분은 다음과 같이 구성됩니다: 먼저 우리의 방법론을 소개하고, 몇 가지 샷 생성 접근 방식과 응답 생성 워크플로우를 포함합니다. 다음으로 실험 변형 및 평가 지표에 대해 설명하며, 자동 메트릭과 인간 평가 결과와 우리의 발견을 논의합니다.

방법론

본 논문에서는 맥락적 일관성, 매력성 및 자연스러움의 오픈 도메인 대화 응답 품질을 개선하기 위한 인-컨텍스트 학습 프롬프트 체이닝 프레임워크를 제안합니다. 이 세 가지 차원은 인간과 유사한 특성을 우선시하는 열린 대화 환경에서 중요하게 고려됩니다. 성능의 품질은 일반적으로 응답의 여러 차원을 기반으로 평가되며, 일관성, 참여성 및 자연스러움이 포함됩니다.

프레임워크는 특정 질적 기준에 따른 반복적인 정교화를 수행하며, 아래에서 설명된 대로 구성되어 있습니다.

초기 응답 생성

첫 번째 응답은 제로 샷 접근 방식을 사용하여 생성되며, 언터런스-응답 대화 기록이 SLM에 입력으로 제공됩니다. 모델은 말하는 사람의 캐릭터를 채택하고 이전 맥락에 따라 대화를 계속하도록 지시받습니다. 이러한 설정은 명확한 표본을 요구하지 않고 문맥적 일관성을 가진 응답을 생성할 수 있게 합니다.

style="width:75.0%" />

단계 1: 맥락적 일관성 평가

첫 번째 단계는 생성된 응답이 대화 기록과 문맥적으로 일관적인지 평가하는 것입니다. 일관성은 반복, 불완전성 및 의미상의 오류를 최소화하고 좋은 대화 흐름을 유지하기 위해 필요합니다. 이 평가는 세 가지 샷 인-컨텍스트 학습 프롬프트를 사용하며, 각 표본은 대화 맥락, 참조 응답 및 다른 대화에서 무작위로 선택된 언터런스로 구성됩니다. 대화 맥락과 참조 응답이 긍정적인 예시가 되고, 관련없는 대화에서의 언터런스가 부정적 예시가 됩니다.

이러한 표본을 구성하기 위해 DailyDialog 데이터셋의 훈련 세트를 활용합니다. 이를 통해 각 샘플에 대한 대화 맥락과 참조 응답을 제공할 수 있습니다. LLM을 사용하여 각 대화 맥락에 대해 문맥적으로 일관되지 않은 응답을 생성하고, 이는 부정적 상대방으로 기능합니다. 참조 및 일관성 없는 응답은 UniEval이라는 최고의 통합 평가기로 점수를 매깁니다. 이는 질문-응답 프레임워크를 사용하여 텍스트 생성 품질의 여러 차원, 즉 일관성, 참여성 및 자연스러움을 평가합니다.

UniEval 일관성 점수는 가장 높고 낮은 점수를 받은 컨텍스트-응답 쌍에 해당하는 긍정적 및 부정적 표본을 선택하는 데 사용됩니다. 이러한 표본이 제공된 후, 모델은 자체 응답을 일관성 있는(“예”) 또는 일관성이 없는(“아니오”)로 분류하도록 지시받습니다. 만약 응답이 일관성이 없다고 판단되면 초기 생성 단계(2.1 절)로 돌아가서 새로운 응답을 생성합니다. 이 루프는 문맥적 일관성을 가진 응답이 생성되거나 반복 횟수 k가 달성될 때까지 계속됩니다. 평가에서는 k의 반복 제한을 5로 설정했으며, 초기 실험에서 이 임계값을 초과하면 수익이 감소함을 나타냈습니다.

단계 2: 매력성 개선

응답이 문맥적 일관성이 있다면 SLM은 응답을 수정하여 매력성을 높이는 방향으로 프롬프트를 받습니다. 참여는 챗봇의 응답이 새로운 내용을 제공하면서 대화를 계속하도록 장려하는 것을 보장합니다. 이 단계에서는 DailyDialog 훈련 세트에서 표본을 추출하여 세 가지 샷 프롬프트를 사용합니다. 이 단계에서는 각 대화 맥락에 대해 LLM에게 라코닉하고 패시브한 응답을 생성하도록 명시적으로 요청하여 매력성이 없는 응답을 생성합니다.

참조 응답과 이러한 생성된 응답은 UniEval의 참여 점수를 사용하여 평가됩니다:

\begin{equation}
\text{Diff}_{\text{eng}} = 
S_{\text{ref}}^{\text{E}} - S_{\text{uneng}}^{\text{E}}
\end{equation}

여기서 $`S_{\text{ref}}^{\text{E}}`$와 $`S_{\text{uneng}}^{\text{E}}`$는 각각 참조 응답과 매력성이 없는 응답의 UniEval 참여 점수를 나타냅니다. 가장 높은 Diff_eng 값을 가진 세 대화가 표본으로 사용되며, 매력성이 없는 응답은 부정적 예시로, 참조 응답은 긍정적인 참여 출력 예시로 사용됩니다.

단계 3: 자연스러움 개선

단계 3에서는 SLM이 응답의 자연스러움을 높이는 방향으로 프롬프트를 받습니다. 자연스러움은 응답의 표현을 구별하는 것으로, 대화 흐름을 강화하고 더 인간과 유사한 표현을 목표로 합니다. 이 단계는 또한 세 가지 샷 접근법을 따르며, DailyDialog 훈련 세트를 다시 활용합니다.

자연스러움이 없는 응답을 생성하기 위해 LLM에 명시적으로 요청하여 각 대화 맥락에 대해 자연스럽지 않은 응답을 생성하고 참조 응답과 이러한 생성된 응답은 UniEval의 자연스러움 차원으로 점수를 매깁니다. 표본은 참조 및 자연스러움이 없는 응답 점수 사이의 가장 큰 차이에 따라 선택됩니다:

\begin{equation}
\text{Diff}_{\text{nat}} =
S_{\text{ref}}^{\text{N}} - S_{\text{unnat}}^{\text{N}}
\end{equation}

여기서 $`S_{\text{ref}}^{\text{N}}`$와 $`S_{\text{uneng}}^{\text{N}}`$는 각각 참조 응답과 자연스러움이 없는 응답의 UniEval 자연스러움 점수를 나타냅니다.

실험 설계

우리는 제안된 프레임워크를 TinyLlama와 Llama-2-7B의 채팅 변형 버전에 평가합니다. 대화 맥락은 HuggingFace에서 얻어진 DailyDialog 데이터셋으로부터 취합되며, 이는 인간의 일상적인 의사소통을 반영하는 다중 턴 오픈 도메인 대화를 포함하고 있으며 사전 정의된 역할이나 지식 기반이 없습니다. 이 데이터셋은 사람이 직접 주석을 달아 자연스러운 표현과 감정을 포착하여 자연적인 환경에서 대화 품질 평가에 이상적인 벤치마크를 제공합니다. 우리는 언어 모델의 기본 응답과 비교하고 프롬프트 변형을 제거하여 각 차원의 중요성을 확인합니다.

제거 실험

각 차원이 개선된 전체 품질에 얼마나 기여하는지 조사하기 위해, 기본 SLM 외에도 4가지 프레임워크 구성에 대해 실험했습니다.

1. 전체 프레임워크: 전체 파이프라인.
2. w/o 일관성: 파이프라인의 단계 2 및 3만 수행.
3. w/o 매력성: 단계 1과 2만 수행.
4. w/o 자연스러움: 단계 1과 3만 수행.
5. 기본 모델: 기본 SLM에 프롬프트를 적용하지 않고 직접 프롬프팅.

각 조합은 동일한 대화 맥락과 응답을 사용하여 각 대화 맥락 세트마다 네 가지 응답을 생성합니다. 또한, Llama2-70b와 gpt=3.5-turbo의 채팅 변형 버전으로 직접 프롬프팅된 응답도 평가를 위해 벤치마킹했습니다.

평가 지표

모든 구성에서 생성된 응답의 품질을 평가하기 위해 세 가지 평가 지표를 사용하여 강건한 통계 분석을 수행했습니다.

1. UniEval: UniEval LLM-평가 프레임워크를 사용하여 일관성, 참여성 및 자연스러움 점수를 추출합니다.
2. 발화 연역 (UE) 점수: 생성된 응답과 대화 맥락 내 각 발화 사이의 자연어 추론 점수를 계산하여 문맥적 일관성을 정량화하는 지표입니다.
3. Distinct-N: 생성된 응답에서 고유한 n-그램 비율을 측정하는 다양성 지표로, 우리는 unigrams, bigrams 및 trigrams를 적용했습니다. 더 높은 값은 다양한 출력과 덜 반복적인 결과를 나타냅니다.

필요에 따라 점수를 정규화하여 메트릭 간 공평한 비교가 가능하도록 했습니다.

결과와 논의

정량적 인간 평가 결과에 따르면 Llama 2-7B의 전체 프레임워크는 Llama 2-70b와 GPT-3.5와 유사한 성과를 보입니다. 전체 프레임워크는 TinyLlama와 Llama-2-7B 모두에서 가장 높은 어휘 다양성을 달성하며, 각각의 기본 모델을 0.03 점 이상 능가합니다. 이는 응답에 더 다양한 어휘를 사용함으로써 참여를 강화하고 다양한 단어 선택을 통해 이루어집니다.

개별 차원 점수와 제거 실험은 자연스러움과 참여성 간의 상호 의존성을 나타냅니다. Tinyllama에서 UniEval-참여성이 자연스러움 프롬프트가 제외되었을 때 가장 높게 (2.21) 기록되었습니다. 이는 자연스러움 요소가 언어적 창조성을 과도하게 규제하거나 제한할 수 있음을 시사합니다. 자연스러움 점수는 전통적인 문법적으로 중립적인 표현을 선호하지만, 참여하는 응답은 표현력, 감정 톤 및 스타일 변화에 의존하기 때문에, 자연스러움 요소를 강제하면 Tinyllama가 더 안전하고 공식적인 출력으로 바뀌어 참여성의 가치를 잠재울 수 있습니다. 그러나 이 상호 의존성은 Llama-2-7B에서는 반영되지 않습니다. Naturalness 제거 실험에서도 높은 UniEval-참여성 점수 (2.22)을 기록하더라도, 전체 프레임워크는 가장 높은 UniEval-참여성 점수 (2.45)를 달성합니다.