사실성 제어 텍스트 생성: 신뢰도와 풍부함의 균형 맞추기

초록

본 논문은 사용자가 원하는 사실성 수준을 명시할 수 있는 “사실성‑제어 생성(FCG)” 프레임워크를 제안한다. 합성 데이터 생성 파이프라인을 통해 다양한 사실성 목표(0.1~1.0)를 만족하는 답변을 자동으로 만들고, 이를 Mistral‑7B 모델에 미세조정한다. 실험 결과, 사실성 제약을 충족하는 비율이 크게 향상되었으며, 정보량(인포메이션)도 유지하거나 증가한다는 점을 확인했다.

상세 분석

FCG는 “질문 + 사실성 목표”라는 두 입력을 받아, 목표 사실성 비율 c 이상을 만족하면서 가능한 한 많은 원자적 사실을 포함하는 출력을 생성하도록 설계된 제어 가능한 텍스트 생성 작업이다. 핵심 아이디어는 기존 LLM이 생성한 무제한 답변을 기준으로, 각 원자적 사실에 대해 모델 자체가 추정한 신뢰도 점수를 활용해 낮은 신뢰도의 사실을 단계적으로 제거함으로써 원하는 사실성 수준을 달성하는 것이다. 이를 위해 논문은 (1) 답변을 원자적 사실로 분할하는 세그멘터 S, (2) 각 사실에 대해 “True or False?” 질문을 통해 신뢰도 h_M(a_i)를 추정하는 프롬프트, (3) 신뢰도 오름차순 정렬 후 최소한의 사실만 남겨 목표 c를 만족하도록 하는 필터링 알고리즘을 제시한다. 이렇게 생성된 (질문, c, 필터링된 답변) 삼중항을 대규모 합성 데이터셋으로 구축하고, 전체 파라미터를 미세조정한다.

실험은 위키피디아 기반 사실성 검증 메트릭 FactScore를 이용해 전통적인 프롬프트 기반 제어와 비교하였다. 0.8, 0.9, 1.0 사실성 목표에 대해 각각 17.2 %, 130 %, 23.6 %의 절대적 향상을 기록했으며, 특히 1.0 수준에서 기존 모델이 0 %였던 반면 23.6 %까지 도달했다. 흥미롭게도, 동일한 사실성 목표 하에서 정보량(지원된 원자적 사실 수)은 미세조정 모델이 오히려 더 많아, 사실성‑정보량 트레이드오프 곡선이 외부로 이동함을 보여준다. 이는 모델이 사실성 제약을 내부화함으로써 사후 필터링 없이도 고품질 답변을 생성할 수 있음을 의미한다.

또한, 논문은 기존 사실성 제어 방법(예: 외부 검증 후 재생성, conformal prediction)과 차별화한다. 외부 검증은 추론 단계에서 추가 비용과 흐름 저하를 초래하지만, FCG는 학습 단계에서 제어 신호를 내재화해 추론 시 즉시 적용 가능하다. 이와 더불어, 인간이 높은 신뢰도 사실부터 차례로 추가하는 인지적 전략을 모방함으로써 데이터 효율성과 자연스러운 언어 스타일을 동시에 확보한다.

한계점으로는 합성 데이터 생성 과정이 기본 모델의 신뢰도 추정에 크게 의존한다는 점이다. 기본 모델이 특정 도메인에 대해 일관된 신뢰도 판단을 못하면 필터링 과정이 부정확해질 수 있다. 또한, 현재 실험은 전기적 사실성(위키피디아 검증)과 전형적인 전기적 질문-답변 시나리오에 국한돼 있어, 의료·법률 등 고위험 분야에서의 적용 가능성은 추가 검증이 필요하다.

전반적으로 FCG는 “사실성 ↔ 정보량”이라는 핵심 딜레마를 학습 기반 제어 신호로 전환함으로써, 다양한 응용에서 사용자 맞춤형 신뢰 수준을 제공할 수 있는 실용적인 솔루션을 제시한다.