생성시 인용과 사후 인용 LLM 속성 평가

초록

본 논문은 LLM이 답변을 생성하면서 인용을 삽입하는 G‑Cite와, 답변을 만든 뒤 인용을 추가·검증하는 P‑Cite 두 패러다임을 비교한다. 네 개 데이터셋(ALCE, LongCite, REASONS, FEVER)과 0‑shot, 파인튜닝, RAG, 고급 하이브리드 등 8가지 방법을 평가해, 검색 기반 강화가 정확도와 커버리지를 크게 높인다는 공통 결론을 도출한다. P‑Cite는 높은 커버리지를 유지하면서도 정확도가 경쟁력 있어 고위험 분야에 적합하고, G‑Cite는 정밀 검증이 필요한 상황에 유리하다.

상세 분석

이 연구는 LLM의 인용 생성 메커니즘을 두 축으로 정형화한다. G‑Cite는 토큰을 순차적으로 생성하면서 동시에 인용 마커를 삽입한다는 점에서 ‘생성 시점’에 증거를 선택한다. 이는 모델이 현재까지 생성한 텍스트와 실시간 검색 결과에 기반해 로컬 의사결정을 내리므로, 인용 위치와 내용이 텍스트 흐름에 자연스럽게 맞춰지는 장점이 있다. 그러나 텍스트 전체를 고려하지 못해 누락이 발생하기 쉽고, 검색 단계가 제한적이면 커버리지가 급감한다. 반면 P‑Cite는 완전한 초안이 완성된 뒤 전체 문맥을 스캔하고, 별도의 검증·보강 단계에서 인용을 부착한다. 이 접근은 전체 문서 수준의 증거 매핑을 가능하게 하여, 특히 다중 근거가 요구되는 복합 질문에서 높은 커버리지를 달성한다. 하지만 두 단계로 구성돼 추가적인 연산 비용과 지연(latency)이 발생한다.

실험 설계는 네 개 데이터셋을 ‘인용 입맛(문서·문장·주장)’과 ‘문맥 길이(짧음·김)’에 따라 균형 있게 배치했다. 각 데이터셋을 양쪽 패러다임에 맞게 변형해 공정 비교를 가능하게 했으며, 평가 지표는 인용 정밀도·재현율·정확도·커버리지·지연을 포함한다. 특히 인간 평가에서는 답변 정확도와 인용 허위 생성(halucination) 비율을 측정해, 자동 메트릭과의 상관관계를 검증했다.

주요 결과는 다음과 같다. 첫째, 검색 기반 강화(RAG)가 모든 방법론에서 정확도와 커버리지를 가장 크게 끌어올렸다. 제로샷 대비 RAG 적용 시 G‑Cite는 정확도가 평균 45%p 상승하고, P‑Cite는 커버리지가 50%p 이상 증가했다. 둘째, P‑Cite는 전반적으로 높은 커버리지를 유지하면서도 정확도가 G‑Cite와 비슷하거나 약간 앞섰다. 예를 들어 REASONS에서는 P‑Cite가 99% 커버리지를 달성했으며, FEVER에서는 74% 커버리지를 기록해 G‑Cite의 27%에 비해 월등했다. 셋째, G‑Cite는 특정 상황, 특히 정밀 검증이 핵심인 법률·정책 사실 확인에서 높은 정밀도(94%+)와 정확도를 보였지만, 커버리지가 낮아 전체 증거 제공에는 한계가 있었다. 넷째, 고급 하이브리드 모델(예: CoT Citation, CEG)은 정확도·커버리지·지연 사이의 트레이드오프를 조정할 수 있음을 보여, 실서비스 환경에서 운영 비용과 신뢰성 목표에 맞춰 선택 가능함을 시사한다. 마지막으로 인간 평가 결과는 P‑Cite가 답변 정확도(78% vs 69%)와 인용 허위 생성 감소(37% vs 41%)에서 우수함을 확인, 최종 사용자 신뢰도 향상에 기여한다는 점을 강조한다.

이러한 분석을 통해 저자들은 고위험 분야(의료, 금융, 법률)에서는 ‘검색 중심·P‑Cite 우선’ 전략을, 반면 학술 검증이나 특허 심사처럼 개별 주장에 대한 절대적 정확성이 요구되는 경우에는 ‘G‑Cite·정밀 검증’ 접근을 권고한다. 또한, 인용 품질을 근본적으로 끌어올리려면 검색 인프라에 대한 투자와 데이터베이스 최신화가 필수적이라는 실용적 교훈을 제공한다.