믿음과 정확성을 잇는 다리 — 종교 QA를 위한 RAG 기반 MufassirQAS

초록

MufassirQAS는 터키어 번역·해석이 포함된 이슬람 경전 데이터를 벡터 DB에 저장하고, Retrieval‑Augmented Generation(RAG)으로 LLM의 답변을 보강한다. 출처 표기와 안전 프롬프트 설계로 민감한 종교 질문에 대한 환각을 억제하고, ChatGPT 대비 높은 정확도와 투명성을 입증한다.

상세 분석

본 논문은 종교 분야에서 LLM이 흔히 발생시키는 ‘환각’ 문제를 RAG 기법으로 해결하고자 한다. 데이터 구축 단계에서 저자들은 쿠투브‑이‑시테(Kutub‑i Sitte), 이슬람 교리서, 그리고 터키어 번역·해석본을 체계적으로 수집·정제하고, 텍스트 정규화·토크나이징을 거쳐 임베딩을 생성한다. 임베딩은 FAISS와 같은 고성능 벡터 스토어에 저장되며, 검색 모듈은 TF‑IDF 기반 키워드 매칭과 변환기 임베딩을 활용한 의미 기반 검색을 병행한다. 이렇게 추출된 문서 조각은 프롬프트에 삽입되어 LLM에게 컨텍스트를 제공하고, 두 단계의 응답 생성 파이프라인(후보 생성 → 재랭킹)을 통해 최종 답변을 만든다. 시스템 프롬프트는 ‘혐오·불쾌·비방’ 표현을 차단하도록 설계돼, 민감한 종교 질문에서도 윤리적·문화적 오류를 최소화한다. 평가에서는 민감도 높은 질문 세트를 사용해 ChatGPT와 비교했으며, 출처 인용 여부, 페이지 번호 제공, 그리고 정답률 면에서 MufassirQAS가 우수함을 보였다. 한계점으로는 데이터셋 규모와 언어 다양성(터키어 중심) 및 프롬프트 튜닝 비용이 언급된다. 향후 연구는 다언어 확장, 자동 프롬프트 최적화, 그리고 사용자 피드백 기반 지속 학습을 목표로 한다.