법률 AI 신뢰성 설계: 제작 오류 제거와 검증 기반 모델 비교

초록

본 논문은 법률 분야에서 대형 언어모델(LLM)의 허위 정보 생성(환각) 위험을 정량화하고, 세 가지 AI 패러다임(순수 생성, 기본 RAG, 고급 RAG)을 비교한다. 새롭게 제안한 오류 지표인 허위 인용 비율(FCR)과 허위 사실 비율(FFR)을 활용해 12개 모델의 2,700개 법률 답변을 전문가 이중 블라인드 평가하였다. 결과는 고급 RAG가 FCR·FFR을 0.2% 이하로 낮추어 실무 적용 가능성을 보여준다.

상세 분석

이 연구는 법률 AI의 신뢰성을 설계 단계부터 확보한다는 목표 아래, ‘창조적 오라클’이라 불리는 순수 생성형 LLM과 ‘전문가 기록보관인’ 역할을 하는 Retrieval‑Augmented Generation(RAG) 시스템을 체계적으로 구분한다. 세 번째 단계인 ‘엄격한 기록보관인’은 기본 RAG에 임베딩 파인튜닝, 교차 인코더 기반 재정렬, 자체 교정 루프(self‑correction) 등 다중 최적화 모듈을 결합한 고급 파이프라인이다.

논문은 두 가지 정량적 신뢰성 지표를 정의한다. FCR은 모델이 제시한 인용이 실제 존재하지 않거나 잘못된 경우의 비율이며, FCR>30%이면 법률 실무에서 치명적 오류로 간주한다. FFR은 인용 여부와 무관하게 사실 자체가 허위인 경우를 측정한다. 두 지표 모두 법률 문서의 ‘출처 검증’과 ‘사실 검증’이라는 핵심 요구를 반영한다.

데이터셋 JURIDICO‑FCR는 스페인 법률 체계에 기반한 75개의 실제 업무 시나리오를 포함하고, 각 시나리오마다 검증된 골드 스탠다드를 제공한다. 2,700개의 응답은 12개 최신 LLM(예: GPT‑4, Claude‑3, Gemini, Llama‑2 등)을 세 가지 운영 모드(Direct, Basic‑RAG, Advanced‑RAG)로 실행한 결과이며, 평가자는 최소 5년 이상의 변호사 경력을 가진 전문가 20명으로 구성된 이중 블라인드 패널이다.

실험 결과는 다음과 같다. 순수 생성 모델은 평균 FCR 34.7%, FFR 28.9%를 기록해 법률 실무에 부적합함을 확인한다. 기본 RAG는 검색 단계에서 오류를 크게 감소시켜 FCR을 1.2%, FFR을 0.9% 수준으로 낮추지만, 여전히 검색 결과의 불완전성이나 문맥 오해로 인한 ‘오인용’이 존재한다. 고급 RAG는 임베딩 파인튜닝으로 도메인 특화 의미론을 강화하고, 교차 인코더 재정렬로 가장 관련성 높은 청크를 선별한다. 또한, 자체 교정 루프가 생성 단계에서 사실 검증을 수행해 오류를 자동으로 수정한다. 이 파이프라인을 적용한 결과, FCR은 0.18%, FFR은 0.12%로 통계적으로 유의미한 수준 이하로 감소한다.

기술적 기여 외에도 논문은 인간‑AI 상호작용에서 자동화 편향(automation bias)과 사용자 환각(user hallucination)의 위험을 강조한다. 검증 가능한 출처를 명시하고, 모델이 ‘모를 때는 모른다’를 명시하도록 설계함으로써 전문가가 결과를 비판적으로 검토하도록 유도한다.

한계점으로는 스페인 법률에 국한된 데이터셋, 평가자의 주관적 판단에 의존하는 부분, 그리고 고급 RAG 구현에 필요한 인프라 비용이 제시된다. 향후 연구는 다국어·다법체계 적용, 실시간 법률 업데이트와 연동된 지속적 인덱싱, 그리고 인간 피드백을 통한 지속 학습 메커니즘을 탐색해야 한다.

전반적으로 이 논문은 ‘진실성 중심 설계’를 통해 고위험 지식 기반에서 LLM 활용 가능성을 실증적으로 제시하고, 법률 외 의료·금융·공학 등 다른 도메인에도 적용 가능한 평가 프레임워크와 아키텍처 로드맵을 제공한다.