인도 대법원 판결을 위한 사건 타임라인 자동 추출 프레임워크 LexChronos

초록

LexChronos는 LoRA‑튜닝된 추출 에이전트와 사전 학습된 피드백 에이전트로 구성된 이중‑에이전트 구조를 이용해 인도 대법원 판결문에서 사건 타임라인을 자동으로 생성한다. 2,000개의 합성 데이터셋을 구축하고, BERT 기반 F1 0.8751을 달성했으며, 요약 실험에서 GPT‑4가 구조화된 타임라인을 75%의 비율로 선호한다는 결과를 제시한다.

상세 분석

LexChronos는 법률 텍스트의 장문 특성과 복잡한 인과·시간 관계를 다루기 위해 두 단계의 에이전트 루프를 설계하였다. 첫 번째 추출 에이전트는 4 B 이하 파라미터를 가진 LLM에 LoRA‑Instruct 튜닝을 적용해 ‘시간’, ‘사건 서술’, ‘판사’, ‘선례’ 네 가지 속성을 포함하는 후보 이벤트를 생성한다. 여기서 사용된 LoRA는 기존 모델의 파라미터를 크게 변경하지 않으면서 도메인‑특화된 프롬프트 응답성을 높이는 장점이 있다. 두 번째 피드백 에이전트는 동일 규모의 사전 학습 모델을 활용해 각 후보에 신뢰 점수를 부여하고, 사전 정의된 신뢰 임계값에 도달할 때까지 반복적으로 후보를 수정·삭제한다. 이 과정은 메타‑인지적 피드백 루프라고 부를 수 있으며, 이벤트 간의 시간적 일관성 및 법적 인용 정확성을 보장한다는 점에서 기존 단일‑패스 추출 방식보다 우수하다.

데이터 측면에서 저자들은 인도 대법원 판결의 공개 자료가 부족함을 인식하고, ‘역공학’ 파이프라인을 도입해 DeepSeek‑R1과 GPT‑4를 이용해 2,000개의 합성 판결과 정답 타임라인을 생성하였다. 이벤트 스키마(LES)는 ‘Timestamp’, ‘Event’, ‘Judge’, ‘Precedent’ 네 속성으로 정의돼, 인도 판결에서 흔히 나타나는 사실·이슈·판단·선례·결론 등 8가지 핵심 구성요소를 포괄한다. 두 모델의 생성 특성을 비교한 결과, DeepSeek‑R1은 평균 27개의 이벤트와 6개의 선례를 포함해 보다 풍부한 구조를 제공했으며, GPT‑4는 더 간결한 서술을 생성했다. 이러한 다변량 데이터는 모델의 일반화 능력을 평가하는 데 유용하다.

실험에서는 BERT‑기반 분류기를 사용해 합성 데이터에 대한 F1 점수를 측정했으며, 0.8751이라는 높은 성능을 기록했다. 또한, 구조화된 타임라인을 입력으로 한 GPT‑4 기반 요약 실험에서, 비구조화된 원문 대비 75%의 경우에 더 높은 품질의 요약을 생성함을 확인했다. 이는 구조화된 이벤트 정보가 LLM의 추론 및 요약 능력을 크게 향상시킨다는 실증적 증거로 해석될 수 있다.

위협 요인으로는 합성 데이터의 현실성 부족, 모델 규모 제한(4 B 이하), 그리고 법적 책임 문제 등이 제시되었다. 저자들은 향후 실제 판결 데이터와의 검증, 더 큰 모델 적용, 그리고 법적 윤리 프레임워크와의 연계를 제안한다. 전체적으로 LexChronos는 인도 법률 AI 분야에서 데이터 부족 문제를 해결하고, 구조화된 사건 타임라인을 통해 법적 추론을 지원하는 실용적인 첫 단계라 할 수 있다.