도메인 특화 LLM 강화를 위한 적대적 질문 생성 프레임워크

초록

본 논문은 제한된 도메인 문서만을 이용해, 강력한 전문가 모델과 목표 모델 간의 답변 차이를 최대화하는 적대적 질문을 자동으로 생성하고, 이를 고품질 QA 쌍으로 활용해 소형 LLM을 효율적으로 파인튜닝하는 방법을 제안한다. 법률 계약 데이터(LegalBench) 실험에서 기존 합성 데이터 방식보다 70배 적은 토큰으로 정확도를 크게 향상시켰다.

상세 분석

이 연구는 도메인 특화 LLM의 두 가지 핵심 약점, 즉 사실적 지식 회수와 해석적 추론 능력을 동시에 보강하고자 한다. 기존의 엔티티 중심 혹은 패러프레이즈 기반 합성 데이터는 주로 정답을 기억하도록 유도하지만, 복합적인 문맥 통합이나 가정적 상황 판단을 요구하는 질문에 대해서는 한계가 있다. 논문은 이러한 한계를 극복하기 위해 ‘강력한 전문가 모델(f_strong)’과 ‘약한 목표 모델(f_weak)’을 동일한 도메인 문서 C에 노출시킨 뒤, 두 모델의 응답을 비교·분석하는 피드백 함수 f_fb를 도입한다. f_fb는 정답성, 커버리지, 추론 일관성 등을 평가해 차이점 L(Q)를 정량화한다. 이후 TextGrad에서 영감을 얻은 차별화된 프롬프트 최적화 절차를 적용한다. 구체적으로, 가이드 모델(f_guide)은 L(Q)를 기반으로 “질문을 어떻게 수정하면 목표 모델의 약점을 더 드러낼 수 있는가”라는 편집 지시를 생성하고, 리비전 모델(f_rev)은 해당 지시를 실제 질문 텍스트에 적용해 Q_{t+1}을 만든다. 이 과정을 T번 반복함으로써 질문은 점진적으로 목표 모델이 틀리기 쉬운 영역—특히 다중 조항 통합, 가정적 시나리오, 미묘한 용어 해석—을 집중적으로 탐색한다. 최종적으로 얻어진 Q*와 전문가 모델의 정답을 쌍으로 한 합성 데이터 D_synthetic을 구축하고, 이를 소형 LLM에 파인튜닝한다. 실험에서는 LegalBench의 세 계약(카드리틱스 유지보수, 버팔로 와일드윙스 프랜차이즈, PF 호스피탈리티)에서 총 491개의 질문을 대상으로, 기존 방법(패러프레이즈, EntiGraph, Knowledge‑Instruct 등) 대비 3~19%p 높은 정확도를 달성했으며, 사용된 토큰 수는 70배 이상 절감되었다. 이는 적대적 질문 생성이 ‘샘플 효율성’과 ‘해석적 능력 강화’ 두 축을 동시에 달성한다는 강력한 증거다. 또한, 이 접근법은 도메인 문서만 있으면 별도의 라벨링 없이 적용 가능하므로, 데이터가 희소한 의료, 금융, 법률 등 분야에 바로 확장할 수 있다. 다만, 강력한 전문가 모델에 대한 의존도와 피드백 함수 설계의 주관성이 결과에 영향을 미칠 수 있어, 향후 다중 전문가 앙상블이나 자동화된 메트릭 기반 피드백으로 보완할 여지가 있다.