지식 증류로 가볍게! 엔터티 매칭 혁신

초록

DistillER는 대형 언어 모델(LLM)의 매칭 성능을 작은 모델에 전이하기 위해, 라벨이 없는 상황에서도 교사‑학생 구조의 지식 증류를 적용한 프레임워크이다. 데이터 선택, 교사 지식 추출, 증류 알고리즘(주로 감독 미세조정) 세 단계로 구성되며, 실험에서 노이즈 라벨을 이용한 감독 미세조정이 가장 효과적임을 보였다.

상세 분석

본 논문은 엔터티 매칭(ER) 분야에서 LLM 기반 접근법이 높은 정확도를 제공하지만, 모델 규모와 비용이 큰 문제점을 지적한다. 이를 해결하고자 저자들은 ‘DistillER’라는 세 가지 핵심 모듈을 갖춘 지식 증류 프레임워크를 제안한다. 첫 번째 모듈인 데이터 선택 단계에서는 차단(Blocking) 단계에서 얻은 유사도 점수를 기반으로 튜플을 표현하고, 라벨이 없으므로 순위 기반과 클러스터링 기반 두 가지 전략으로 긍정·부정 튜플을 자동 라벨링한다. 두 번째 모듈인 교사 지식 추출에서는 단일 교사와 다중 교사 설정을 모두 실험한다. 교사는 GPT‑4, GPT‑3.5와 같은 대형 LLM뿐 아니라, 8B 규모의 오픈‑소스 모델까지 포함한다. 교사에게는 단순 매칭 라벨뿐 아니라 설명(Explanation)까지 생성하도록 프롬프트를 설계해, 학생 모델이 추론 과정을 학습하도록 유도한다. 세 번째 모듈인 증류 알고리즘에서는 두 가지 접근법을 비교한다. 하나는 교사의 예측을 정답 라벨처럼 사용해 학생 모델을 감독 미세조정(SFT)하는 방식이고, 다른 하나는 교사의 출력에 기반한 보상 함수를 정의해 강화학습(RL, PPO, GRPO, DPO)으로 최적화하는 방식이다. 실험 결과, 노이즈 라벨을 이용한 SFT가 가장 높은 F1 점수를 기록했으며, RL 기반 방법은 학습 안정성에서 약간 뒤처졌다. 또한, 학생 모델이 교사의 설명을 학습함으로써 자체적인 설명 생성 능력도 획득한다는 점을 확인했다. 효율성 측면에서는 8B 이하의 학생 모델이 GPT‑4 대비 5배 이상 빠른 추론 속도를 보이며, 비용 절감 효과가 크게 나타났다. 마지막으로, DistillER를 기존의 감독·비감독 LLM 기반 매칭 기법 및 SLM 기반 최신 매칭 모델과 비교했을 때, 전반적인 정확도와 추론 시간 모두 우수함을 입증하였다.