학생‑튜터 대화에서 오개념 진단을 위한 생성·검색·재정렬 파이프라인

초록

본 논문은 학생‑튜터 대화 속에서 학생의 오개념을 자동으로 식별하기 위해, (1) 미세조정된 대형 언어 모델(LLM)로 오개념 가설을 생성하고, (2) MiniLM‑L6‑v2 임베딩을 이용해 후보 라벨과 유사도 기반으로 검색하며, (3) 또 다른 미세조정된 LLM으로 후보를 재정렬하는 3단계 파이프라인을 제안한다. 922개의 실제 대화와 546개의 고유 오개념 라벨을 포함한 데이터셋에서 다양한 베이스 모델(LLaMA, Qwen, Claude)과 제로샷·파인튜닝 설정을 비교 실험했으며, 제안 방식이 기존 직접 임베딩 매칭, 제로샷 LLM 분류, TF‑IDF 매칭보다 MAP@k, NDCG, Recall@k 등에서 현저히 우수함을 확인했다. 또한 LoRA 기반 파인튜닝이 작은 오픈소스 모델의 생성 품질을 크게 향상시켜, 대형 폐쇄형 모델을 능가함을 보였다. 각 단계의 기여도를 검증하기 위한 소거 실험도 수행하였다.

상세 분석

이 연구는 교육용 대화 시스템에서 오개념을 정확히 포착하는 것이 교사의 직관에 크게 의존한다는 문제점을 인식하고, LLM을 활용한 자동화 방안을 설계했다. 핵심 아이디어는 “생성‑검색‑재정렬”이라는 삼중 구조로, 각각의 단계가 서로의 약점을 보완한다. 첫 번째 단계에서는 LoRA로 파인튜닝된 LLM이 학생‑튜터 대화와 문제·답변 정보를 입력받아, 가능한 오개념을 자연어 형태의 가설로 출력한다. 여기서 LoRA는 전체 파라미터 중 0.5%만을 학습 가능하게 하여, 적은 데이터와 연산량으로도 모델이 교육용 어휘와 스타일에 적합한 텍스트를 생성하도록 만든다. 두 번째 단계는 생성된 가설을 MiniLM‑L6‑v2 임베딩 모델에 통과시켜 벡터화하고, 사전에 정의된 546개의 오개념 라벨 역시 동일한 임베딩 공간에 매핑한다. 코사인 유사도를 기반으로 상위 k개의 후보를 추출함으로써, 의미적 유사성을 정량화하고 검색 효율성을 확보한다. 세 번째 단계에서는 또 다른 LoRA‑파인튜닝된 LLM이 후보 라벨들을 입력받아, 정교한 의미 판단과 교사식 라벨링 기준을 반영해 최종 순위를 재조정한다. 이 재정렬은 단순 임베딩 거리만으로는 포착하기 어려운 미묘한 의미 차이를 보정한다.

실험 설계는 데이터셋을 ‘오개념 라벨 기준’으로 70/10/20 비율로 학습·검증·테스트로 분할한 점이 특징이다. 이는 테스트 시 모델이 전혀 본 적 없는 새로운 오개념에 대해 일반화 능력을 평가하도록 만든다. 평가 지표로는 MAP@k, NDCG, Recall@k를 사용했으며, 특히 MAP@1과 Recall@5에서 제안 파이프라인이 기존 베이스라인을 크게 앞섰다. 베이스라인에는 (1) 직접 임베딩 매칭(대화 텍스트를 바로 라벨 임베딩과 비교), (2) 제로샷 Claude Sonnet 4.5를 이용한 직접 라벨 순위 예측, (3) TF‑IDF 기반 키워드 매칭이 포함된다. 결과는 키워드 매칭이 제로샷 LLM보다 약간 우수했지만, 두 방법 모두 생성‑검색‑재정렬 구조에 비해 상위 예측 정확도가 현저히 낮았다.

또한 모델 규모와 폐쇄형·오픈소스 여부에 따른 비교도 진행했다. Claude와 같은 대형 폐쇄형 모델은 제로샷 성능이 어느 정도 있었지만, API 비용과 개인정보 보호 이슈가 존재한다. 반면 LLaMA‑3.2‑3B와 Qwen‑2.5‑7B는 LoRA 파인튜닝을 통해 생성 품질을 크게 끌어올렸으며, 최종 성능에서는 Claude를 능가했다. 이는 파인튜닝이 작은 모델이라도 도메인 특화된 작업에 충분히 강력함을 시사한다.

소거 실험에서는 (i) 생성 단계 없이 직접 임베딩 매칭, (ii) 재정렬 단계 없이 최초 검색 결과만 사용, (iii) 두 단계 모두 제거한 경우를 각각 평가했다. 모든 경우에서 성능이 감소했으며, 특히 재정렬을 제외했을 때 NDCG와 MAP@k가 크게 떨어졌다. 이는 재정렬 단계가 상위 후보의 미세 조정에 핵심적임을 입증한다.

전체적으로 이 논문은 LLM 기반 생성, 고성능 임베딩 검색, 그리고 파인튜닝된 재정렬을 결합함으로써, 교육 대화에서의 오개념 진단이라는 복합 문제를 효과적으로 해결한다는 점에서 의의가 크다. 또한 데이터 프라이버시, 비용 효율성, 모델 경량화 측면에서도 실용적인 가이드를 제공한다.