자동화된 다중 미니 인터뷰 점수 매기기

초록

본 논문은 대규모 언어 모델(LLM)을 활용해 의료계 대학 입학용 가상 MMI(VMMI) 인터뷰의 9개 소프트 스킬 기준을 7점 리커트 척도로 자동 채점하는 방법을 제안한다. 3‑샷 인‑컨텍스트 학습과 다중 에이전트 프롬프트 설계를 결합한 프레임워크가 기존의 근거 기반 파인튜닝(RMTS)보다 QWK 0.62 대 0.32의 큰 격차를 보이며 인간 평가자와 유사한 신뢰도를 달성한다. 또한 동일 프레임워크를 ASAP 에세이 채점 벤치마크에 적용해 특화 모델에 필적하는 성능을 보여, 구조화된 프롬프트 엔지니어링이 데이터‑집약적 파인튜닝을 대체할 수 있음을 시사한다.

상세 분석

이 연구는 MMI와 같은 주관적·맥락 의존적 평가 과제가 기존 AES(자동 에세이 채점)에서 성공한 LLM 기반 접근법에 바로 적용되지 못한다는 점을 명확히 짚는다. 첫 번째 실험에서는 Sentence‑BERT 임베딩을 이용한 군집 분석이 의미론적 유사성은 포착하지만, ‘친구에게 다가가는 행동’과 ‘멀리 떨어지는 행동’처럼 평가 기준에 따라 상반된 의미를 구분하지 못한다는 한계를 드러냈다. 이는 단순 의미 매핑이 아니라 상황‑특정 판단을 요구하는 소프트 스킬 평가에 LLM의 추론 능력이 필요함을 보여준다.

프롬프트 설계 단계에서는 0‑shot, 3‑shot, 4‑shot 등 다양한 인‑컨텍스트 샘플링을 시험했으며, 점수 분포가 고득점에 편중된 데이터셋 특성상 저·중·고 점수 샘플을 균형 있게 배치한 3‑shot(L/M/H) 구성이 가장 안정적인 QWK(0.363)를 기록했다. 반면 4‑shot 이상에서는 마지막 샘플에 과도히 의존하는 ‘프롬프트 편향’이 나타나 성능이 감소했다.

재검색‑보강(RAG) 전략을 적용해 가장 유사한 응답을 동적으로 삽입했지만, 데이터 불균형으로 인해 점수 다양성이 부족해 오히려 성능이 저하되었다. 고정된 3‑shot 샘플이 오히려 캘리브레이션에 유리하다는 결론에 도달했다.

핵심 혁신은 ‘다중 에이전트’ 구조이다. 원시 전사본을 정제하는 전처리 에이전트와, 각각의 기준(c2~c10)에 특화된 9개의 스코어링 에이전트로 작업을 분리함으로써 기준 간 상호 간섭을 최소화했다. 각 스코어링 에이전트는 동일한 7점 루브릭과 3‑shot 예시를 사용하지만, 해당 기준에 맞는 백분위 샘플을 선택해 프롬프트에 삽입한다. 이 설계는 QWK를 0.533으로 크게 끌어올렸으며, 인간 전문가와의 상관관계에 근접한 신뢰도를 보였다.

파인튜닝 비교 실험에서는 Llama 3.1 8B와 최신 BER‑T 기반 modernBER‑T를 각각 그룹드, 개별, 전처리 적용 형태로 학습했지만, 프롬프트 기반 다중 에이전트가 여전히 우수했다. 이는 대규모 사전학습 모델이 충분히 일반화된 추론 능력을 가지고 있으며, 적절히 설계된 프롬프트가 데이터 효율성을 극대화한다는 점을 뒷받침한다.

마지막으로 ASAP 에세이 데이터셋에 동일 프레임워크를 적용했을 때, 별도 파인튜닝 없이도 기존 RMTS나 특화 모델에 필적하는 QWK를 달성했다. 이는 ‘구조화된 프롬프트 엔지니어링’이 도메인 전이와 일반화에 강력한 도구가 될 수 있음을 보여준다. 전체적으로 이 논문은 복잡하고 주관적인 평가 과제에 대해 파인튜닝보다 프롬프트 설계가 더 비용‑효율적이며, 인간 평가와 동등한 신뢰성을 제공할 수 있음을 실증한다.