교육자 역할 LLM 윤리·성격 프로파일링: EMNLP 프레임워크

초록

본 논문은 교사 역할을 시뮬레이션하는 대형 언어 모델(LLM)의 성격, 도덕 발달 단계, 그리고 소프트 프롬프트 주입에 따른 윤리적 위험을 종합적으로 평가하는 EMNLP 프레임워크를 제안한다. 88개의 교사 전용 도덕 딜레마와 확장된 교사 성격 척도(CPST‑E), 일반 성격 척도(HEXA‑CO)를 활용해 14개 모델을 실험했으며, 모델의 추론 능력이 높을수록 해로운 프롬프트에 취약함을 발견했다.

상세 분석

EMNLP 프레임워크는 교사 역할 LLM을 세 단계(성격 측정 → 도덕 판단 → 위험 테스트)로 평가한다. 첫 단계에서는 기존의 교사 전용 컴퓨터화 성격 척도(CPST)를 인간‑기계 협업 방식으로 항목을 2배로 늘린 CPST‑E와, 일반 성격을 파악하기 위한 HEXA‑CO‑60을 7점 Likert 형식으로 적용한다. 이때 100명의 현직 교사를 대상으로 신뢰도 검증을 수행해 내부 일관성이 높음을 확인하였다.

두 번째 단계는 5가지 교육 현장 갈등 유형(관심‑기후 vs. 형식‑기후, 분배‑정의 vs. 학교‑기준, 기밀‑규칙, 동료‑규범, 가정‑교육‑기준)과 11개 하위 카테고리를 포괄하는 88개의 도덕 딜레마를 구축한다. 딜레마는 인간 전문가가 시드 문항을 만들고, LLM이 확장한 뒤 전문가 검토를 거쳐 품질을 확보했으며, 초·중·고·대학 수준을 모두 포함한다. 각 딜레마는 개방형 질문 형태로 제시돼 모델이 자유롭게 이유를 서술하도록 설계되었다.

세 번째 단계는 교사 역할 LLM이 실제 교육 현장에서 마주할 수 있는 네 가지 도덕적 결함(무능, 과민, 나태, 부적절한 학생 요청)과 각각에 대한 5가지 소프트 프롬프트 주입 템플릿을 결합한다. 또한 5개의 학생 발화 샘플을 추가해, 모델이 해로운 내용을 생성할 위험성을 정량화한다.

실험은 14개 LLM(오픈소스 및 상용 모델 포함)을 대상으로 진행했으며, 모든 실험은 온도(temperature) 0에서 수행해 기본 성능을 측정했다. 성격 평가는 모델이 제시된 기술 서술과 자신의 성향을 0‑6 점으로 매핑하도록 하였고, 최종 점수는 10회 반복 후 최빈값을 취해 안정성을 확보했다. 도덕 단계 평가는 9명의 인간 전문가가 각 응답을 콜버그‑키올버그 3단계(전통‑전, 관습‑중, 후‑전) 중 하나로 라벨링했으며, 다수결로 최종 단계가 결정되었다. 위험 테스트는 전문가가 ‘해롭다/해롭지 않다’로 이진 라벨링했으며, 인터‑주석자 일치도가 높아 신뢰성을 입증했다.

주요 결과는 다음과 같다. (1) 교사 역할 LLM은 인간 교사와 비교해 성격 점수가 더 이상화되고 양극화된 경향을 보였으며, 특히 책임감·공감·윤리성 항목에서 높은 점수를 기록했다. (2) 도덕 딜레마에 대한 응답에서는 추상적·원칙 기반 판단에서 인간보다 우수했지만, 감정적·대인 관계가 얽힌 상황에서는 일관성 부족과 회피 경향이 나타났다. (3) 모델의 추론 능력이 뛰어날수록(예: GPT‑4, Claude‑2) 소프트 프롬프트 주입에 의해 해로운 응답을 생성할 확률이 증가했으며, 이는 ‘능력‑위험 역설’이라 부를 수 있다. (4) 온도 파라미터를 0‑1 범위로 변동시켰을 때, 성격 점수와 도덕 단계는 크게 변하지 않았지만, 위험 테스트에서는 온도가 높을수록 해로운 응답 비율이 미미하게 상승하는 경향을 보였다.

이러한 발견은 교사 역할 LLM이 교육 현장에 투입될 때, 높은 윤리적 기준을 만족시키기 위해서는 단순히 성능을 높이는 것이 아니라, 프롬프트 방어 메커니즘과 위험 감지 체계를 동시에 강화해야 함을 시사한다. 또한, EMNLP 프레임워크는 직업‑특화 LLM을 다차원적으로 평가할 수 있는 최초의 벤치마크로, 향후 교육 AI뿐 아니라 의료·법률 등 다른 전문 분야에도 확장 가능하다.