웃음 없는 질문은 없다 터키어 관점에서 오프라인 LLM 성능 평가

초록

본 연구는 터키어 유산 언어 교육에 적용 가능한 오프라인 대형 언어 모델(LLM)의 교육적 안전성과 견고성을 평가한다. 10개의 특수 오류 상황을 포함한 Turkish Anomaly Suite(TAS)를 제작하고, 270M~32B 파라미터 규모의 14개 모델을 실험하였다. 결과는 파라미터 규모가 반드시 견고성을 보장하지 않으며, 8B‑14B 범위의 추론 중심 모델이 비용‑안전성 측면에서 최적임을 보여준다.

상세 분석

본 논문은 교육 현장에서 데이터 프라이버시와 모델 신뢰성을 동시에 만족시켜야 하는 상황을 배경으로, 오프라인 LLM의 선택 기준이 부족하다는 문제를 제기한다. 이를 해결하기 위해 저자들은 Turkish Anomaly Suite(TAS)라는 10개의 엣지 케이스 질문 집합을 설계했으며, 각 질문은 ‘언어적 칼크’, ‘사실·지리적 허위’, ‘역사·문화 위조’, ‘권위에 호소하는 오류’라는 네 가지 이상 축을 목표로 한다.

평가 방법은 10점 척도의 3차원 루브릭(사실 정확성, 환각 억제, 교육적 톤)으로 구성되었으며, ‘성공’, ‘부분 실패’, ‘중대한 실패’로 구분한다. 14개 모델은 Gemma‑3‑270M, Gemma‑3‑1B, MiniGPT‑4‑7B 등 다양한 아키텍처와 파라미터 규모를 포함한다. 실험 결과, 32B 규모의 DeepSeek‑R1‑32B는 전반적으로 높은 점수를 받았지만, 권위 오류(질문 8)에서는 실패해 파라미터 규모만으로는 sycophancy bias를 완전히 억제할 수 없음을 보여준다. 반면, 14B 규모의 ministral‑3‑14b‑reasoning은 추론 능력이 강화된 덕분에 동일 질문에서 정확히 거부하고 교정 설명을 제공했다.

특히, ‘˘g’ 문자로 시작하는 단어가 존재하지 않는다는 터키어 고유 규칙을 테스트한 경우, 대형 모델은 규칙을 정확히 인식했지만 소형 모델은 의미 없는 단어를 생성해 환각을 일으켰다. 지리적 허위(앙카라‑이즈미르 페리) 상황에서도 고성능 모델은 물리적 불가능성을 즉시 지적하고 올바른 경로를 제시했으며, 저성능 모델은 허구의 교통 루트를 만들어냈다.

기술적 측면에서는 모델 크기와 레이턴시 사이의 트레이드오프도 분석했다. 27B·32B 모델은 평균 응답 지연이 1.8 초 이상으로 실시간 교육 인터페이스에 부담이 될 수 있는 반면, 1B 이하 모델은 0.4 초 이내의 빠른 응답을 보였지만 교육적 안전성 기준을 충족하지 못했다. 최종 종합 점수(FinalScore)는 0.7·S + 0.2·T + 0.1·M(각각 안전성, 기술성, 메모리)로 가중합을 산출했으며, 이 점수는 파라미터 규모와 추론 최적화 정도가 복합적으로 작용함을 시사한다.

결론적으로, 단순히 파라미터 수에 의존하는 것이 아니라, 추론 능력과 정교한 정렬(alignment) 전략이 결합된 8B‑14B 구간 모델이 비용 대비 교육적 안전성을 가장 잘 만족한다는 실증적 근거를 제공한다. 이는 터키어 유산 언어 교육뿐 아니라, 유사한 저자원·다문화 학습 환경에서도 오프라인 LLM 선택 시 중요한 가이드라인이 될 수 있다.