대형 언어모델의 메타언어 지식, 세계 언어 전반에 걸친 평가

초록

본 논문은 세계언어구조도(WALS)의 192개 언어 특징을 2,660개 언어에 대해 자연어형 객관식 질문으로 변환한 대규모 다국어 벤치마크를 구축하고, GPT‑4o를 포함한 여러 LLM의 메타언어(언어 구조에 대한 명시적 추론) 지식을 정확도와 macro F1로 평가한다. 결과는 모든 모델이 우연보다 높지만 다수 클래스 기준을 넘지 못하며, 특히 디지털 자원이 풍부한 언어에서만 상대적으로 높은 성능을 보인다. 자원 지표가 언어별 성능을 가장 잘 설명하고, 언어학적 도메인별 차이(어휘 > 형태 > 음운)도 관찰된다. 데이터 가용성이 메타언어 지식의 주요 결정 요인임을 시사한다.

상세 분석

이 연구는 메타언어 지식—즉, 언어 구조 자체에 대한 명시적 추론 능력—을 평가하기 위해 WALS 데이터베이스를 활용했다. WALS는 2,660개 언어에 대해 192개의 문법·음운·어휘·통사론적 특징을 기술하고 있는데, 저자들은 각 특징을 “이 언어는 ___(옵션 A)인가, ___(옵션 B)인가” 형태의 다지선다형 질문으로 자동 변환하였다. 변환 과정에서 원문 설명을 자연어로 재구성하고, 정답 옵션을 포함한 3~4개의 선택지를 생성했으며, 다중 선택지의 난이도를 균등하게 맞추기 위해 무작위로 오답을 삽입했다.

평가 대상 모델은 최신 상용 모델인 GPT‑4o와 여러 오픈소스 LLM(예: LLaMA‑2, Mistral, Falcon 등)이며, 각각 동일한 프롬프트 템플릿을 사용해 0‑shot 방식으로 질문에 답하도록 설계했다. 성능 지표는 전체 정확도와 클래스 불균형을 보정하는 macro F1을 채택했으며, 두 가지 베이스라인(무작위 추측, 다수 클래스)과 비교하였다.

실험 결과, GPT‑4o가 0.367의 정확도와 0.342의 macro F1으로 가장 높은 점수를 기록했지만, 다수 클래스 베이스라인(≈0.31)보다 크게 앞서지는 못했다. 오픈소스 모델들은 0.20~0.30 수준으로 크게 뒤처졌다. 도메인별 분석에서는 어휘적 특징이 가장 높은 정확도(≈0.42)를 보인 반면, 음운적 특징은 가장 낮은 정확도(≈0.28)를 나타냈다. 이는 온라인에 존재하는 텍스트 데이터가 어휘 정보를 풍부히 제공하지만, 음성·음운 정보는 텍스트만으로는 충분히 학습되지 않음을 시사한다.

언어별 성능 분석에서는 디지털 언어 지위(위키피디아 페이지 크기, 코퍼스 가용성 등)와 강한 양의 상관관계(r ≈ 0.58)가 발견되었다. 반면, 지리적·계통학적·사회언어학적 변수는 설명력이 낮았다. 다중 회귀와 랜덤 포레스트 모델을 이용한 변수 중요도 평가에서도 자원 지표가 가장 높은 기여도를 보였다.

한계점으로는 WALS 자체의 언어 커버리지 불균형(고자원 언어에 비해 저자원 언어는 특징 수가 적음)과, 다지선다형 질문이 실제 언어학적 추론을 완전히 대변하지 못한다는 점을 들었다. 또한, 모델이 “정답”을 추론하기보다 학습 데이터에 기반한 통계적 패턴을 재현하는 경향이 강해, 진정한 규칙 기반 메타언어 능력을 평가하기엔 추가적인 프로빙이 필요하다.

결론적으로, 현재 LLM은 광범위한 언어 데이터를 통해 일반적인 교차언어 패턴을 포착하지만, 세부적인 문법·음운 규칙을 명시적으로 이해하고 적용하는 능력은 제한적이다. 향후 연구는 더 균형 잡힌 언어 데이터 확보와, 규칙 유도·설명 능력을 직접 테스트하는 프로빙 기법을 결합함으로써 메타언어 지식의 깊이를 측정해야 한다.