모델 기반 무지도 문법 범주 획득 연구

초록

본 논문은 어른 언어 모델(DELILAH)과 딸 언어 모델로 구성된 MODOMA 시스템을 이용해, 어머니 모델이 생성한 순수 문장 데이터를 무지도 클러스터링으로 분석함으로써 명사·동사·형용사 등 전통적인 품사에 해당하는 이산 문법 범주를 자동으로 추출하고, 이를 그래프 기반 템플릿 형태로 딸 모델의 문법에 통합하는 과정을 제시한다. 훈련‑시험 두 단계 실험을 통해 획득된 범주가 실제 언어 규칙과 유사함을 검증한다.

상세 분석

본 연구는 언어 습득 시뮬레이션을 위한 MODOMA라는 다중 에이전트 환경을 설계하고, 어른 모델인 DELILAH가 생성한 네덜란드어 문장을 딸 모델에게 입력으로 제공한다는 점에서 인간 아동의 언어 학습 과정을 모델링한다. 핵심 방법론은 계층적 응집 군집분석(Hierarchical Agglomerative Clustering, HAC)을 이용해 어머니 모델의 출력 어휘를 통계적 맥락(동시 등장 빈도, 주변 토큰 패턴) 기반으로 군집화하고, 각 군집을 품사와 유사한 이산 문법 범주로 매핑하는 것이다. 군집 과정에서 사용된 거리 측정은 토큰‑레벨 n‑gram 분포의 코사인 유사도로, 이는 기존 인간 코퍼스 기반 품사 추론 연구와 일치한다.

획득된 범주는 그래프 기반 템플릿 형태로 표현된다. 각 템플릿은 HEAD와 ARGUMENT 노드로 구성된 이진 그래프이며, PHONFORM, SEMFORM, HEAD‑DIRECTION 등 다양한 특성‑값 쌍을 동적 리스트에 저장한다. 이러한 구조는 HPSG와 유사하게 문법 규칙과 어휘 정보를 동일한 그래프 형식으로 통합함으로써, 딸 모델이 새로운 어휘를 학습하거나 기존 규칙을 확장할 때 일관된 통합 메커니즘을 제공한다.

또한 논문은 ‘내부 주석(internal annotation)’이라는 자기 지도 학습 메커니즘을 도입한다. 딸 모델이 초기 군집으로부터 얻은 라벨을 스스로의 파싱 과정에 적용하고, 이를 기반으로 추가적인 슈퍼바이즈드 학습(예: 규칙 기반 분류)을 수행할 수 있게 한다. 이 과정은 외부 라벨이 전혀 제공되지 않는 순수 무지도 학습 환경에서도 점진적인 문법 복잡성 증대를 가능하게 한다.

실험은 두 단계로 나뉜다. 첫 번째 단계에서는 DELILAH가 생성한 10만 문장을 훈련 데이터로 사용해 군집을 수행하고, 얻어진 12개의 주요 군집이 전통적인 품사(명사, 동사, 형용사, 전치사 등)와 높은 일치도를 보였으며, 정밀도·재현율 모두 85 % 이상을 기록한다. 두 번째 단계에서는 별도로 생성된 테스트 세트를 이용해 동일한 파라미터 설정을 검증했으며, 획득된 범주가 테스트 데이터에서도 일관된 군집 구조를 유지함을 확인한다.

한계점으로는 (1) 어머니 모델이 이미 인간 언어학자에 의해 설계된 문법을 내포하고 있기 때문에, 완전한 ‘무작위’ 언어 생성이 아니라는 점, (2) 군집 수와 거리 임계값 선택이 결과에 민감하게 작용한다는 점, (3) 현재는 네덜란드어 한정이며 다른 언어에 대한 일반화 검증이 부족하다는 점을 들 수 있다. 향후 연구에서는 다양한 언어와 더 복잡한 구문 구조를 포함한 대규모 코퍼스를 대상으로 파라미터 자동 최적화와 심층 신경망 기반 특징 추출을 결합하는 방안을 모색할 필요가 있다.