문자 수준 신경 언어 모델

본 논문은 “Character‑Aware Neural Language Models”라는 제목 아래, 문자 수준 입력만을 이용해 단어 수준에서 언어 모델링을 수행하는 새로운 신경망 구조를 제안한다. 기존의 신경 언어 모델(NLM)은 주로 단어 임베딩을 입력으로 사용하며, 이는 파라미터 수가 어휘 크기와 비례해 급격히 증가하고, 희소 단어와 형태소가 풍부한 언어에서 일반화가 어려운 단점을 가지고 있다. 이러한 문제를 해결하고자 저자들은 문자 수준에서 직접 특징을 추출하는 Convolutional Neural Network(CNN)와 highway 네트워크를 결합한 후, 이를 Long Short‑Term Memory(LSTM) 기반의 RNN‑LM에 연결하는 구조를 설계하였다. ### 모델 구조 1. **문자 임베딩**: 각 문자 c∈C는 d 차원의 임베딩 벡터로 변환된다. 여기서 d는 15로 설정되었으며, 문자 집합 C는 알파벳, 숫자, 특수문자 등을 포함한다. 각 단어는 시작·끝 문자를 추가한 뒤, 최대 길이에 맞게 zero‑padding 된다. 2. **문자 CNN**: 여러 폭(w)의 필터 H∈ℝ^{d×w}를 사용해 문자 시퀀스에 narrow convolution을 적용한다. 필터 폭은 1부터 7까지 다양하게 설정되며, 각 폭마다 일정 수의 필터를 배치한다(소규모 모델은 폭당 25·w개, 대규모 모델은 폭당 50~200개). convolution 결과에 tanh 비선형을 적용하고, max‑over‑time 풀링을 통해 각 필터당 하나의 스칼라 값을 추출한다. 이렇게 얻어진 y_k∈ℝ^{h}는 단어 k에 대한 문자 기반 표현이다. 3. **Highway Network**: y_k를 그대로 LSTM에 입력하면 성능이 저하되는 것을 관찰하고, highway 레이어를 도입한다. highway 레이어는 변환 게이트 t=σ(W_T y_k + b_T)와 캐리 게이트 (1−t)를 이용해 z = t ⊙ g(W_H y_k + b_H) + (1−t) ⊙ y_k 형태로 출력한다. 여기서 g는 ReLU와 같은 비선형 함수이며, W_T, W_H는 정방 행렬이다. 이 구조는 깊은 네트워크 학습 시 기울기 소실을 방지하고, 문자 CNN의 원시 특징을 선택적으로 전달한다. 4. **LSTM 기반 RNN‑LM**: highway 출력 z는 다층 LSTM(2층)으로 전달된다. 각 LSTM 층은 입력‑은닉 가중치 W, 은닉‑은닉 가중치 U, 편향 b를 갖는다. LSTM은 입력 게이트, 포게이트, 출력 게이트, 셀 상태를 통해 장기 의존성을 학습한다. 최종 은닉 상태 h_t는 소프트맥스 층에 전달되어 다음 단어 w_{t+1}의 확률 분포를 계산한다. 5. **출력 및 손실**: 소프트맥스는 전체 어휘 V에 대해 수행되며, 대규모 어휘에서는 hierarchical softmax를 사용해 계산 효율성을 높인다. 손실은 음의 로그우도(NLL)이며, 퍼플렉시티(PPL)로 평가한다. ### 학습 및 하이퍼파라미터 - **데이터**: 영어 Penn Treebank(PTB) 소규모(≈1M 토큰, V=10k)와 6개 형태소 풍부 언어(체코, 독일, 프랑스, 스페인, 러시아, 아랍)에서 소규모(≈1M)와 대규모(≈5~7M) 데이터셋을 사용했다. - **최적화**: truncated BPTT(35 timesteps)와 SGD(초기 학습률 1.0, 검증 퍼플렉시티가 1.0 이상 개선되지 않으면 절반 감소)로 학습했다. 배치 크기는 소규모 20, 대규모 100이며, gradient clipping(L2 norm ≤5)과 dropout(입력‑to‑hidden 0.5, softmax 0.5)으로 정규화했다. - **모델 크기**: 작은 모델은 총 파라미터 ≈ 5M, 큰 모델은 ≈ 20M이며, 기존 word‑embedding 기반 LSTM(≈12M, ≈30M)보다 각각 60% 적다. ### 실험 결과 1. **영어 PTB**: 제안 모델은 퍼플렉시티 78.9(소규모)와 73.4(대규모)를 기록, Zaremba et al.(2014)의 2‑layer LSTM(≈78)과 비슷하거나 약간 우수했다. 파라미터는 기존 대비 60% 감소. 2. **형태소 풍부 언어**: 모든 언어에서 문자 기반 모델이 word‑level LSTM 및 morpheme‑level LSTM보다 낮은 퍼플렉시티를 달성했다. 예를 들어 러시아어 대규모 데이터에서는 55.2 vs 61.8, 아랍어에서는 68.3 vs 74.5 등 큰 차이를 보였다. 3. **Ablation**: highway 레이어를 제거하거나 MLP를 적용하면 퍼플렉시티가 2~5% 상승한다. 이는 highway가 문자 CNN과 LSTM 사이의 정보 흐름을 효율적으로 조절함을 의미한다. 4. **표현 분석**: 학습된 단어 벡터를 t‑SNE로 시각화했을 때, 동일 어근을 공유하는 단어들이 클러스터를 형성한다. 또한, “event”, “eventful”, “eventually”와 같은 형태소 변형이 의미적으로 가깝게 매핑되는 것을 확인했다. 이는 문자 CNN이 형태소 정보를 효과적으로 캡처하고, highway와 LSTM이 이를 고차원 의미 공간으로 변환한다는 증거다. ### 의의 및 한계 - **파라미터 효율성**: 단어 임베딩을 완전히 배제함으로써 어휘 크기에 비례하는 파라미터 폭증을 방지한다. 이는 모바일 디바이스나 메모리 제한 환경에서 실용적이다. - **희소 단어 처리**: 문자 수준 입력은 OOV(Out‑of‑Vocabulary) 문제를 완화한다. 실제 실험에서는 토큰을 그대로 사용했음에도 불구하고, 문자 모델이 표면 형태를 활용해 성능 저하를 최소화했다. - **다국어 적용성**: 형태소가 풍부한 언어에서도 일관된 개선을 보였으며, 별도의 형태소 분석기 없이도 좋은 결과를 얻는다. - **제한점**: 현재는 단어 수준 출력만을 지원하므로, 문자‑to‑character 생성(예: 문자‑단위 번역)에는 직접 적용하기 어렵다. 또한, 매우 긴 단어(예: 독일어 복합어)에서는 필터 폭 제한으로 인해 모든 n‑gram을 포착하지 못할 가능성이 있다. ### 결론 본 연구는 문자 수준 CNN과 highway 네트워크를 LSTM 기반 언어 모델에 결합함으로써, 파라미터 효율성을 유지하면서도 다양한 언어에서 기존 word‑level 모델을 능가하는 성능을 달성하였다. 특히 형태소가 풍부한 언어에서 문자 기반 접근법이 의미와 형태 정보를 동시에 학습할 수 있음을 실험적으로 입증했다. 향후 연구에서는 문자‑to‑character 생성, 더 깊은 highway 구조, 그리고 Transformer와의 결합 등을 탐색함으로써 문자 기반 언어 모델의 적용 범위를 확대할 수 있을 것이다.