코퍼스 복제 과제

초록

본 논문은 인공적으로 생성한 텍스트를 이용해 word2vec이 원하는 의미 관계를 학습하도록 설계하는 “코퍼스 복제 과제(Corpus Replication Task)”를 제안한다. 간단한 문장 집합을 확률적으로 결합하고 윈도우 크기를 조절함으로써, 왕‑남자 ↔ 여왕‑여자와 같은 구문 관계와 독일‑베를린‑수도와 같은 의미 관계를 2차원 벡터 공간에서 재현한다.

상세 분석

이 연구는 word2vec이 단순히 통계적 동시출현을 기반으로 의미와 구문 관계를 학습한다는 전제를 실험적으로 검증한다. 저자는 “코퍼스 복제 과제”라는 역공학적 접근을 통해, 특정 관계 R을 만족하는 텍스트 T를 설계하고, 그 텍스트를 word2vec에 입력했을 때 R이 실제 벡터 연산으로 재현되는지를 확인한다. 두 가지 관계, 즉 (king – man) ≈ (queen – woman)와 (Germany + capital) ≈ Berlin을 목표로 삼았다.

첫 번째 실험에서는 “A king is a man.”과 “A queen is a woman.”이라는 두 문장을 Bernoulli 분포(p=0.5)로 무작위 결합하였다. 윈도우 크기 n=2를 사용해 Skip‑Gram 모델을 학습시켰으며, 2차원 임베딩 결과는 남성과 여성, 왕과 여왕 벡터가 각각 거의 동일한 위치에 모여 (king – queen)≈0, (man – woman)≈0을 만족함을 보여준다. 이는 문맥이 완전히 겹치는 단어쌍이 paradigmatic similarity(동의어·대치 관계)로 강하게 결합된다는 점을 시각적으로 확인한 것이다.

두 번째 실험에서는 “Berlin is the capital of Germany.”, “Germany has a capital.”, “Berlin is the capital.” 세 문장을 균등하게 샘플링해 텍스트를 구성하였다. 초기 1,000문장 수준에서는 vec(capital)+vec(Germany)와 vec(Berlin) 사이 거리가 멀었지만, 텍스트 규모를 10,000·100,000문장으로 확대하자 목표 관계가 점차 수렴하였다. 이는 word2vec이 충분히 많은 동시출현 정보를 확보하면, 의미적 합성 관계(semantic analogy)를 선형적으로 표현할 수 있음을 의미한다.

윈도우 크기의 역할도 상세히 탐구했다. n=2는 목표 단어쌍이 동일 문맥에 포함되도록 최적화된 값이며, n=1로 축소하면 문맥 겹침이 감소해 벡터가 흩어지고, n=3으로 확대하면 과도한 문맥 중첩으로 모든 벡터가 한 점에 수렴한다는 현상을 관찰했다. 이는 word2vec의 컨텍스트 정의가 관계 학습에 결정적 영향을 미친다는 중요한 교훈을 제공한다.

또한 저자는 2차원 임베딩의 한계를 인식하고, 고차원 공간에서는 서로 독립적인 컨텍스트 집합을 서로 다른 축에 배치함으로써 더 복잡한 관계망을 구현할 수 있다고 제안한다. 향후 연구에서는 이러한 저차원 솔루션을 고차원에 ‘붙여넣기’하는 방법과, 비균등한 확률 분포, 조건부 종속성을 가진 코퍼스에서 관계 재현 가능성을 탐색할 계획이다.

전반적으로 이 논문은 word2vec이 “노이즈 없는” 인공 코퍼스에서 기대되는 관계를 정확히 학습한다는 가설을 실증하고, 관계 학습을 위한 코퍼스 설계 원칙(문맥 겹침, 윈도우 크기, 샘플링 규모)을 제시함으로써, 의미론적 관계 추출 메커니즘을 이해하는 새로운 연구 방향을 열었다.