텍스트 기반 속성 표현을 위한 곱셈 모델

초록

이 논문은 단어 임베딩과 동시에 속성(문서, 언어, 메타데이터 등) 벡터를 학습하는 세 차원(세 번째 차원) 곱셈 신경언어모델을 제안한다. 속성 벡터가 단어 텐서의 게이팅 역할을 하여 조건부 단어 유사도와 속성‑조건 텍스트 생성을 가능하게 한다. 감성 분류, 교차언어 문서 분류, 블로그 저자 식별 등 여러 실험에서 경쟁 모델과 비슷하거나 우수한 성능을 보이며, 속성별 단어 이웃 변화와 스타일 기반 텍스트 생성을 정성적으로 시연한다.

상세 분석

본 연구는 기존의 로그‑선형 언어모델(LBL)을 기반으로, 단어 임베딩을 V × K × D 형태의 텐서로 확장한다. 여기서 V는 어휘 크기, K는 임베딩 차원, D는 속성 차원이다. 속성 벡터 x∈ℝᴰ가 주어지면 텐서와의 내적 T x = Σᵢ xᵢ T⁽ⁱ⁾ 로 각 속성에 대한 가중합을 수행해 속성‑조건화된 단어 행렬을 만든다. 완전 텐서를 직접 학습하면 파라미터가 폭발적으로 증가하므로, 저자는 텐서를 세 개의 저차원 행렬 W_f k ∈ ℝᴰᶠ × K, W_f d ∈ ℝᴰᶠ × D, W_f v ∈ ℝᴰᶠ × V 로 분해한다. 이때 F는 팩터 수이며, T x = (W_f v)ᵀ · diag(W_f d x)· W_f k 로 계산된다.

예측 단계에서는 기존 LBL과 동일하게 컨텍스트 단어들의 임베딩을 선형 변환 C(i) 로 합쳐 ˆr을 만든 뒤, ˆr과 속성 벡터 x를 각각 W_f k와 W_f d에 투사해 요소별 곱 f = (W_f k ˆr) ⊙ (W_f d x) 를 얻는다. 최종 단어 확률은 softmax( (W_f v)ᵀ f + b ) 로 정의된다. 이 구조는 속성 벡터가 단어 임베딩을 동적으로 변형시키는 ‘게이팅’ 역할을 하여, 같은 단어라도 속성에 따라 다른 의미 공간에 매핑된다.

속성 학습은 별도의 lookup 테이블 L 에서 시작해, 역전파를 통해 L을 업데이트한다. ReLU 비선형을 적용해 희소하고 양수인 속성 벡터를 얻으며, 테스트 시에는 고정된 네트워크 파라미터 위에서 SGD로 미지의 속성 벡터를 추정한다. 또한, 언어별 어휘가 서로 다를 경우(교차언어) 각 언어에 대해 Vʟ이 다른 전용 W_f vʟ을 두어, 공유된 팩터와 변환 행렬을 통해 언어 간 통계적 힘을 공유한다.

실험에서는 (1) 감성 트리뱅크에서 문장‑레벨 속성(문장 벡터)으로 서브프레이즈를 학습, 로지스틱 회귀로 감성 예측; (2) RCV1/RCV2 교차언어 문서 분류에서 언어 속성을 이용해 다국어 임베딩을 구축; (3) 블로그 데이터에서 저자 메타데이터(연령·성별·산업) 속성을 학습해 저자 식별; (4) Gutenberg 코퍼스의 책을 속성으로 사용해 스타일‑조건 텍스트 생성 및 POS‑조건 생성 등을 수행했다. 정량 결과는 감성 분류에서 최신 재귀 신경망에 근접하고, 교차언어 분류에서는 기존 사전 학습 기반 방법보다 약간 낮지만, 속성‑조건화된 모델(ATD+)이 추가 언어를 활용했을 때 성능이 향상되는 모습을 보였다. 정성 평가에서는 ‘joy’가 종교 속성에서는 ‘rapture’, ‘god’와 가깝고, 과학 속성에서는 ‘delight’, ‘comfort’와 가깝게 매핑되는 등 조건부 단어 유사도가 직관적으로 변함을 확인했다.

이 모델의 강점은 (i) 속성을 벡터화해 다양한 부가 정보를 자연스럽게 통합, (ii) 텐서 분해를 통한 파라미터 효율성, (iii) 속성‑조건 텍스트 생성 가능성이다. 한계점으로는 (a) 팩터 수 F와 컨텍스트 크기 등에 대한 민감도가 높아 하이퍼파라미터 튜닝이 필요하고, (b) 속성 벡터가 충분히 학습되지 않으면 희소성 문제와 과적합 위험이 존재한다. 또한, 속성 간 상호작용을 단순 선형 가중합으로 모델링하기 때문에 복잡한 비선형 관계를 포착하기엔 제한적일 수 있다. 향후 연구에서는 다중 속성(예: 언어 + 주제) 동시 학습, 비선형 팩터 결합, 그리고 대규모 비지도 사전학습과 결합한 전이 학습 방안을 탐색할 여지가 있다.