구조 정보를 활용한 양방향 재귀 신경망을 통한 토큰 레벨 라벨링

**1. 연구 배경 및 동기** 자연어 처리에서 토큰‑레벨 라벨링(예: 개체명 인식, 의견 표현 추출)은 각 단어에 대한 정확한 레이블이 요구된다. 전통적인 순차 모델인 양방향 순환 신경망(Bi‑RNN)은 과거와 미래 토큰을 각각 요약해 현재 토큰을 판단하지만, 장기 의존성을 학습하기 어려운 vanishing gradient 문제와, 순차적 거리와 구문적 거리 사이의 불일치가 한계로 지적된다. 예를 들어, 동사와 목적어가 여러 형용사에 의해 멀리 떨어져 있더라도 구문 트리에서는 가까운 관계에 있다. 따라서 구조적 정보를 직접 활용하는 모델이 필요하다. **2. 기존 연구와 차별점** 재귀 신경망(Recursive NN)은 트리 구조를 이용해 하위 노드들을 결합해 상위 노드 표현을 생성한다. 그러나 기존 재귀 신경망은 내부 노드(구문) 표현만을 생성하고, 리프(단어) 레벨에서 직접 라벨을 예측하는 메커니즘이 없었다. 이 논문은 이러한 한계를 극복하기 위해 “위쪽(upward) + 아래쪽(downward)” 두 방향의 재귀 전파를 도입한다. 위쪽 전파는 전통적인 재귀 방식으로 서브트리 정보를 요약하고, 아래쪽 전파는 부모 노드와 현재 노드의 위쪽 정보를 결합해 트리 전체에서 현재 노드를 제외한 나머지 정보를 전달한다. **3. 모델 설계** - **위쪽 전파**: 식 (8)에서 x↑η = f(W↑L x↑l(η) + W↑R x↑r(η) + b↑) 로 정의된다. 리프 노드에서는 x↑η 가 초기 단어 임베딩과 동일하다. - **아래쪽 전파**: 식 (9)에서 왼쪽/오른쪽 자식에 따라 서로 다른 가중치 W↓L, W↓R 를 사용한다. 루트에서는 부모가 없으므로 x↓ρ = f(V↓ x↑ρ + b↓) 이다. 이 과정에서 각 노드의 x↓η 는 트리 전체(자신을 제외한)의 정보를 포함한다. - **출력 레이어**: 리프 노드에서 yη = g(W↓o x↓η + W↑o x↑η + b_o) 로 라벨을 예측한다. 여기서 g 는 소프트맥스이며, 다중 클래스 BIO 태깅에 적용된다. - **순차·구조 결합**: 필요 시 Bi‑RNN의 은닉 상태 h→η, h←η 를 추가해 식 (11)처럼 결합한다. 이는 구조와 순차 정보를 동시에 활용하고자 할 때 사용된다. **4. 학습 방법** 오차는 출력 레이어에서 시작해 아래쪽 전파 → 위쪽 전파 순으로 역전파된다. 이는 “구조를 통한 역전파(back‑propagation through structure)”라는 기존 재귀 신경망 학습 기법을 그대로 적용한다. 파라미터는 미니배치 SGD(배치 80)와 L2 정규화로 최적화했으며, 학습률은 고정하였다. 사전 학습된 100차원 Collobert‑Weston 임베딩을 초기값으로 사용했으며, 파인‑튜닝 시 과적합이 발생해 고정하였다. **5. 실험 설정** - **데이터**: MPQA 코퍼스(14492문장)에서 DSE, ESE, 의견 보유자, 대상 등을 라벨링. 10‑fold 교차 검증, 테스트 셋은 각각 4492문장(DSE/ESE) 및 2471문장(다중 클래스)으로 분리. - **베이스라인**: (1) Bi‑RNN (순차적 양방향), (2) Bi‑Recursive (제안 모델), (3) Combined (양쪽 + 순차 결합). - **평가 지표**: Binary Overlap(겹치는 경우 모두 정답)와 Proportional Overlap(겹치는 정도에 비례) 두 가지 F1 점수를 사용. **6. 결과 및 분석** 표 2에 따르면 Bi‑RNN이 F1 ≈ 60.5%로 가장 높았으며, Bi‑Recursive가 F1 ≈ 60.2%를 기록했다. Combined 모델은 약간 낮은 ≈ 60.6%를 보였다(정확도와 재현율 간 균형 차이). 전반적으로 구조적 모델이 순차적 모델에 근접한 성능을 보였으며, 특히 트리 구조가 명확히 의미를 전달하는 경우(예: 동사‑목적어 관계)에서 이점이 기대된다. 그러나 현재 실험에서는 파라미터 튜닝이 제한적이었고, 파싱 오류가 모델 성능에 영향을 미칠 가능성이 있다. **7. 한계 및 향후 연구** - **파싱 품질 의존성**: 이진 파스 트리를 전제하므로 파서 오류가 직접 모델 입력에 반영된다. 더 견고한 구조 인코딩이 필요하다. - **모델 깊이**: 현재는 한 번의 위/아래 전파만 사용했으며, 다중 레이어 혹은 재귀적 auto‑encoder와의 결합을 통해 더 풍부한 표현을 학습할 여지가 있다. - **다양한 구조**: 의존 구문 트리, 의미 역할 그래프 등 다른 DAG 형태에 적용 가능성을 탐색해야 한다. - **대규모 사전 학습**: 최신 Transformer 기반 사전 학습 모델과의 하이브리드도 고려할 수 있다. **8. 결론** 본 논문은 토큰‑레벨 라벨링에 구조적 정보를 직접 통합하는 양방향 재귀 신경망을 제안하고, 의견 표현 추출 작업에 적용해 기존 순차 모델과 경쟁력 있는 성능을 입증하였다. 구조와 순차 정보를 동시에 활용하는 프레임워크는 향후 다양한 NLP 태스크에서 유용하게 확장될 수 있다.