이벤트 임베딩을 활용한 스크립트 지식 학습

이 논문은 일상 생활에서 일어나는 일련의 사건들을 이해하고 예측하기 위한 “스크립트 지식”을 자동으로 학습하는 새로운 접근법을 제시한다. 전통적인 스크립트 연구는 사건 간 관계를 그래프 형태로 모델링했으며, 이를 위해 사건 추출, 논항 매핑, 그리고 그래프 정렬 등의 복잡한 파이프라인이 필요했다. 그러나 그래프 기반 방법은 데이터가 희소하고, 사건 간 전이성(예: a ≺ b, b ≺ c ⇒ a ≺ c)을 명시적으로 보장하기 위해 별도의 전역 최적화가 요구되는 등 실용적인 한계가 있었다. 저자들은 이러한 문제를 해결하고자, 사건을 “동사(predicate) + 논항(arguments)”이라는 구조적 단위로 보고, 각 단어를 사전 학습된 워드 임베딩(C)으로 변환한다. 동사와 논항은 각각 다른 선형 변환 행렬(T와 R)을 거쳐 차원 변환된 뒤, 합산되어 은닉 벡터 h를 만든다. 이 은닉 벡터는 시그모이드 활성화 함수를 통과하고, 다시 선형 변환 A와 시그모이드를 거쳐 최종 사건 임베딩 x가 된다. 이 과정은 Figure 1에 시각화되어 있으며, T, R, A, C 네 개의 파라미터가 모두 학습 대상이다. 학습 목표는 사건 임베딩이 시간적 순서를 정확히 반영하도록 하는 것이다. 이를 위해 선형 순위 모델 w를 도입하고, 사건 임베딩 x에 대해 점수 s = wᵀx를 계산한다. 사건 쌍(e₁, e₂) 중 s₁ > s₂이면 e₁이 e₂보다 먼저 일어나는 전형적 순서라고 판단한다. 순위 학습은 PRank(Perceptron Rank)의 대마진 변형을 사용해 온라인 방식으로 진행한다. 구체적으로, 각 사건 시퀀스 Eᵏ에 대해 모든 사건에 대한 점수를 계산하고, 순위 오류가 발생하면 w와 동시에 신경망 내부 파라미터(T, R, A, C)도 역전파한다. 마진 γ를 도입해 점수 차이가 충분히 크지 않으면 오류를 부과함으로써 전이성을 암묵적으로 학습한다. 또한 Gaussian prior를 적용해 파라미터를 정규화한다. 실험 데이터는 Regneri et al. (2010)이 크라우드소싱으로 구축한 스크립트 데이터셋이다. 각 시나리오(예: 커피 만들기, 다림질)는 평균 30개의 사건 서술(E​SD)로 구성되며, 서술은 인간이 시간 순서대로 작성한 것이 금본위가 된다. 데이터는 시나리오별로 훈련/검증/테스트로 나뉘며, 4개의 시나리오를 검증용, 나머지 10개를 테스트용으로 사용한다. 비교 대상은 네 가지이다. (1) 동사 빈도 기반 베이스라인(BL)은 훈련 코퍼스에서 동사 쌍의 등장 순서를 카운트해 순서를 예측한다. (2) Regneri et al.의 그래프 기반 Multiple Sequence Alignment(MSA) 방법은 사건 그래프를 구축하고 정렬한다. (3) Frermann et al.의 계층적 베이지안 모델(BS)은 그래프와 확률적 모델을 결합한다. (4) 동사만 사용한 임베딩 버전(EE_verb)은 제안 모델의 구조를 유지하되 논항 정보를 제외한다. Table 1의 결과는 전체 모델(EE)이 평균 F1 = 84.1%를 기록해 BL(71.3%), MSA(71.0%), BS(77.6%)를 크게 앞선다. 특히 Recall이 크게 상승해 전이성을 활용한 순위 학습이 누락된 사건 쌍을 효과적으로 포착함을 보여준다. EE_verb도 BL보다 11.3%p 높은 F1을 얻어, 단순한 임베딩 기반 접근이 그래프 기반 파이프라인을 능가할 수 있음을 증명한다. 또한 단어 임베딩을 고정해도 성능 차이가 미미해, 제안된 합성 구조 자체가 핵심임을 확인한다. 이 논문의 주요 기여는 다음과 같다. 첫째, 사건을 구성 요소별 임베딩으로부터 학습 가능한 연산으로 조합하는 간단하면서도 표현력이 풍부한 모델을 제시했다. 둘째, 순위 학습을 통해 전이성을 자연스럽게 내재시켜 그래프 구축 없이도 시간적 관계를 정확히 예측한다. 셋째, 제한된 데이터 환경에서도 기존 최첨단 방법들을 크게 능가하는 실험적 증명을 제공한다. 향후 연구에서는 멀티태스크 학습을 통해 사건의 인과관계, 목적성 등 추가적인 의미적 속성을 동시에 학습하거나, 대규모 웹 텍스트에 적용해 보다 일반화된 스크립트 지식을 구축할 수 있을 것으로 기대된다.