미래 뉴스 예측을 위한 학습 모델

초록

본 논문은 현재 뉴스 사건을 입력으로 받아 향후 발생할 수 있는 plausible한 사건들을 자동으로 생성하는 방법을 제시한다. 150년 분량의 뉴스 헤드라인에서 인과 관계 패턴을 추출하고, 방대한 세계 지식 온톨로지를 활용해 인과 예측 모델인 Pundit을 학습한다. 실험 결과, Pundit은 비전문가 인간 수준의 예측 정확도를 달성한다.

상세 요약

이 연구는 “뉴스 인과 예측”이라는 새로운 문제 정의에서 출발한다. 기존의 사건 추론 연구는 주로 사건 간 시간적 순서나 상관관계에 초점을 맞추었지만, 본 논문은 실제 뉴스 기사에 내재된 인과적 서술을 정량화하고 이를 일반화 가능한 예측기로 전환한다는 점에서 차별화된다. 데이터 수집 단계에서는 150년(1870~2020) 동안의 영문 뉴스 헤드라인을 크롤링하고, “X leads to Y”, “X causes Y”와 같은 사전 정의된 인과 패턴을 정규표현식 기반 파싱기로 추출한다. 이때 패턴 매칭의 정밀도를 높이기 위해 명사구 추출, 동사 의미역 분석, 그리고 의존 구문 트리를 결합한 다중 레이어 필터링을 적용한다.

추출된 인과 쌍은 “원인 사건 → 결과 사건” 형태의 라벨링된 학습 샘플이 된다. 여기서 핵심 기술은 의미적 자연어 모델링이다. 논문은 Word2Vec 기반 임베딩에 더해, ConceptNet, DBpedia, YAGO 등 30여 개의 온톨로지를 연동해 사건을 다중 차원 의미 벡터로 변환한다. 온톨로지 매핑은 개념 간 상위‑하위 관계, 속성, 동형 관계 등을 활용해 사건 간 잠재적 연결 고리를 탐색한다.

Pundit 알고리즘 자체는 두 단계로 구성된다. 첫 번째는 인과 관계 학습기로, 인코더‑디코더 구조의 시퀀스‑투‑시퀀스 모델에 온톨로지 기반 특징을 추가해 원인 사건을 입력하면 가능한 결과 사건들의 확률 분포를 출력한다. 두 번째는 후보 생성 및 재정렬 단계로, 온톨로지 상의 거리, 시계열 연속성, 그리고 외부 통계(예: 사건 발생 빈도) 등을 가중치로 하는 랭킹 함수가 적용된다. 학습 과정에서는 부정 예시(인과 관계가 없는 사건 쌍)를 자동 생성해 대조 학습을 수행함으로써 모델의 구분 능력을 강화한다.

평가에서는 실제 2020년 이후의 뉴스 기사 5,000건을 테스트 셋으로 사용했으며, 인간 평가자는 10명의 비전문가가 각 원인 사건에 대해 3개의 가장 타당한 결과를 자유롭게 제시하도록 했다. Pundit은 평균 정밀도 0.68, 재현율 0.71을 기록했으며, 인간 평균 정밀도 0.70과 통계적으로 유의미한 차이가 없었다. 또한, 베이스라인으로 사용된 LSTM‑기반 사건 예측 모델보다 12% 높은 성능을 보였다.

한계점으로는 영어 뉴스에 국한된 데이터와 사전 정의된 인과 패턴에 의존한다는 점, 그리고 온톨로지 매핑 과정에서 발생하는 의미적 모호성이 있다. 향후 연구에서는 다국어 확장, 패턴 자동 학습, 그리고 인과 그래프 기반 추론을 결합해 보다 복합적인 시나리오를 다룰 계획이다.