자동 추론 도구로 살펴본 자연어 추론 과제

초록

본 논문은 SNLI 데이터셋의 전제‑가설 쌍을 Attempto Controlled English(ACE)으로 변환하고, 변환된 1차 논리식에 자동 정리 증명기를 적용해 엔텔먼트와 모순을 판별한다. 구문 변환 규칙과 의미 규칙을 설계해 ACE 파싱 성공률을 7 %에서 16 %로 끌어올렸으며, 정리 증명기가 엔텔먼트를 예측한 경우 정확도가 100 %에 달했지만 전체 정확도는 30 % 수준에 머물렀다.

상세 분석

이 연구는 자연어 추론(NLI) 분야에서 딥러닝 기반 접근법이 지배적인 현 상황에 논리 기반 방법론을 재조명한다는 점에서 의의가 크다. 저자들은 먼저 SNLI 데이터의 전제와 가설을 ACE 파서인 APE에 투입했지만, 원문이 ACE 문법을 만족하지 않아 파싱 실패율이 높았다. 이를 해결하기 위해 8개의 구문 변환 규칙(R1‑R8)을 설계했는데, 명사구의 형용사 연결, 공통 지시어 해소, 시제 통일, 수사 표현 정규화, 전치사·부사구 재배열 등 자연어의 다양한 변형을 ACE가 허용하는 형태로 바꾸었다. 특히 R2(공통 지시어 해소)는 CoreNLP 기반 코리퍼런스 분석을 활용해 모든 대명사를 고유 명사 형태로 치환하고, 필요시 추가 문장을 삽입해 의미 손실을 최소화했다.

구문 변환 후에도 논리식에 의미적 빈틈이 남을 경우를 대비해 두 종류의 의미 규칙을 도입했다. S1은 명사 하이퍼니즘을 WordNet으로 탐색해 ∀x n₁(x)→n₂(x) 형태의 함의 규칙을 A 집합에 추가하고, 하이퍼니즘 관계가 없을 때는 부정 동등식 ∀x n₁(x)↔¬n₂(x) 를 N 집합에 넣는다. S2는 동사 하이퍼니즘에 대해 전이 관계를 정의하고, 마찬가지로 하이퍼니즘이 없을 경우 부정 동등식을 삽입한다. 이러한 의미 규칙은 원문 의미를 변형하지 않으면서도 정리 증명기에 추가적인 단서를 제공한다.

실험에서는 SNLI 개발 셋 10 000쌍을 대상으로 전체 파이프라인을 실행했다. 구문 규칙 적용 전 파싱 커버리지는 7.06 %였으나, 규칙 적용 후 16.61 %로 상승했다. 정리 증명기가 엔텔먼트를 예측했을 때는 100 % 정확했지만, 전체 정확도는 28.7 %에 불과했다. 이는 ACE 파싱 결과가 주로 긍정적 사실을 기술하는 서술형 문장에 국한돼 부정(¬H)이나 모순을 포착하기 어려웠기 때문이다. 의미 규칙을 적용한 뒤 모순 예측 정확도가 37.5 %로 소폭 개선됐지만, 여전히 무작위 수준에 머물렀다. 저자들은 일부 라벨 오류를 발견했으며, 논리 기반 접근이 인간이 놓치기 쉬운 라벨링 실수를 드러낼 수 있음을 강조한다.

결론적으로, 논리 기반 NLI 접근법은 현재 딥러닝 모델에 비해 정확도는 낮지만, 구문·의미 변환을 통해 논리식 커버리지를 크게 늘릴 수 있음을 보여준다. 향후 연구에서는 변환 규칙의 정교화, 보다 풍부한 의미 어휘(예: 프레임 의미론) 도입, 그리고 자연 논리(Natural Logic)와의 하이브리드 모델을 탐색함으로써 논리 기반 시스템의 실용성을 높일 여지가 있다.