언어 모델 훈련 데이터 조작으로 영어 수동태 제한 학습 탐구

초록

본 연구는 영어 수동태가 적용되지 않는 동사들의 예외를 인간 화자와 신경망 언어 모델의 판단을 비교함으로써 조사한다. 인간 실험에서 동사마다 수동태 허용도가 차이 나는 것이 확인되었으며, 1억 단어 규모의 언어 모델도 인간 판단과 높은 상관(r≈0.9)을 보였다. 이후 두 가지 가설—빈도 기반 ‘엔트렌치먼트’와 의미 기반 ‘어펙티드니스’—을 검증하기 위해 훈련 코퍼스를 조작하였다. 결과는 두 요인이 독립적으로 수동태 가능성에 기여한다는 것을 보여준다.

상세 분석

이 논문은 언어 습득 이론과 인공지능 모델링을 교차 검증하는 방법론적 혁신을 제시한다. 먼저, 영어 수동태 제한에 대한 전통적인 언어학적 가설을 두 축으로 정리한다. 첫 번째는 ‘엔트렌치먼트 가설’로, 특정 동사가 수동태에 등장하지 않는 빈도가 낮을수록 학습자는 해당 동사가 수동태에 부적합하다고 추론한다는 주장이다. 두 번째는 ‘어펙티드니스 가설’로, 동사의 의미적 특성—특히 주체에 의해 피사체가 변화(상태·위치·존재)되는가 여부—가 수동태 허용성을 결정한다는 것이다. 두 가설은 실제 언어 사용에서 높은 상관관계를 보이지만, 인과관계를 분리하기는 어렵다.

연구진은 이를 해결하기 위해 신경망 언어 모델을 인간 학습자의 가상 대리인으로 설정하고, 훈련 데이터 자체를 조작한다는 ‘코퍼스 변형 실험’에 착수한다. 실험 1에서는 28개의 동사를 대상으로 140개의 활성‑수동태 문장 쌍을 제작하고, 인간 참여자에게 수용성 평점을 수집했다. 결과는 기존 문헌이 제시한 예외 동사들이 실제 화자에게도 낮은 수동태 수용성을 보인다는 점을 재확인했다. 이어서 동일한 문장을 이용해 1억 단어 규모의 트랜스포머 기반 언어 모델을 학습시켰으며, 모델이 산출한 확률 기반 수용성 점수와 인간 평점 사이의 피어슨 상관계수가 0.9에 달했다. 이는 모델이 단순 빈도 통계가 아니라 보다 복합적인 통계적 패턴을 포착해 인간과 유사한 문법적 판단을 할 수 있음을 시사한다.

실험 2A와 2B에서는 각각 엔트렌치먼트와 어펙티드니스 가설을 검증하기 위해 코퍼스를 변형한다. 2A에서는 특정 동사의 수동태 등장 빈도를 인위적으로 감소시켜 모델이 해당 동사의 수동태 가능성을 낮게 평가하도록 만든다. 결과는 빈도 감소가 모델의 판단에 유의미한 영향을 미쳐, 엔트렌치먼트가 실제 학습 신호임을 뒷받침한다. 2B에서는 ‘어펙티드’ 의미를 가진 피사체를 비어펙티드 동사와 결합시켜, 해당 동사의 의미적 어펙티드니스 비율을 인위적으로 높인다. 이 조작 역시 모델이 해당 동사를 더 수동태에 적합하다고 판단하도록 만들었으며, 의미적 정보가 독립적인 학습 신호임을 확인했다.

마지막으로 실험 3에서는 완전히 새로운 동사를 코퍼스에 삽입하고, 그 동사의 활성‑수동태 비율과 의미적 어펙티드니스 비율을 교차 조작한다. 이 실험은 두 가설이 상호작용할 가능성을 탐색했지만, 결과는 두 요인이 독립적으로 작용하고 상호작용 효과는 미미함을 보여준다. 즉, 학습자는 빈도와 의미를 각각 별개의 힌트로 활용한다는 결론에 도달한다.

전반적으로 이 논문은 (1) 인간 화자의 수동태 판단이 동사별로 미세하게 차이 난다는 실증적 증거, (2) 대규모 언어 모델이 인간과 유사한 수준의 문법적 판단을 학습할 수 있다는 실증, (3) 코퍼스 조작을 통한 인과적 검증이 가능하다는 방법론적 기여, (4) 엔트렌치먼트와 어펙티드니스가 각각 독립적인 학습 신호로 작용한다는 이론적 결론을 제공한다. 이러한 결과는 언어 습득 연구에서 ‘베이커의 역설’(관찰되지 않은 형태가 불가능함을 추론하는 문제)을 해결하는 새로운 실험적 패러다임을 제시한다는 점에서 의의가 크다.