트랜스포머로 문맥 자유 언어 인식하기

초록

본 논문은 로그 깊이의 루프 레이어와 충분한 패딩을 이용해 트랜스포머가 모든 문맥 자유 언어(CFL)를 인식할 수 있음을 증명한다. 일반 CFL는 O(log n) 루프와 O(n⁶) 패딩이 필요하지만, 비모호 CFL와 선형 비모호 CFL와 같은 자연스러운 하위 클래스에서는 각각 O(n³)·O(log² n)와 O(n²)·O(log n) 패딩·루프만으로도 인식이 가능함을 보인다. 이론적 구성과 함께 실험을 통해 루프가 로그 깊이가 필요한 언어에서 성능 향상을 확인한다.

상세 분석

논문은 먼저 기존 결과를 정리한다. 고정 깊이의 트랜스포머는 TC⁰에 속하고, TC⁰는 NC¹보다 약하므로 정규 언어조차 인식하지 못한다는 복잡도 가정이 있다. 이를 극복하기 위해 ‘루프드 트랜스포머’를 도입한다. 루프드 트랜스포머는 입력 길이 n에 비례해 루프 블록을 O(d(n))번 반복하는 구조이며, 여기서 d(n)=log n이면 정규 언어를 인식할 수 있음이 알려져 있다. 논문은 이 아이디어를 문맥 자유 언어(CFL)로 확장한다.

핵심은 아이템 기반의 병렬 파싱 알고리즘이다. 아이템은