비지도 탐색 기반 구조 예측

초록

본 논문은 검색 기반 구조 예측 알고리즘인 SEARN을 비지도 학습에 적용하는 방법을 제시한다. 예측 자체(predict‑self) 아이디어를 활용해 비지도 문제를 지도 학습 형태로 변환하고, 이를 통해 고품질의 비지도 시프트‑리듀스 파싱 모델을 구축한다. 또한 SEARN과 EM 사이의 이론적 연관성을 밝히고, 반지도 학습 확장을 실험적으로 검증한다.

상세 분석

이 논문은 구조화된 출력 공간을 갖는 복잡한 문제에 대해 기존의 지도 학습 기반 검색 알고리즘인 SEARN을 비지도 상황에 그대로 적용할 수 있음을 보여준다. 핵심 아이디어는 “predict‑self” 전략이다. 즉, 모델이 입력 데이터를 스스로 라벨링하도록 만든 뒤, 그 라벨을 목표 출력으로 삼아 지도 학습 문제로 변환한다. 이 과정에서 원래의 구조적 제약조건(예: 파싱 트리의 유효성)은 손실 함수에 포함시켜 학습이 진행되는 동안 유지된다.

SEARN은 기본적으로 “예측 → 행동 → 손실”의 순환을 통해 정책을 점진적으로 개선한다. 비지도 버전에서는 초기 정책을 무작위 혹은 간단한 휴리스틱으로 시작하고, 각 반복 단계에서 현재 정책이 만든 자체 라벨(예: 파싱 트리)을 이용해 새로운 학습 데이터를 생성한다. 이렇게 생성된 데이터는 기존 SEARN이 요구하는 “입력‑정답” 쌍 형태이므로, 표준 지도 학습 알고리즘(예: SVM, 로지스틱 회귀)으로 정책을 재학습한다.

흥미로운 점은 이 절차가 EM(Expectation‑Maximization)과 구조적으로 유사하다는 점이다. E‑단계에서 현재 정책이 만든 라벨을 “숨은 변수”의 기대값으로 사용하고, M‑단계에서 그 라벨을 고정한 채 파라미터를 최적화한다. 다만 SEARN은 EM보다 더 유연하게 손실 함수를 정의할 수 있어, 파싱 정확도뿐 아니라 트리의 균형성, 깊이 제한 등 다양한 구조적 목표를 동시에 최적화할 수 있다.

실험에서는 비지도 시프트‑리듀스 파서에 이 방법을 적용했으며, 기존 비지도 파싱 기법(예: PCFG 기반 EM) 대비 상당히 높은 F1 점수를 기록했다. 특히, 반지도 설정에서 소량의 라벨링된 데이터만 추가해도 성능이 급격히 상승하는데, 이는 SEARN이 라벨이 없는 데이터에서 얻은 풍부한 구조 정보를 효과적으로 활용한다는 증거이다.

또한, 알고리즘 복잡도 분석을 통해 각 반복 단계가 O(N·|A|) (N: 문장 길이, |A|: 액션 집합) 수준으로 유지되며, 병렬화가 용이함을 강조한다. 이는 대규모 코퍼스에 적용 가능함을 의미한다.

결론적으로, 이 논문은 비지도 학습에서 “예측 자체”를 통해 지도 학습 프레임워크를 재활용하는 새로운 패러다임을 제시하고, SEARN과 EM 사이의 이론적 연결고리를 명확히 함으로써 향후 구조화된 비지도 학습 연구에 중요한 토대를 제공한다.