검색 기반 구조 예측

초록

Searn은 복잡한 구조 예측 문제를 단순 분류 문제로 변환하여 임의의 이진 분류기를 활용할 수 있게 하는 메타 알고리즘이다. 손실 함수와 특징 함수가 구조 전체에 걸쳐 분해될 필요 없이, 원하는 어떤 손실과 특징을 사용해도 학습이 가능하며, 파생된 분류 문제에서 좋은 성능을 보이면 원래 구조 예측에서도 좋은 성능을 보장한다.

상세 분석

Searn(Sequential Evaluation and REduction)은 구조화된 출력 공간을 탐색(search)과 학습(learning)을 결합한 프레임워크로, 기존의 CRF, 구조화된 SVM 등과 달리 손실 함수와 특징 함수를 구조 전체에 대해 명시적으로 분해할 필요가 없다는 점이 가장 큰 혁신이다. 핵심 아이디어는 현재 정책(policy) 하에서 생성된 부분적인 예측 시퀀스를 “상태(state)”로 보고, 다음 행동(action)을 선택하는 문제를 이진 분류 문제로 매핑한다는 것이다. 이를 위해 Searn은 다음과 같은 순환 과정을 수행한다. 첫째, 초기 정책(보통는 무작위 혹은 휴리스틱 기반)을 사용해 여러 트레이닝 인스턴스에 대해 롤아웃(roll‑out) 시뮬레이션을 수행한다. 롤아웃은 현재 상태에서 가능한 모든 행동을 적용하고, 이후 남은 단계들을 현재 정책에 따라 진행해 전체 손실을 추정한다. 둘째, 각 행동에 대해 “비용(cost)”을 계산하고, 최소 비용 행동을 정답 라벨로 삼아 이진 분류 학습기에 학습 데이터를 제공한다. 셋째, 새로 학습된 분류기를 기존 정책과 혼합(예: ε‑greedy)하여 업데이트하고, 이 과정을 여러 라운드에 걸쳐 반복한다. 라운드가 진행될수록 정책은 점점 더 정확한 행동을 선택하게 되며, 전체 손실에 대한 기대값도 감소한다.

이론적 측면에서 Searn은 “regret bound”를 제시한다. 구체적으로, 각 라운드에서 얻은 분류기의 오류율 ε와 정책 혼합 비율 β에 대해 전체 구조 손실 L은 O(T·(ε+β)) 로 제한된다(T는 예측 단계 수). 즉, 파생된 분류 문제에서 충분히 낮은 오류율을 달성하면, 원래 구조 예측 문제에서도 선형적으로 좋은 성능을 보장한다. 또한, 손실 함수가 비분해 가능(non‑decomposable)하거나, 특징이 전역적인 의존성을 갖는 경우에도 그대로 적용 가능하다는 점은 기존 방법들이 다루기 힘든 복잡한 NLP·비전·생물학 문제에 큰 장점을 제공한다.

실험에서는 문장 파싱, 기계 번역, 이미지 라벨링 등 다양한 도메인에서 Searn을 적용했으며, 특히 기존 구조화된 학습기법이 요구하는 복잡한 특징 설계 없이도 경쟁력 있는 정확도를 기록했다. 또한, 학습 비용이 비교적 낮고, 임의의 이진 분류기를 플러그인 형태로 교체할 수 있어 실용적인 유연성을 보여준다.

요약하면, Searn은 구조 예측을 “검색 + 분류”라는 두 단계로 명확히 분리함으로써, 손실 함수와 특징 설계에 대한 제약을 크게 완화하고, 이론적 보증과 실험적 검증을 동시에 제공하는 강력한 메타‑알고리즘이라 할 수 있다.