CRF 기반 구조적 주의 네트워크를 활용한 대화 행위 인식

초록

본 논문은 대화 행위 인식(DAR) 문제를 계층적 의미 추론과 메모리 강화 기법을 결합한 신경망 위에 선형 체인 CRF와 구조적 주의 메커니즘을 통합한 모델로 해결한다. 제안된 CRF‑Attentive Structured Network는 단어‑레벨 임베딩, 문자‑CNN, POS/NER 정보 등을 융합한 풍부한 표현을 Bi‑GRU로 인코딩하고, 메모리 네트워크를 통해 전·후 문맥을 자유롭게 참조한다. 이후 구조적 주의가 적용된 CRF 레이어가 발화와 대화 행위 사이의 상호 의존성을 부드럽게 모델링한다. SWDA와 MRDA 데이터셋에서 기존 최첨단 방법들을 능가했으며, 특히 SWDA에서는 인간 주석자와 2% 차이의 성능을 기록했다.

상세 분석

이 연구는 대화 행위 인식을 순차 라벨링 문제로 정의하고, 기존의 다중 클래스 분류 방식이 갖는 문맥 무시와 수작업 특성 의존성을 극복하기 위해 두 가지 핵심 기술을 도입한다. 첫째, 계층적 의미 네트워크는 문자‑CNN 기반의 서브워드 임베딩과 사전 학습된 Word2Vec/GloVe를 결합해 단어 수준의 풍부한 표현을 만든 뒤, Bi‑GRU를 이용해 발화 수준의 벡터를 생성한다. 여기서 메모리 강화 모듈은 입력 메모리와 현재 발화 벡터 사이의 유사도를 softmax로 계산해 가중합을 수행함으로써, RNN이 갖는 제한된 시간 의존성을 넘어 전체 대화 흐름을 자유롭게 탐색한다. 두 번째 핵심은 구조적 주의가 결합된 선형 체인 CRF이다. 전통적인 CRF는 라벨 간 전이 확률만을 고려하지만, 본 모델은 주의 메커니즘을 통해 가능한 모든 라벨‑발화 구조에 대한 확률 분포를 부드럽게 추정한다. 이를 통해 발화와 그에 대응하는 대화 행위 사이의 이중 의존성을 동시에 학습한다. 학습 과정은 전부 미분 가능하도록 설계되어 엔드‑투‑엔드 방식으로 최적화된다. 실험에서는 SWDA와 MRDA 두 대규모 코퍼스에 대해 10‑fold 교차 검증을 수행했으며, 제안 모델이 기존 DRLM‑Conditional, LSTM‑Softmax, RCNN 등과 비교해 각각 1.2~2.5%p의 정확도 향상을 보였다. 특히 SWDA에서 인간 주석자와의 격차가 2% 이하로, 구조적 주의와 메모리 메커니즘이 대화 행위 예측에 미치는 효과를 입증한다.