다중 의도·슬롯 동시 인식을 위한 생성형 모델 GEMIS

초록

본 논문은 대화 시스템의 핵심인 의도 검출과 슬롯 채우기를 하나의 시퀀스‑투‑시퀀스 작업으로 재구성한 생성형 프레임워크 GEMIS를 제안한다. BART 기반 디코더에 의도‑슬롯 간 상호작용을 강화하는 Attention‑over‑Attention(AoA) 모듈을 삽입하고, BERT의 Next Sentence Prediction 헤드를 활용해 자연스러운 다중 의도 데이터셋(MultiATIS, MultiSNIPS)을 구축하였다. 실험 결과, 기존 최첨단 모델들을 크게 앞서며 특히 의도 수가 많아질수록 성능 향상이 두드러졌다.

상세 분석

대화형 시스템에서 Spoken Language Understanding(SLU)은 사용자의 발화를 의미론적으로 해석하는 핵심 단계이며, 전통적으로 Intent Detection(의도 검출)과 Slot Filling(슬롯 채우기)이라는 두 개의 서브태스크로 나뉜다. 대부분의 기존 연구는 단일 의도 상황에 초점을 맞추었고, 다중 의도 상황을 다루기 위해서는 별도의 복잡한 구조(예: 그래프 신경망, 스택‑전파)나 추가적인 라벨링 전략이 필요했다. 그러나 이러한 접근법은 사전 학습된 대형 언어 모델(BERT, RoBERTa 등)의 풍부한 사전 지식을 충분히 활용하지 못한다는 한계가 있다.

GEMIS는 이러한 한계를 극복하기 위해 두 서브태스크를 하나의 시퀀스‑투‑시퀀스(seq2seq) 문제로 변환한다. 입력은 원문 발화이며, 출력은 “ … <slot_start> <slot_end> <slot_type> …” 형태의 구조화된 토큰 시퀀스이다. 이때 BART의 사전 학습된 인코더‑디코더 구조를 그대로 사용함으로써, 대규모 코퍼스에서 학습된 어텐션 메커니즘을 그대로 전이한다.

핵심 기여는 디코더의 Cross‑Attention을 대체한 Attention‑over‑Attention(AoA) 모듈이다. AoA는 현재 디코딩 단계에서 이미 생성된 의도 토큰들의 어텐션 가중치를 재활용해, 슬롯 토큰을 예측할 때 의도 정보가 직접적인 바이어스로 작용하도록 설계되었다. 구체적으로, 디코더 레이어마다 (1) 기존 Cross‑Attention을 통해 입력 인코더 표현과 디코더 상태를 결합하고, (2) 의도 토큰에 대한 어텐션 맵을 별도 계산한 뒤, 두 어텐션 맵을 가중합(weighted sum)하여 최종 컨텍스트 벡터를 만든다. 이 과정은 “의도 → 슬롯” 흐름을 자연스럽게 인코딩하면서도, 의도 수가 가변적인 상황에서도 동일한 파라미터 셋으로 처리할 수 있게 한다.

데이터 측면에서도 중요한 진전이 있다. 기존 다중 의도 데이터셋인 MixATIS와 MixSNIPS는 단일 의도 문장을 무작위로 이어 붙여 만든 것으로, 실제 대화에서 나타나는 연속성이나 의미적 일관성이 부족했다. 저자들은 BERT의 NSP 헤드를 이용해 두 문장이 실제 연속 문장일 확률을 추정하고, 높은 확률을 보이는 쌍만을 선택해 새로운 데이터셋(MultiATIS: 20k, MultiSNIPS: 50k)을 구축했다. 이는 인간 대화의 자연스러운 흐름을 보존하면서도 다중 의도 상황을 충분히 포함한다.

실험에서는 기존 SOTA 모델(예: Slot‑Gated, Co‑Interactive Transformer 등)과 비교해 Intent Accuracy, Slot F1, Joint Accuracy(의도와 슬롯 모두 정확히 맞춘 비율)에서 전반적으로 2~5%p 향상을 기록했다. 특히 의도 수가 3개 이상인 샘플에서 GEMIS의 Joint Accuracy는 기존 모델 대비 10%p 이상 크게 개선되었으며, 이는 AoA가 의도‑슬롯 간 상호작용을 효과적으로 모델링했음을 시사한다. Ablation Study에서는 AoA를 제거했을 때 성능이 급격히 하락함을 확인했으며, 데이터셋 품질이 모델 성능에 미치는 영향을 검증하기 위해 기존 Mix 데이터와 새로 만든 Multi 데이터 모두에서 동일한 모델을 학습시켰을 때 후자가 일관적으로 우수한 결과를 보였다.

요약하면, GEMIS는 (1) 사전 학습된 seq2seq 모델을 그대로 활용한 효율적인 구조, (2) 의도 정보를 슬롯 예측에 직접 주입하는 AoA 메커니즘, (3) 자연스러운 다중 의도 데이터를 자동 생성하는 NSP 기반 파이프라인이라는 세 축을 통해 다중 의도 SLU 문제를 기존 방법보다 더 정확하고 확장성 있게 해결한다.