풍자적 발화 모델링: 의미와 운율 단서의 통합적 접근

초록

본 논문은 의미와 운율 두 가지 단서를 결합해 풍자적 발화를 합성하는 프레임워크를 제안한다. LLaMA 3를 LoRA 방식으로 풍자 인식에 맞게 미세조정해 의미 임베딩을 얻고, MUStARD++ 데이터베이스에서 의미적으로 정렬된 풍자 음성을 검색해 운율 샘플을 추출한다. 이 두 정보를 VITS 기반 TTS에 통합해 4가지 조건(베이스라인, 의미‑전용, 운율‑전용, 결합)으로 합성한 뒤 청취자 실험을 통해 의미와 운율이 각각 그리고 동시에 풍자 인지에 미치는 영향을 정량화하였다.

상세 분석

이 연구는 풍자 인지를 모델링하기 위해 의미와 운율을 독립적으로, 그리고 상호보완적으로 조작할 수 있는 합성 파이프라인을 설계했다. 의미 단서는 LLaMA 3‑8B 모델에 LoRA 어댑터를 적용해 뉴스 헤드라인 풍자 데이터(28 k개)로 미세조정함으로써, 토큰‑레벨의 풍자‑특화 임베딩 Eₛ를 생성한다. LoRA는 파라미터 효율성을 유지하면서도 도메인 특화 정보를 효과적으로 주입할 수 있어, 대규모 사전학습 모델을 완전 재학습하지 않고도 풍자 감지를 위한 의미 표현을 확보한다는 점이 강점이다.

운율 단서는 기존의 수동적 prosody‑control 방식 대신, 의미적으로 정렬된 음성 샘플을 자동으로 검색하는 Retrieval‑Augmented Generation(RAG) 모듈을 도입했다. MUStARD++에서 추출한 1 200개의 풍자 발화에 대해 동일한 LLaMA 3‑LoRA 인코더로 의미 임베딩 aᵢ를 계산하고, 입력 텍스트의 Eₛ와 코사인 유사도로 Top‑K(=3) 샘플을 선택한다. 선택된 음성은 wavLM으로 인코딩해 고정 길이 운율 임베딩 E_wₖ를 얻으며, 이는 VITS 디코더에 선형 변환 후 합산되어 최종 은닉 상태 Z에 반영된다. 이 과정은 의미와 운율을 일관되게 매핑함으로써, 의미 변형 없이도 다양한 풍자적 억양을 구현할 수 있게 한다.

합성 모델은 기존 VITS 구조에 의미‑운율 교차‑어텐션을 삽입해, phoneme E_p를 query, 의미 Eₛ를 key/value로 사용한다. 이렇게 얻어진 H는 운율 임베딩의 가중합과 결합돼 풍자적 억양과 의미를 동시에 전달한다. 실험에서는 베이스라인(VITS만 사용), 의미‑전용, 운율‑전용, 의미 + 운율 네 조건을 비교했으며, 청취자 설문을 통해 풍자 인지 점수를 수집했다. 결과는 의미와 운율이 각각 독립적으로 풍자 인지를 향상시키지만, 두 단서를 결합했을 때 가장 높은 점수를 얻는다는 것을 보여준다. 또한, 의미‑전용 조건에서 LoRA‑미세조정된 LLaMA 3가 BERT나 사전학습 LLaMA 3보다 뛰어난 성능을 보이며, 운율‑전용에서도 다중 샘플 RAG가 단일 레퍼런스 대비 자연스러운 억양 변화를 제공한다는 점을 확인했다.

이 논문의 주요 기여는 (1) 풍자 인지를 위한 의미‑운율 통합 프레임워크 제시, (2) 파라미터 효율적인 LoRA 기반 의미 인코더와 자동화된 운율 검색 메커니즘 결합, (3) 합성 기반 청각 실험을 통한 의미와 운율의 상호작용 정량화이다. 한계점으로는 현재 영어 기반 데이터셋에 국한되어 있어 다언어 확장성이 미흡하고, 운율 샘플이 제한된 K값에 의존한다는 점이 있다. 향후 연구에서는 다국어·다문화 코퍼스를 구축하고, 동적 K‑selection 및 멀티‑모달(시각·표정) 정보를 통합해 풍자 인지 모델을 더욱 정교화할 수 있을 것이다.