문맥 인식 실용 메타인지 프롬프트를 활용한 풍자 감지

초록

풍자 감지는 최근 신경망 기반 접근법이 발전했음에도 불구하고 자연어 처리 분야에서 여전히 어려운 과제로 남아 있다. 현재 사전학습 언어 모델(PLM)과 대형 언어 모델(LLM)이 풍자 감지의 주된 방법으로 사용되고 있지만, 풍자 텍스트의 복잡성, 언어적 다양성 및 문화적 차이로 인해 모델의 성능이 제한된다. 특히, 배경 지식이 부족한 단어나 토큰을 정확히 파악하지 못하는 문제가 있다. 본 연구는 기존의 최첨단 프롬프트 기법인 Pragmatic Metacognitive Prompting(PMP)을 기반으로, 각 대상 텍스트에 대해 검색된 컨텍스트 정보를 추가하는 retrieval‑aware 접근법을 제안한다. 우리는 두 가지 보완적 전략을 탐색한다: (1) 모델이 필요한 배경 지식이 없을 때 웹 기반 검색을 통해 비파라메트릭 지식을 제공하는 방법, (2) 모델 자체의 내재된 지식을 활용하는 self‑knowledge awareness 전략. 세 개의 데이터셋(Twitter Indonesia Sarcastic, SemEval‑2018 Task 3, MUStARD)에서 실험한 결과, 비파라메트릭 검색은 Twitter Indonesia Sarcastic에서 기존 PMP 대비 macro‑F1 점수를 9.87 % 향상시켰으며, self‑knowledge 검색은 SemEval에서 3.29 %, MUStARD에서 4.08 %의 macro‑F1 개선을 보였다. 이러한 결과는 문화적 슬랭, 참조, 혹은 모델에 익숙하지 않은 용어와 같은 문맥 정보가 LLM의 풍자 감지 성능을 크게 높일 수 있음을 시사한다. 향후 연구는 검색된 컨텍스트의 품질이 성능에 미치는 영향을 최적화하고, 보다 정교한 검색 전략을 모색하는 데 초점을 맞출 예정이다. 실험 코드는 https://github.com/wllchrst/sarcasm-detection-pmp‑knowledge‑base 에서 확인할 수 있다.

상세 요약

본 논문은 풍자 감지라는 고난이도 NLP 과제에 대해 기존의 프롬프트 기반 접근법을 한 단계 끌어올리는 시도를 제시한다. 핵심 아이디어는 “문맥 인식”이라는 두 축을 도입해 모델이 스스로 알지 못하는 배경 정보를 보완한다는 점이다. 첫 번째 축인 비파라메트릭 검색은 외부 지식 베이스 혹은 웹 검색 엔진을 활용해 대상 문장과 연관된 최신 정보, 문화적 특수어, 지역적 슬랭 등을 실시간으로 가져온다. 이는 사전학습 단계에서 충분히 학습되지 않은 토큰에 대해 직접적인 외부 근거를 제공함으로써, 모델이 추론 오류를 범할 위험을 크게 낮춘다. 두 번째 축인 self‑knowledge awareness는 LLM 내부에 저장된 메타 정보를 호출해, “내가 이미 알고 있는” 관련 지식을 명시적으로 끌어낸다. 이는 프롬프트에 “당신이 알고 있는 관련 배경을 먼저 제시하라”는 메타 프롬프트를 삽입함으로써 구현된다. 두 전략은 상호 보완적이며, 실제 실험에서도 각각 다른 데이터셋에서 유의미한 성능 향상을 입증한다.

데이터셋 측면에서 저자들은 인도네시아 트위터, 영어 기반 SemEval‑2018 Task 3, 그리고 멀티모달 풍자 데이터인 MUStARD를 선택했다. 특히 인도네시아 트위터 데이터는 지역 특수어와 문화적 맥락이 풍자 인식에 큰 영향을 미치는 대표적인 사례이며, 여기서 9.87 %의 macro‑F1 상승은 비파라메트릭 검색이 얼마나 강력한지를 보여준다. 반면, 영어 데이터셋에서는 self‑knowledge 전략이 상대적으로 더 큰 효과를 발휘했는데, 이는 영어 LLM이 이미 방대한 사전학습을 통해 일반적인 문화·언어 지식을 내재하고 있기 때문에, 내부 메타 정보를 끌어내는 것이 효율적이었기 때문이다.

한계점으로는 검색 단계에서 반환되는 문서의 품질과 관련성에 크게 의존한다는 점이다. 부정확하거나 노이즈가 많은 검색 결과는 오히려 성능을 저하시킬 위험이 있다. 또한, 현재는 단순히 검색 결과를 프롬프트에 삽입하는 방식이므로, 대용량 검색 결과를 효율적으로 요약·필터링하는 메커니즘이 부족하다. 향후 연구에서는 검색 결과의 신뢰도 평가, 다중 단계 리트리벌, 그리고 검색‑생성 파이프라인을 통합한 end‑to‑end 학습 구조를 탐색할 필요가 있다.

전반적으로 이 논문은 “문맥을 어떻게 제공하느냐”가 LLM 기반 풍자 감지 성능을 좌우한다는 중요한 통찰을 제공한다. 특히 문화·언어적 다양성이 큰 실제 서비스 환경에서, 외부 지식과 내부 메타 정보를 적절히 결합하는 전략은 향후 다양한 감정·의도 분석 작업에도 적용 가능할 것으로 기대된다.