동적 타깃 생성과 다중 타깃 적응을 통한 제로샷 입장 감지

초록

본 논문은 사전 정의된 타깃이 없는 실시간 소셜 미디어 환경에서, 텍스트 내 모든 잠재적 타깃을 자동으로 식별하고 각각에 대한 지지·반대·중립 입장을 예측하는 제로샷 입장 감지 과제(DGTA)를 제안한다. 중국 위보 데이터를 기반으로 70,931개의 고품질 라벨을 구축하고, 목표 식별과 입장 판단을 동시에 평가하는 다차원 지표를 설계하였다. LLM을 통합형 및 2단계 파인튜닝 전략으로 학습시킨 결과, 통합형 파인튜닝된 DeepSeek‑R1‑Distill‑Qwen‑7B가 입장 F1 79.26%를, 2단계 파인튜닝된 Qwen2.5‑7B가 목표 인식 C‑Score 66.99%를 기록하며 기존 모델들을 크게 앞섰다.

상세 분석

본 연구는 기존 입장 감지 연구가 사전 정의된 타깃 집합에 의존하는 한계를 지적하고, “타깃이 사전 정의되지 않고, 텍스트마다 동적으로 변할 수 있다”는 현실적인 가정을 도입하였다. 이를 위해 저자들은 두 가지 핵심 과제—동적 타깃 생성(Dynamic Target Generation)과 다중 타깃 적응(Multi‑Target Adaptation)—을 하나의 프레임워크(DGTA)로 통합하였다. 데이터 구축 단계에서는 240명의 위보 사용자로부터 125,176개의 원문을 수집하고, 정규식 및 유니코드 필터링을 통해 107,310개의 정제된 텍스트를 확보하였다. 이후 세 종류의 대형 언어 모델(GLM‑4‑9B, Qwen2.5‑7B, Llama‑3‑8B)을 활용한 자동 라벨링 파이프라인을 설계하고, 두 모델 이상이 동일한 타깃과 입장을 도출한 경우에만 라벨을 채택하는 교차 검증 메커니즘을 적용하였다. 인간 검증자는 8명으로 구성돼 자동 라벨링 결과를 최종 검증했으며, 논리적 모순이나 의미적 모호성이 있는 36,379개의 저품질 샘플을 제거해 최종 70,931개의 고품질 데이터셋을 완성하였다.

평가 지표 설계에서도 혁신적 접근을 보였다. 목표 식별 평가는 BERScore, BLEU, ROUGE‑L, 그리고 타깃 수량 Recall을 가중치(α=0.6, β=0.2, γ=0.2)으로 결합한 C‑Score를 도입해 의미적 일치와 표면형 일치를 동시에 고려하였다. 입장 판단 평가는 C‑Score가 사전 정의된 임계값(예: BERScore≥0.7 등)을 초과한 샘플에만 전통적인 Precision, Recall, F1을 적용함으로써, 잘못된 타깃 식별이 입장 평가지표에 미치는 왜곡을 최소화하였다.

모델 학습 전략은 두 갈래로 나뉜다. 통합형 파인튜닝은 “타깃 식별 + 입장 판단”을 하나의 시퀀스 생성 과제로 설정해, 입력 텍스트와 명시적 지시문을 결합한 프롬프트를 통해 다중 (타깃, 입장) 쌍을 동시에 출력하도록 설계되었다. 반면 2단계 파인튜닝은 첫 단계에서 타깃만을 추출하고, 두 번째 단계에서 추출된 타깃과 원문을 다시 입력해 각각 입장을 분류한다. 두 단계에 서로 다른 모델을 사용함으로써 각 서브태스크에 특화된 학습이 가능하도록 했다. 파인튜닝은 LoRA( Low‑Rank Adaptation) 기법을 적용해 효율성을 높였다.

실험 결과는 두 전략 모두 강력함을 입증한다. 통합형 파인튜닝된 DeepSeek‑R1‑Distill‑Qwen‑7B는 입장 F1 79.26%를 달성했으며, 이는 기존 사전학습 모델(BERT, RoBERTa 등) 대비 10% 이상 향상된 수치다. 2단계 파인튜닝된 Qwen2.5‑7B는 목표 인식 C‑Score 66.99%로 가장 높은 종합 점수를 기록했다. 특히 목표 식별 단계에서 BERScore와 Recall이 높은 반면, 입장 판단 단계에서는 통합형 모델이 더 일관된 성능을 보였다. 이는 두 단계 전략이 목표 탐색에 집중할 수 있어 복잡한 다중 타깃 상황에서 강점을 가지지만, 입장 판단의 연속성에서는 통합형이 더 효율적일 수 있음을 시사한다.

또한 다양한 프롬프트 기반 베이스라인(Zero‑Shot, Few‑Shot, Chain‑of‑Thought 등)과 사전학습된 소형 모델(mT5, RoBERTa‑large)들을 비교했으며, 전반적으로 LLM 기반 파인튜닝이 기존 모델들을 크게 앞섰다. 이는 대규모 사전학습이 풍부한 언어 이해와 추론 능력을 제공함으로써, 사전 정의되지 않은 타깃을 동적으로 생성하고 다중 관계를 파악하는 데 유리함을 보여준다.

결론적으로, 본 논문은 “타깃이 사전 정의되지 않은 상황에서도 입장을 정확히 판단할 수 있는” 새로운 연구 패러다임을 제시하고, 고품질 중국어 위보 데이터셋과 다차원 평가 프레임워크를 공개함으로써 향후 연구의 기반을 마련했다. 향후 연구에서는 다국어 확장, 실시간 스트리밍 환경 적용, 그리고 타깃‑입장 관계의 더 복잡한 구조(예: 연쇄적 인과 관계) 모델링이 기대된다.