- Title: Measuring Social Media Polarization Using Large Language Models and Heuristic Rules
- ArXiv ID: 2601.00927
- 발행일: 2026-01-02
- 저자: Jawad Chowdhury, Rezaur Rashid, Gabriel Terejanu
📝 초록
(대규모 언어 모델(LLM)을 이용해 사회적 매체에서 발생하는 감정적 극단화를 측정하는 새로운 방법론을 소개합니다. 본 논문에서는 기존의 감성 분석에 대비하여 LLM이 제공하는 맥락 이해와 텍스트 분류 능력을 활용하여 주제별 입장, 감정 표현, 그리고 합의 수준을 추출하는 프레임워크를 제안합니다. 이를 통해 사회적 매체에서 발생하는 감정적 극단화를 더 정교하게 측량하고 이해할 수 있습니다.)
💡 논문 해설
1. **새로운 측정 방법론**: 이전 연구에서는 주로 감성 분석을 사용했지만, 본 논문은 대규모 언어 모델(LLM)을 활용해 더 정교한 측정을 가능하게 합니다. 이를 통해 우리는 트윗의 입장, 감정 표현, 그리고 합의 수준을 추출할 수 있습니다.
점수 체계: 본 논문에서는 LLM으로부터 얻은 정보를 바탕으로 극단화 점수를 부여하는 규칙을 제시합니다. 이는 다양한 상호 작용 패턴에 대한 명확한 이해를 제공하며, 감성 분석만으로는 파악하기 어려운 미묘한 차이점을 포착할 수 있습니다.
응용 연구: 본 논문은 기후 변화와 총기 통제라는 갈등의 소지가 있는 주제들에 대한 대화를 분석하며, 이들을 통해 감정적 극단화의 시간적 변화를 탐구합니다.
📄 논문 발췌 (ArXiv Source)
# 서론
최근 몇 년 동안 소셜 미디어 플랫폼의 등장은 실시간 정보 교환과 더 넓은 대중 참여를 가능하게 함으로써 정치적 토론을 변화시켰습니다. 이 변화는 진화하는 매체 환경에 의해 주도되며, 정보가 생성, 분배, 소비되는 방식뿐 아니라 디지털 공간에서 개인들이 상호작용하고 연결을 유지하는 방법까지 재정의하고 있습니다. 이러한 플랫폼은 참여를 촉진하지만 동시에 알고리즘 기반 컨텐츠 큐레이션을 통해 사상적 분열을 심화시킵니다. 이는 사용자의 이전 견해에 맞는 콘텐츠를 우선시함으로써 다양한 관점을 노출하는 것을 제한합니다. 이러한 선택적인 노출은 감정적 극단화로 이어져, 개인이 자신의 소속 그룹에 대한 강력한 긍정적인 감정을 갖게 되면서 반대 그룹이나 견해에 대해 적대감을 보이는 현상입니다. 연구 결과에 따르면 이러한 극단화는 정치적 이데올로기에만 의존하는 것이 아니라 온라인 토론에서 나타나는 감성적 기조, 대화 구조 및 상호 작용 패턴에도 영향을 받습니다. 감정적 극단화는 정치적 극단주의의 증가, 양당 협력의 저하, 그리고 거짓 정보의 확산과 연결되어 있습니다. 온라인 토론의 더 넓은 사회적 의미를 평가하기 위해서는 그 동역학을 이해하는 것이 중요합니다.
소셜 미디어 플랫폼, 특히 Twitter (지금은 X)는 알고리즘 기반 컨텐츠 큐레이션을 통해 이러한 분열을 더욱 강화할 수 있습니다. 이는 참여를 촉진하고 자극적인, 극단주의적 내용을 종종 선호합니다. 연구 결과에 따르면 온라인 에코 챔버는 사용자에게 주로 동일한 사고방식의 관점을 노출시켜 반대 견해와 상호 작용하는 것을 제한함으로써 극단화를 강화한다고 합니다. 그러나 카운터 이데올로지적 내용에 대한 노출은 일부 경우 오인을 수정하고 극단화를 줄이는 잠재력이 있지만, 특히 사회적 운동에서 이념 갈등과 함께 독소 상호 작용 및 디지털 공격이 동반되는 경우에는 방어적인 반응을 일으킬 수 있습니다. 이러한 역학은 소셜 미디어가 사상적 분열을 형성하는 복잡한 역할을 강조하며, 온라인 토론에서 감정적 극단화를 측정하고 분석하기 위한 견고한 방법론이 필요함을 보여줍니다.
현재 소셜 미디어에서 감정적 극단화를 측정하는 접근법은 주로 감성 분석, 입장 탐지 및/또는 네트워크 기반 극단화 지수에 크게 의존하고 있습니다. 감성 분석 기술은 텍스트를 긍정적, 부정적 또는 중립으로 분류하여 일반적인 감정 조를 제공하지만 정치적 논의의 복잡성을 포착하는 데 실패할 수 있습니다. 입장 탐지 방법은 사용자가 특정 주제에 대해 지지, 반대 또는 무관심한지를 결정하려고 하지만 언어적 미묘함을 이해하는 데 어려움이 있으며 특히 매우 극단적인 논쟁에서 입장을 암시적으로 표현할 때 더욱 그렇습니다. 최근 연구에서는 다중 모달 신호나 사회 네트워크 구조를 결합하여 측정을 개선하려고 하지만 여전히 극단화를 주도하는 미묘한 감성적 차원을 포착하는 데 한계가 있습니다.
최근에는 대규모 언어 모델(LLMs)이 텍스트 분류 및 컨텐츠 분석에 강력한 도구로 부상하고 있으며, 전통적인 감성 분류기보다 더 깊은 맥락 이해를 제공합니다. LLMs는 방대한 양의 데이터를 활용하여 사상적 프레임, 수사학적 전략 및 온라인 토론의 감성적 하류를 더 잘 포착할 수 있습니다. 이들의 언어 처리 능력은 보다 맥락에 민감하게 이루어지며 이를 통해 감정 변화, 감성 강도 및 따라서 감정적 극단화를 분석하는 데 특히 적합합니다. 연구는 LLMs을 사용하여 정치적 편향, 거짓 정보, 사상적 프레임 탐지를 성공적으로 검출하며, 이는 대규모 소셜 미디어 분석에서 잠재력을 보여줍니다. 그러나 이러한 발전에도 불구하고, 약점과 감정 강도를 측정하는 데 필요한 감정적 극단화의 체계적인 양적 측정은 여전히 연구되지 않은 영역입니다. 이 간극을 해소하기 위해서는 LLM 기반 주석과 도메인 전문 지식을 결합할 수 있는 시너지 접근법이 필요합니다.
기존 작업에 기반하여 본 연구는 기존 방법론에서 큰 차별성을 보여줍니다. Rashid et al은 영향력 있는 사용자가 트위터(지금은 X)에서 극단화를 형성하는 역할을 검토하기 위해 네트워크 기반 극단화 지수를 활용한 반사적 프레임워크를 개발했습니다. 그들의 연구는 영향력 있는 대화를 제거함으로써 극단화 점수가 어떻게 변화하는지 평가했지만, 사전 정의된 감성 분류기 의존성을 보였습니다. 본 연구에서는 LLM 기반 주석을 사용하여 규모 큰 토론에서 입장, 감정, 합의 패턴을 추출함으로써 더 정교한 감정적 극단화 이해를 가능하게 합니다.
또한 우리는 논쟁 강도 측정에 대한 해석성을 보장하기 위해 극단화를 점수화하는 휴리스틱 규칙을 통합합니다. 구체적으로, 본 LLM 기반 프레임워크는 트윗의 입장(주제에 대해 지지, 반대 또는 무관심), 감성적 내용(극단주의를 나타내는 감정적으로 충전된 언어의 존재 여부) 및 합의 패턴(답글이 원본 게시물의 입장을 어느 정도 일치시키거나 갈등하는지)을 분류합니다. 이러한 추출한 속성은 논쟁 강도를 평가하여 극단화를 측정하기 위한 구조화된 점수 체계 내에서 사용됩니다.
본 방법론의 상세 작업 파이프라인, 데이터 수집 및 필터링, LLM 기반 주석, 휴리스틱 규칙 적용 및 극단화 인사이트 생성을 위한 집계를 설명.
LLMs과 도메인 정보에 입각한 휴리스틱 규칙을 활용함으로써 본 방법은 전통적인 감성 분석 기법보다 확장 가능하고 해석 가능하며 더 맥락에 민감한 극단화 측정 접근법을 제공합니다. 본 연구의 주요 공헌은 다음과 같습니다:
우리는 대규모 언어 이해를 통합하여 기존의 감성 분석에 기반한 방법을 향상시키는 새로운 LLM 기반 프레임워크를 제안합니다.
우리는 논쟁 강도, 감정적 강도 및 불일치 패턴과 같은 미묘한 대화 동역학을 포착하는 극단화를 체계적으로 측정하는 점수 체계를 도입합니다. 네트워크 기반 극단화 측정에 비해 우리의 점수 체계는 설명 가능하며, 단일 상호 작용만을 포함하는 매우 작은 논쟁에서도 극단화를 효과적으로 측정할 수 있습니다.
우리는 기후 변화와 총기 통제라는 갈등의 소지가 있는 주제들에 대한 대규모 실증적 분석을 수행하여 핵심 사건 주도 극단화 추세를 파악하고 예상형 vs. 반응형 극단화를 구분합니다.
이 논문은 다음과 같은 구조로 구성됩니다: 섹션 2에서는 제안된 프레임워크, 데이터 수집, LLM 기반 주석 및 휴리스틱 규칙을 사용한 감정적 극단화 점수를 상세히 설명합니다. 섹션 3에서는 우리의 발견을 제시하며, 주요 사건에 대한 대응으로 어떻게 감정적 극단화가 시간이 지남에 따라 진화하는지 분석합니다. 마지막으로 섹션 4에서는 결론을 제시하고 향후 연구 방향을 제안합니다.
제안된 접근법 및 구현
본 연구는 대규모 언어 모델(LLMs)을 사용하여 갈등의 소지가 있는 주제에 관한 온라인 논쟁에서 감정적 극단화를 분석합니다. 이전 연구에서는 감성 분류기나 규칙 기반 입장 탐지를 사용했지만, 본 연구는 오픈소스로 공개된 대규모 언어 모델 LLaMA 3.1 70B와 사전 정의 점수 체계를 통합한 하이브리드 접근법을 도입합니다. 이 접근법은 LLMs을 사용하여 입장, 감성적 내용 및 사용자와 게시물 간 합의 수준과 같은 중요 속성을 추출하고 사전 정의된 규칙은 LLM에서 추출한 정보를 바탕으로 상호 작용 패턴에 따라 감정적 극단화 점수를 부여합니다.
본 연구에서 제안하는 전체 작업 파이프라인은 Figure 1에 설명되어 있으며, 네 가지 주요 단계로 구성됩니다. (1) 데이터 수집: 기후 변화와 총기 통제 등 논쟁의 소지가 있는 사회 정치적 주제와 관련된 트위터(X) 대화 스레드를 검색합니다. (2) LLM 기반 주석: LLaMA 3.1 70B을 사용하여 트윗 간 입장, 감성 및 합의 수준을 추출합니다. (3) 사전 정의 규칙 적용: 이전 단계에서 LLM이 추출한 입장 일치, 감정, 합의 정보를 기반으로 도메인 휴리스틱에 따라 극단화 점수를 부여합니다. (4) 집계 및 분석: 대화 수준에서 극단화 점수를 계산하고 시간 경과에 따른 극단화 추세를 평가합니다.
데이터 수집 및 구조
본 연구는 트위터(지금은 X)의 포괄적인 데이터 세트를 사용하며, 기후 변화와 총기 통제라는 두 가지 논쟁의 소지가 있는 정치적 이슈에 초점을 맞춥니다. 초기 트윗 집합은 2023년 제한 사항 전 트위터 API를 통해 “기후 위기”, “총 개혁 지금” 및 주요 사건(예: IPCC 보고서, 대량 촬영)과 관련된 약어와 해시태그를 기반으로 검색되었습니다. 전체 사용자 상호 작용을 포착하기 위해 대화가 재귀적으로 확장되어 모든 참조 트윗(답글, 인용, 부모)이 포함되도록 하여 명확한 키워드 일치 없이도 관련 논의를 포함했습니다.
기후 변화 데이터 세트는 2021년 6월 1일부터 2022년 5월 31일까지 46M 트윗을 포함하며, 726,378개의 대화 스레드에서 4.8M 유니크 사용자가 참여했습니다. 총기 통제 데이터 세트는 2022년 1월 1일부터 12월 31일까지 14.4M 트윗을 포함하며, 335,000개의 대화 스레드에서 2.66M 유니크 사용자가 참여했습니다. 활동이 적거나 무관심한 대화의 영향을 최소화하기 위해 스레드는 최소 20개 트윗과 10명 이상의 유니크 사용자를 포함하도록 제한되었습니다. 마지막으로 각 데이터 세트에는 정형화된 대화 스레드가 포함되어 있습니다.
부모 트윗: 논의를 시작하는 원래 게시물입니다.
자식 트윗: 부모 트윗에 참여하는 답글입니다.
각 트윗-답글 쌍은 독립적으로 분석되어 입장, 감성 및 합의 수준을 추출하고 이를 기반으로 우리의 감정적 극단화 점수를 산출합니다. 데이터 세트는 광범위한 대화를 포함하지만, 본 연구에서는 8개 주요 이벤트에 초점을 맞춥니다: 기후 변화와 총기 통제 각각 4개씩. 각 이벤트에는 다음과 같은 세 가지 다른 시간대로 대화가 분할됩니다:
이전: 이벤트 시작일의 하루 전부터 이벤트 시작일까지 3일 전의 대화.
기간 중: 공식 시작 및 종료 날짜 사이의 대화.
후기: 이벤트 종료 후 다음 날부터 3일 동안의 대화.
이 분할은 감정적 극단화가 시간에 따라 어떻게 진화하는지, 특히 사건을 앞두고 극단화가 강화되는지(이전), 사건 기간 중 피크로 이르는지(기간 중) 또는 그 후에 증폭되는지(후기)를 분석할 수 있게 합니다. 이러한 이벤트의 선택은 섹션 3에서 자세히 설명됩니다. 이러한 시간 구조로 데이터 세트를 구성함으로써 우리는 온라인 토론 동역학에 대한 세밀한 시각을 제공하고 서로 다른 이벤트 유형과 그에 따른 극단화 수준 변화를 비교할 수 있습니다.
LLM 기반 분류
LLaMA 3.1 70B 오픈소스 사전 학습 모델은 구조화된 프롬프트 엔지니어링을 통해 다음과 같이 분류했습니다:
트윗 입장: 기후 변화에 대한 ‘신념’, ‘부정’, ‘모름’과 총기 통제에 대한 ‘찬성’, ‘반대’, ‘모름’.
트윗 감성: 극단화를 나타내는 감정적으로 충전된 언어가 포함되어 있는지 여부.
합의 수준: 자식 트윗이 부모 트윗과 일치하는지 반대하는지 여부.
분류 결과의 결정론적 출력을 보장하기 위해 모델은 LLM의 온도를 0으로 설정하여 분류에서 무작위성을 최소화하도록 구성되었습니다.
감정적 극단화 점수 부여와 휴리스틱 규칙
이전 섹션에서 LLM로 추출한 속성에 기반하여 우리는 휴리스틱 규칙을 사용해 감정적 극단화 점수를 정의합니다. 이 규칙은 부모 트윗(원래 게시물)과 자식 트윗(답글 사이 상호 작용 동역학의 핵심 측면을 고려하며, 세 가지 주요 요소를 포함합니다: 입장 일치 여부, 즉 답글 트윗이 부모 트윗의 입장을 지지하거나 반대하는지; 감성 표현, 어떤 트윗도 극단주의를 나타내는 강한 감정적 언어를 보이는지 평가하고; 합의 수준, 자식 트윗이 부모 트윗을 명시적으로 동의 또는 반대하는지 평가합니다. LLM 기반 분류와 구조화된 휴리스틱 규칙을 결합하여 우리는 사회 미디어에서 발생하는 감정적 극단화를 체계적이고 확장 가능하며 해석 가능한 방식으로 측정할 수 있습니다.
우리의 점수 체계는 Table [tab:met_heu]에서 저점(0~4)은 건전한 상호 작용과 존중적인 반론을 반영합니다. 구체적으로 점수 0은 이상적이며 서로 다른 견해에도 불구하고 상호 이해와 협력을 적극 추구하는 문명 교환을 나타냅니다. 반면에 고점(8, 10)은 감정적 극단화를 주도하는 상호 작용을 반영하며, 열린 논쟁, 독소 및 감정적인 적대감이 포함됩니다. 점수 10은 특히 우려할 만한데, 이는 대립되는 관점을 노출하지 않고 부정적 감정을 강화하는 사상적 에코 챔버 내에서만 상호 작용하는 것을 나타내며 극단주의를 더욱 심화시키고 더 큰 적대감을 유발할 수 있습니다. Table [tab:met_heu]의 상위 절반에서 나타나는 높은 극단화 점수는 생산적인 대화에서 감정적 반응과 타집단 적대감으로의 이동을 나타내며 효과적인 의사소통을 약화시키고 불용성을 강화합니다. 점수 0과 10 간의 명확한 차이는 존중하고 다양한 논쟁을 촉진하는 중요성에 중점을 둡니다.
본 논문에서 제안된 휴리스틱 점수 체계는 전통적인 통계적 방법보다 극단화를 효과적으로 측정합니다.