소셜 미디어 스트림 진화형 계층 구축

초록

EvoTaxo는 LLM을 활용해 소셜 미디어의 연속적인 포스트 흐름을 단계별 행동으로 변환하고, 시간 창별로 축적·군집화한 뒤 정교한 검토·조정 과정을 거쳐 동적으로 진화하는 계층 구조를 자동 생성한다. 짧고 잡음이 많은 게시물, 대규모 스트림, 시간에 따른 담론 변화를 동시에 고려함으로써 기존 정적 방법보다 균형 잡힌 트리와 높은 문서 커버리지를 달성한다.

상세 분석

EvoTaxo는 세 가지 핵심 설계 원칙을 바탕으로 소셜 미디어 특유의 난점을 해결한다. 첫째, “행동 변환” 단계에서 각 포스트를 LLM이 생성한 구조화된 초안 행동(draft action)으로 변환한다. 여기에는 기존 노드에 할당(set_node), 새로운 자식 노드 추가(add_child), 경로 추가(add_path), 개념 메모리 뱅크 업데이트(update_cmb), 무시(skip_post) 등 다섯 종류가 정의돼 있다. 이 과정은 원시 텍스트의 잡음과 의미 희소성을 직접 클러스터링하는 대신, 의미적으로 더 명확한 행동 표현을 만든다.

둘째, 시간 창(window) 별로 누적된 행동들을 두 가지 관점에서 군집화한다. “순수 의미 군집”은 행동 간 코사인 거리 기반의 의미적 유사도(d_sem)만을 사용해 장기적인 구조적 의도를 포착한다. “시간·의미 복합 군집”은 의미 거리와 정규화된 시간 거리(d_time)를 가중 평균(λ)해 결합함으로써, 사건에 의해 급증하는 단기 개념을 잡아낸다. 두 군집 모두 HDBSCAN을 이용해 사전 군집 수를 지정하지 않고 밀도 기반으로 자동 클러스터링한다.

셋째, 군집 결과에 대해 두 단계 검토·조정 프로세스를 적용한다. 클러스터 수준에서는 LLM 리뷰어가 해당 클러스터의 대표 포스트와 행동을 검토해 “정제된 행동”으로 요약한다. 이후 전체 창 수준에서 arbitration LLM이 정제된 행동들 간의 충돌(중복 노드명, 구조적 불일치 등)을 해결하고 최종 실행 가능한 행동 집합을 선정한다.

또한, 각 노드는 “개념 메모리 뱅크”(definition, inclusion cues, exclusion cues)를 유지해 의미 경계를 지속적으로 고정한다. 이는 짧은 포스트가 동일 노드에 반복적으로 매핑될 때 발생할 수 있는 의미 흐림을 방지한다.

실험에서는 Reddit의 /r/opiates와 /r/ICE_Raids 두 커뮤니티를 대상으로 연도·분기 단위 창을 설정해 평가했다. EvoTaxo는 기존 계층 토픽 모델, 클러스터 기반 계층, LLM‑기반 정적 계층 등과 비교해(1) 리프 할당 엔트로피가 낮아 보다 명확한 주제 구분을 제공하고, (2) 동일 규모 트리에서 문서 커버리지가 크게 향상되며, (3) 트리 구조적 품질 지표(예: 평균 깊이, 균형도)에서도 우수함을 보였다. 특히 /r/ICE_Raids 사례에서는 특정 사건 발생 시점에 급증한 “임시” 서브토픽이 정확히 포착되어, 시간‑감지 능력이 실증되었다.

전반적으로 EvoTaxo는 LLM 기반 의미 추출, 시간‑감지 군집, 다단계 검토·조정이라는 세 축을 결합해, 잡음 많고 빠르게 변하는 소셜 미디어 스트림에서도 확장 가능하고 의미적으로 일관된 계층 구조를 자동 생성한다는 점에서 기존 정적·단일‑관점 방법들을 뛰어넘는다.