대규모 언어 모델 에이전트와 인간 개입을 통한 협업 콘텐츠 분석 프레임워크 SCALE

초록

SCALE는 다중 LLM 에이전트를 활용해 사회과학 콘텐츠 분석의 핵심 단계인 텍스트 코딩, 협업 토론, 코드북 진화를 시뮬레이션하고, 인간 전문가의 목표형·광범위형 개입을 결합해 인간 수준의 정확도와 신뢰성을 달성한다.

상세 분석

본 논문은 전통적인 사회과학 콘텐츠 분석이 요구하는 ‘코드북 기반의 반복 코딩·토론·수정’ 과정을 대규모 언어 모델(LLM) 에이전트 집합으로 자동화한다는 점에서 혁신적이다. 먼저 연구자는 N개의 LLM 에이전트를 각각 실제 사회과학자의 페르소나로 초기화하고, 사전 정의된 규칙 집합(CODEBOOK) 또는 빈 규칙 집합을 제공한다. 각 에이전트는 동일한 배치의 텍스트를 독립적으로 코드북에 따라 라벨링하고, 결과가 일치하지 않을 경우 K 라운드까지 상호 토론을 진행한다. 토론 과정에서 에이전트는 자신의 판단 근거와 상대 의견을 교환하며, 필요 시 코드북을 수정·보완한다. 이때 인간 전문가가 ‘목표형(토론 단계만 개입)’ 혹은 ‘광범위형(토론·코드북 모두 개입)’으로, ‘협업형(에이전트가 피드백을 선택적으로 수용)’ 혹은 ‘지시형(에이전트가 반드시 따름)’ 역할을 수행한다. 이러한 설계는 인간‑AI 협업 이론(사회적 영향·HCI)과 기존 HITL(Human‑in‑the‑Loop) 연구를 통합해, 알고리즘 편향을 완화하고 도메인 특수성을 보존한다. 실험에서는 6개의 다중 클래스·다중 라벨 데이터셋(브랜드 소비자 대화, 암 지원 대화 등)을 활용해, SCALE이 인간 코더와의 Cohen’s κ 및 정확도에서 거의 동등한 성능을 보이며, 라벨링 비용과 시간은 70 % 이상 절감됨을 입증한다. 특히 코드북 진화 단계에서 에이전트가 제안한 규칙 수정이 인간 전문가에 의해 검증·채택되는 비율이 85 %에 달해, 자동화된 규칙 생성이 실제 연구에 바로 활용 가능함을 보여준다. 한계점으로는 LLM의 ‘환각’ 현상과 토론 라운드 수에 따른 비용 증가가 있으며, 이를 완화하기 위한 동적 라운드 종료 기준과 프롬프트 최적화가 향후 연구 과제로 제시된다. 전반적으로 SCALE은 사회과학 연구에서 대규모 텍스트 코딩을 자동화하면서도 인간 전문가의 질적 통제력을 유지할 수 있는 실용적 프레임워크로 평가된다.