다양한 관점을 평가하는 새로운 플루럴리즘 벤치마크 PERSPECTRA

초록

PERSPECTRA는 Kialo의 구조화된 찬반 트리를 Reddit의 풍부한 언어 다양성과 결합해 3,810개의 확장된 주장(762개 의견)을 만든 뒤, 의견 수 카운팅·매칭·극성 판단 3가지 과제로 모델의 플루럴리즘 인식을 체계적으로 평가하는 벤치마크이다. 실험 결과 최신 오픈소스·상용 LLM이 의견 수를 과대평가하고 양보·양측 구조를 오인하는 등 플루럴리즘 이해에 한계를 보였다.

상세 분석

PERSPECTRA는 플루럴리즘을 정량·정성적으로 측정하려는 최초의 확장 가능 벤치마크로, 두 가지 기존 데이터의 장점을 융합한다는 점에서 혁신적이다. Kialo는 명확한 pro/con 트리와 토픽‑의견 구조를 제공하지만, 문장은 짧고 형식적이라 실제 대화의 복잡성을 반영하지 못한다. 반면 Reddit은 방대한 댓글 풀과 다양한 어투·표현을 제공하지만, 논증 구조가 불명확하고 라벨링 비용이 높다. 저자들은 Kialo 의견을 앵커로 삼고, 의미적 유사도(Qwen3‑Embedding‑8B) 기반으로 Reddit 댓글을 5개씩 매칭한 뒤, GPT‑4o 프롬프트를 이용해 ‘핵심 입장 유지·비관련 내용 배제·Reddit 스타일 모방’을 명시적으로 지시한다. 이 과정에서 각 의견당 5개의 변형을 생성해 총 3,810개의 확장된 주장 데이터를 확보했으며, 평균 100단어 길이로 자연스러운 서술을 확보했다.

벤치마크는 세 가지 과제로 구성된다. ① Opinion Counting: 혼합된 텍스트에서 서로 다른 관점을 몇 개로 구분할 수 있는가; ② Opinion Matching: 확장된 주장과 원본 Kialo 의견을 정확히 연결할 수 있는가; ③ Polarity Check: 다수의 의견이 섞인 문단에서 전체적인 찬반 방향을 추론할 수 있는가. 각 과제는 인간 라벨링 없이도 자동 평가가 가능하도록 설계돼, 확장성과 재구성이 용이하다.

실험에서는 오픈소스 Llama‑2, Mistral, 그리고 OpenAI GPT‑4o 등 7개 모델을 평가했으며, 전반적으로 ‘의견 수 과대추정’과 ‘양보적(concessive) 구조 오인’이 빈번히 발생했다. 특히, 모델들은 동일한 입장을 다양한 표현으로 재현하는 능력은 어느 정도 보였지만, 서로 다른 입장을 구분하거나 혼합 텍스트에서 전체 극성을 파악하는 데는 현저히 낮은 정확도를 보였다. 이는 현재 LLM이 단일 정답을 최적화하는 RLHF 과정에서 다원성을 억제하는 메커니즘이 작동하고 있음을 시사한다.

한계점으로는 Reddit 댓글의 품질 변동성, 자동 매칭 단계에서 발생할 수 있는 의미적 오차, 그리고 GPT‑4o에 의존한 확장 과정이 모델 편향을 내포할 가능성이 있다. 향후 연구에서는 다문화·다언어 데이터 확대, 인간‑LLM 협업 검증, 그리고 플루럴리즘을 직접 목표로 하는 정렬 기법 개발이 필요하다.