그리스 질문응답을 위한 단일·다국어 LLM 평가와 DemosQA 벤치마크

초록

본 논문은 그리스어 질문응답(QA) 분야에서 11개의 단일언어·다국어 대형언어모델(LLM)을 6개의 인간이 직접 만든 QA 데이터셋에 대해 3가지 프롬프트 전략으로 평가한다. 또한 소셜미디어 기반 질문·답변을 수집·정제하여 새로운 벤치마크 데이터셋 DemosQA를 공개하고, 4비트 양자화를 활용한 메모리 효율적인 평가 프레임워크를 제안한다.

상세 분석

이 연구는 그리스어와 같은 저자원 언어에서 LLM의 실제 성능을 정량화하려는 시도로, 기존 연구가 주로 영어 중심이거나 다국어 모델의 고자원 언어 편향에 머물렀던 한계를 극복한다. 먼저 저자들은 ‘DemosQA’라는 새로운 데이터셋을 구축한다. Reddit의 r/greece 서브레딧에서 질문 게시물을 자동 수집하고, 최소 5개의 업보트와 5개의 답변을 가진 포스트만을 선별한다. 이후 중복 제거, 이미지·성인 콘텐츠 배제, 상위 10개 답변 추출 등 전처리 파이프라인을 적용해 2,100여 개의 후보를 만든 뒤, 인간 검수 과정을 통해 질문·답변의 품질, 공격성, 오답 여부 등을 철저히 검증한다. 최종적으로 각 질문당 4개의 후보 답변과 가장 높은 업보트를 받은 정답을 제공함으로써, 인간 집단의 선호를 반영한 ‘사회적·문화적 zeitgeist’를 담은 QA 데이터셋을 완성한다.

평가 프레임워크는 4비트 양자화(Dettmers & Zettlemoyer, 2023)를 이용해 GPU 메모리 요구량을 크게 낮추면서도 정확도 손실을 최소화한다. 이는 7~12억 파라미터 규모의 모델을 저비용 환경에서도 일관되게 테스트할 수 있게 해, 연구 재현성을 크게 향상시킨다.

모델 선정 측면에서 저자들은 11개의 LLM을 포함한다. 단일언어 모델로는 Meltemi 7B와 Llama Krikri 8B가 있으며, 다국어 모델로는 Mistral Nemo 12B, Llama 3.1 8B, Gemma 2 9B, Tekun 7B, EuroLLM 9B, Aya Expanse 8B 등을 선택한다. 각 모델은 최소 7B 파라미터를 갖는 instruction‑tuned 버전을 사용해, 프롬프트 기반 인‑컨텍스트 학습이 가능하도록 구성하였다.

프롬프트 전략은 (1) 기본 질문만 제공하는 Zero‑Shot, (2) 질문과 정답 선택지를 함께 제시하는 Few‑Shot, (3) 질문·선택지·‘정답은 가장 높은 업보트를 받은 답변이다’라는 메타 정보를 포함하는 Chain‑of‑Thought 스타일의 Prompt이다. 세 가지 전략을 통해 모델이 질문 이해, 선택지 평가, 메타 정보 활용 능력을 각각 얼마나 발휘하는지 정량적으로 비교한다.

실험 결과는 다음과 같은 핵심 인사이트를 제공한다. 첫째, 단일언어 모델이 다국어 모델보다 평균 35%p 높은 정확도를 보이며, 특히 문화·역사 관련 질문에서 뚜렷한 우위를 나타낸다. 이는 그리스어 특유의 어휘·문법 구조와 도메인 지식이 충분히 반영된 사전 학습 데이터가 효과적임을 시사한다. 둘째, 최신 다국어 모델인 Aya Expanse 8B와 EuroLLM 9B는 다국어 대비 그리스어 성능 격차가 작아, 대규모 다국어 사전 학습이 충분히 진행될 경우 저자원 언어에서도 경쟁력을 가질 수 있음을 보여준다. 셋째, Chain‑of‑Thought 프롬프트가 전체적으로 가장 높은 성능을 기록했으며, 특히 복합 선택지와 추론이 필요한 질문에서 큰 폭의 정확도 상승을 이끌었다. 이는 LLM이 메타 정보를 활용해 답변 후보를 재정렬하고, 인간의 판단 기준을 모방할 수 있음을 의미한다. 넷째, GPT‑4o mini와 같은 폐쇄형 상용 모델과 비교했을 때, 오픈‑웨이트 모델 중 Aya Expanse 8B가 12%p 차이로 근접한 성능을 보이며, 비용·투명성 측면에서 실용적인 대안이 될 수 있음을 확인했다.

또한 저자들은 DemosQA가 기존 의료·법률·학술 QA 데이터셋과 달리 일상·시사·문화 등 다양한 도메인을 포괄하고, 커뮤니티 투표 기반 정답 선정 메커니즘을 갖추어 LLM이 실제 사용자 기대와 얼마나 일치하는지를 평가하는 데 유용함을 입증한다. 데이터셋 공개와 평가 코드를 오픈소스로 제공함으로써, 향후 그리스어뿐 아니라 다른 저자원 언어에 대한 QA 벤치마크 구축에 대한 표준을 제시한다.