덴마크 문화 베엔치마크 “다이시” 소개와 평가

초록

본 논문은 덴마크 문화유산을 기반으로 한 질문‑답변 벤치마크 “다이시(SDUs Daisy)”를 제안한다. 108개의 문화 canon 작품을 위키피디아에서 추출하고, Gemma‑3 27B 모델이 자동 생성한 5개의 질문을 인간이 검수·수정해 741개의 폐쇄형 QA 쌍을 만든다. 베이스라인 LLM들을 평가한 결과, 전반적으로 낮은 BLEU·F1 점수를 기록했으며, 특히 문화‑특화 지식이 부족함을 확인했다.

상세 분석

다이시 벤치마크는 덴마크 정부가 2006년 제정한 ‘문화칸온(Kulturkanon)’을 근거로 설계되었다. 칸온은 건축, 시각예술, 디자인·공예, 영화, 문학, 아동문학, 음악, 공연예술 등 8개 분야에 각각 12개의 대표작을 선정해 총 108개의 작품을 포함한다. 이러한 공식적인 문화 선정 과정은 학계·예술계 전문가들의 합의를 거친 것이므로, 데이터셋의 신뢰성과 대표성을 확보한다는 점에서 큰 강점이다.

데이터 구축 파이프라인은 크게 세 단계로 이루어진다. 첫째, 각 작품의 위키피디아 페이지를 자동 수집한다. 둘째, Gemma‑3 27B(4‑bit 양자화)를 프롬프트하여 해당 페이지 내용으로부터 5개의 무작위 질문을 생성한다. 프롬프트는 “중심 질문과 주변 질문을 골고루 포함하도록” 설계돼, 표준적인 사실 질문뿐 아니라 세부적인 문화적 맥락을 탐색하는 질문도 포함한다. 셋째, 다중 인간 어노테이터가 질문·정답의 타당성, 명확성, 문화적 함의를 검토·수정한다. 이 과정에서 오류·노이즈가 있는 쌍은 제거하거나 재작성하였다. 최종적으로 741개의 폐쇄형 QA 쌍이 확보되었으며, 이는 고대 고고학 유물부터 현대 팝음악, 디자인까지 시간적·주제적 폭이 넓다.

평가 방법은 간단한 “답만 출력” 프롬프트를 사용해 모델에게 질문을 제시하고, 정답과 비교해 F1(단어 수준)과 BLEU 점수를 산출한다. 정답 정규화 단계에서 대소문자, 구두점, 관사, 여백을 제거해 작은 변형에도 관용성을 확보한다. 실험에 사용된 모델은 Llama‑3.3‑70B‑Instruct, GPT‑OSS‑20B/120B, Mistral‑Small‑24B, Gemma‑3‑27B‑IT 등 최신 다국어 LLM이다. 결과는 전반적으로 낮은 점수를 보였으며, 특히 Gemma‑3‑27B가 기대 이하의 성능을 보여 문화‑지식과 언어‑생성 능력 사이의 격차를 시사한다.

논문은 또한 기존 덴마크 NLP 벤치마크(ScandEval, DaCy, DaNLP 등)가 언어적 능력에 초점을 맞추고 문화적 지식 평가는 부재함을 지적한다. 다이시는 이러한 공백을 메우는 최초의 문화‑특화 평가 자료이며, 향후 모델 개발·정렬 과정에서 문화적 편향을 감지·완화하는 데 활용될 수 있다.