전력 마케팅용 LLM 평가 벤치마크 ElectriQ

초록

ElectriQ는 전력 마케팅(EPM) 분야에서 대형 언어 모델(LLM)의 응답 품질을 평가하기 위해 55만 개 이상의 다중 턴 대화를 수집·구성한 대규모 벤치마크이다. 6개 서비스 영역·24개 세부 시나리오를 포괄하고, 인간 평점·자동 메트릭·법규 인용 정확도(SCC)·장기 대화 일관성(LDC) 등 4가지 주관·자동 지표와 2가지 규정 스트레스 테스트를 통합한다. 또한 정책·규제 지식을 검색해 삽입하는 SEEK‑RAG 방식을 제안해, 7B 규모 모델이 대형 모델과 동등하거나 우수한 성능을 보이며 비용·에너지 효율성을 높일 수 있음을 실증한다.

상세 분석

ElectriQ는 전력 마케팅이라는 고유의 규제·계약 환경을 반영한 최초의 LLM 벤치마크로, 기존 일반 NLP 평가가 간과해 온 도메인 특화 요구를 체계화한다. 데이터는 국내 전력회사 고객센터(95598) 콜 로그, 현장 작업 티켓, 내부 지식베이스, 전력법·요금 규정 등 5가지 출처를 통합해 550,000개 이상의 멀티턴 대화를 구축했으며, 각 대화는 사용자 문의, 지역·버전 메타데이터, 기대 응답 형식 등을 메타 정보로 포함한다.

평가 프레임워크는 네 가지 주관적 차원(전문성, 명료성·구조, 실행가능성·완전성, 공감·도움)과 BLEURT·CoSMSiC·BLEU·ROUGE 같은 자동 메트릭을 결합한다. 특히 전문성 평가는 규제·조항 일치, 지역·버전 특화 정보 제공 여부를 중점으로 하여, 전력 마케팅 현장에서 요구되는 법적·계약적 정확성을 정량화한다.

규정 스트레스 테스트인 SCC와 LDC는 실제 운영 리스크를 모사한다. SCC는 모델이 제시한 답변에 규정 인용이 포함되고, 인용 조항과 수치가 일치하는지를 0‑1 이진 점수로 평가한다. LDC는 8‑12턴에 걸친 대화 흐름에서 정책 버전 변화나 지역 변경에 따라 답변이 일관되게 업데이트되는지를 검증한다. 두 테스트 모두 이중 주석과 어노테이터 간 합의율을 보고해 신뢰성을 확보한다.

모델 실험에서는 13개의 상용·오픈소스 LLM을 비교했으며, 특히 7B 규모의 도메인 정렬 모델에 SEEK‑RAG를 적용했을 때 GPT‑4·Claude‑3 등 대형 모델과 동등하거나 더 높은 SCC·LDC 점수를 기록했다. 이는 정책·규제 문서를 실시간 검색해 컨텍스트에 삽입함으로써, 작은 모델이라도 최신 규정에 맞는 정확한 답변을 생성할 수 있음을 보여준다. 또한 연산 비용과 에너지 소비가 대형 모델 대비 30‑50% 절감되는 효과도 확인했다.

이 논문은 전력 마케팅 서비스에 LLM을 적용할 때 반드시 고려해야 할 ‘규제 준수’와 ‘장기 대화 일관성’이라는 두 축을 명확히 제시하고, 이를 측정·검증할 수 있는 공개 데이터와 프로토콜을 제공한다는 점에서 학계·산업 모두에 큰 파급력을 가진다. 향후 전력회사·규제기관이 LLM 기반 챗봇을 도입할 때, ElectriQ와 SEEK‑RAG를 활용해 사전 검증·감시 체계를 구축함으로써, 고객 신뢰와 규제 리스크를 동시에 관리할 수 있을 것이다.