AI 네이티브 6G를 위한 6G Bench 의미 기반 통신과 네트워크 추론 벤치마크

초록

본 논문은 AI‑네이티브 6G 네트워크에서 기초 모델이 수행해야 하는 의미 기반 통신 및 네트워크 수준 추론을 평가하기 위한 공개 벤치마크인 6G‑Bench을 제안한다. 30개의 표준화‑연계 의사결정 과제를 5개 카테고리로 정리하고, 113 475개의 시나리오에서 10 000개의 고난이도 객관식 문제를 생성한 뒤, 자동 필터링과 전문가 검증을 거쳐 3 722개의 고품질 평가 세트를 제공한다. 22개의 최신 기초 모델을 시험한 결과, 단일 샷 정확도는 0.220.82 사이이며, 의도·정책 추론에서는 0.870.89 수준의 높은 성능을 보였다.

상세 분석

6G‑Bench은 6G 네트워크를 AI‑네이티브로 전환하는 과정에서 “의도‑정책”, “네트워크 슬라이싱·자원 관리”, “신뢰·보안 인식”, “AI‑네이티브 네트워킹·에이전트 제어”, “분산 지능·신흥 활용 사례”라는 다섯 가지 핵심 역량을 표준화 기관(3GPP, IETF, ETSI, ITU‑T, O‑RAN)에서 도출한 30개의 구체적 의사결정 과제로 체계화한다. 각 과제는 다중 단계 정량 추론, 불확실성 하의 최악‑사례(regret) 최소화, 다중 턴 시나리오를 요구하도록 설계돼, 기존 LLM 평가가 주로 정답·지식 회수에 머무는 한계를 극복한다.

시나리오 생성 단계에서는 α3‑Bench에서 추출한 113 475개의 네트워크 상황을 기반으로, 과제‑조건화 프롬프트를 이용해 다양한 파라미터(채널 상태, 서비스 요구, 정책 제약 등)를 조합한다. 자동 중복 제거와 휴리스틱 억제 규칙을 적용해 난이도와 정답 분포를 균등하게 맞춘 뒤, 10 000개의 MCQ를 생성한다. 이후 두 단계 검증 파이프라인을 도입한다. 첫 번째 단계는 구문·논리 일관성, 수치 계산 정확성, 최악‑사례 시나리오 검증을 자동화하고, 두 번째 단계는 통신·네트워크 전문가가 직접 검토해 의미적 오류와 실제 표준 위반을 제거한다. 최종적으로 3 722개의 고신뢰 질문이 평가 세트로 확정되며, 나머지는 모델 훈련·미세조정용으로 공개한다.

평가에서는 22개의 최신 기초 모델(밀집형, Mixture‑of‑Experts, 코드 특화, 멀티모달, 1M 토큰 장기 컨텍스트 등)을 대상으로 pass@1(단일 샷 정확도)과 pass@5(다중 후보 선택 정확도)를 측정한다. 결과는 모델 규모와 아키텍처가 반드시 성능을 보장하지 않음을 보여준다. 중규모 모델이 대규모 모델을 능가하는 경우가 빈번했으며, 특히 “신뢰·보안”과 “분산 지능” 과제에서 정확도가 0.20 이하로 떨어지는 등 여전히 큰 격차가 존재한다. 반면 “의도·정책” 카테고리에서는 최고 모델이 0.89에 근접하는 높은 정확도를 기록했다.

이러한 실험 결과는 AI‑네이티브 6G에서 기초 모델이 실제 네트워크 운영에 투입되기 위해서는 도메인‑특화 데이터와 정교한 프롬프트 설계, 그리고 안전·책임성을 보장하는 검증 메커니즘이 필수임을 시사한다. 또한, 표준화 기관과 연구 커뮤니티가 공동으로 정의한 과제와 시나리오를 벤치마크에 반영함으로써, 향후 모델 개발과 표준화 과정이 보다 일관되고 실용적인 방향으로 수렴할 수 있는 기반을 제공한다.