칩 설계용 LLM 평가의 새로운 도전 ChipBench

초록

ChipBench은 Verilog 생성, 디버깅, 그리고 Python·SystemC·CXXRTL 기반 레퍼런스 모델 생성이라는 세 가지 핵심 작업을 포함한 44개의 실제 모듈과 89개의 디버깅 케이스, 132개의 레퍼런스 모델 샘플을 제공한다. 기존 벤치마크가 포화 상태에 이른 반면, 본 벤치마크는 코드 길이·셀 수·계층 구조 등에서 현업 수준을 반영해 LLM의 실질적인 산업 적용 가능성을 평가한다. 실험 결과 Claude‑4.5‑opus조차 Verilog 생성에서 30.74%, Python 레퍼런스 모델에서 13.33% 수준에 머물러 기존 95% 이상 통과율을 보였던 벤치마크와 큰 격차를 드러낸다. 또한 고품질 레퍼런스 모델 학습 데이터를 자동으로 생성하는 툴박스도 제공한다.

상세 분석

ChipBench은 현재 LLM 기반 하드웨어 설계 연구가 직면한 세 가지 근본적인 한계를 직접 해결한다. 첫째, 기존 VerilogEval 계열 벤치마크는 10~76줄 수준의 단일 파일 모듈에 국한돼 산업 현장의 10 000줄 이상 규모의 계층적 설계와는 거리가 멀다. ChipBench은 44개의 모듈을 self‑contained, non‑self‑contained, CPU‑IP 세 카테고리로 구분하고, 평균 47.8줄·323.3셀(전체 평균 61.7줄·438.7셀)로 기존 대비 3.8배·13.9배 규모를 확대했다. 특히 non‑self‑contained 모듈은 상위 모듈이 하위 모듈을 인스턴스화하도록 설계돼, 실제 설계 흐름에서 요구되는 모듈 재사용·인터페이스 정의 능력을 테스트한다.

둘째, Verilog 코드 생성만을 평가하던 기존 접근법은 버그 수정 능력을 무시한다. 반도체 산업에서는 설계 오류가 수십억 달러 손실로 이어질 수 있기 때문에, “디버깅”은 실질적인 적용 가능성을 판단하는 핵심 지표다. ChipBench은 89개의 디버깅 케이스를 네 가지 오류 유형(Arithmetic, Assignment, Timing, State‑Machine)으로 체계화하고, zero‑shot(버그 존재만 알림)과 one‑shot(VCD 파형 제공) 두 평가 모드를 도입해 실제 엔지니어가 겪는 상황을 재현한다.

셋째, 레퍼런스 모델(고수준 시뮬레이션 모델) 생성은 설계 검증 단계에서 필수적이지만, 기존 벤치마크는 이를 전혀 다루지 않는다. ChipBench은 Python, SystemC, CXXRTL 세 언어로 각각 44개의 모듈에 대해 레퍼런스 모델을 요구, 총 132개의 샘플을 제공한다. 이를 위해 Heterogeneous Test Engine(HTE)을 구축해, LLM이 생성한 레퍼런스 모델을 자동으로 구문 검사하고, Verilator 기반 C++ 시뮬레이터와 비교 검증한다.

실험 결과는 현재 SOTA LLM도 여전히 큰 격차를 보임을 명확히 한다. Claude‑4.5‑opus는 Verilog 생성에서 30.74%의 통과율, Python 레퍼런스 모델에서는 13.33%에 불과했다. 이는 기존 VerilogEval에서 95% 이상을 기록한 모델과 비교해 23배 수준의 성능 저하를 의미한다. 디버깅 작업에서는 520% 정도 높은 통과율을 보였지만, 여전히 산업 수준에 미치지 못한다.

또한, 논문은 고품질 레퍼런스 모델 학습 데이터를 자동으로 생성하는 툴박스를 공개한다. QiMeng CodeV‑R1(10 000 Verilog 샘플)에서 2 206개의 Python 레퍼런스 모델을 성공적으로 생성했으며, Pyranet·VeriGen 등 대규모 공개 데이터셋에 적용하면 수십만~수백만 규모의 학습 데이터를 손쉽게 확보할 수 있다. 이는 향후 LLM을 하드웨어 설계에 특화시키는 데이터 기반 연구의 토대를 제공한다.

전반적으로 ChipBench은 LLM 평가를 “코드 생성 → 버그 수정 → 레퍼런스 모델 검증”이라는 전형적인 설계 흐름 전체로 확장함으로써, 현재 연구가 놓치고 있는 실무 적용 가능성을 정량적으로 측정한다. 이는 학계와 산업계 모두에게 보다 현실적인 목표 설정과 연구 방향을 제시하는 중요한 이정표가 된다.