LLM 기반 자동 UVM 검증 프레임워크 UVM2

초록

UVM2는 대형 언어 모델(LLM)을 활용해 UVM 테스트벤치를 자동 생성하고, 커버리지 피드백을 통해 반복적으로 자극을 보강함으로써 검증 설정 시간을 최대 38.8배 단축하고, 코드·기능 커버리지를 각각 87.44%·89.58%까지 끌어올린 자동화 검증 프레임워크이다.

상세 분석

본 논문은 IC 설계 흐름에서 가장 비용이 많이 드는 기능 검증 단계의 생산성을 크게 향상시키기 위해, 세 개의 특화된 LLM 에이전트(분석 AgentA, 생성 AgentG, 최적화 AgentO)를 결합한 UVM2 프레임워크를 제안한다. 첫 단계인 분석 에이전트는 설계 명세서를 구조화된 프롬프트로 변환해 기능 포인트를 추출하고, 테스트 플랜을 템플릿 기반으로 작성한다. 이때 ‘역할 맞춤화’ 프롬프트를 통해 LLM이 검증 엔지니어 역할을 수행하도록 유도함으로써 일반 LLM이 보이는 환각 현상과 누락 위험을 최소화한다. 두 번째 단계인 생성 에이전트는 의존성 기반 흐름을 적용해 UVM 컴포넌트를 순차적으로 생성한다. 구조가 정형화된 인터페이스·드라이버·모니터와 같은 모듈은 사전 정의된 템플릿으로 빠르게 합성하고, 트랜잭션 시퀀싱·프로토콜 체크와 같이 복잡한 행동 로직은 LLM에 위임한다. 이렇게 하여 템플릿과 LLM의 장점을 혼합함으로써 코드 품질과 생성 속도 사이의 트레이드오프를 효과적으로 해결한다. 세 번째 단계인 최적화 에이전트는 시뮬레이션 결과에서 추출한 커버리지 리포트를 분석해 미달 영역을 식별하고, 해당 영역을 목표로 하는 시퀀스를 추가 생성한다. 이 피드백 루프는 자동으로 테스트벤치를 개선해 목표 커버리지를 달성하도록 설계되었으며, 반복 횟수와 목표 커버리지는 사용자가 정의할 수 있다.

평가에서는 400~1,600 LOC 규모의 10개 실제 RTL 디자인을 벤치마크로 사용했으며, UVM2는 숙련 엔지니어 대비 평균 38.8배 빠른 테스트벤치 설정 시간을 기록했다. 코드 커버리지는 87.44%, 기능 커버리지는 89.58%에 도달했으며, 이는 기존 최첨단 솔루션 대비 각각 20.96%·23.51%의 향상을 의미한다. 특히, 기존 연구인 MEIC와 UVLLM이 제한된 규모(≤150 LOC)와 무작위 자극에 머물렀던 반면, UVM2는 산업 표준 UVM 흐름을 그대로 유지하면서 대규모 설계에도 적용 가능하도록 설계된 점이 큰 강점이다.

한편 한계점으로는 LLM의 사전 학습 데이터와 프롬프트 설계에 크게 의존한다는 점이다. 도메인 특화 프롬프트와 템플릿이 충분히 풍부하지 않으면 생성된 코드에 논리적 오류가 발생할 가능성이 있다. 또한, 현재 구현은 주로 SystemVerilog 기반 UVM에 초점을 맞추고 있어, 다른 검증 프레임워크(예: OVM, e‑language)와의 호환성은 제한적이다. 마지막으로, 커버리지 피드백 루프는 시뮬레이션 실행 비용이 크게 작용하므로, 매우 복잡한 디자인에서는 전체 검증 시간 절감 효과가 감소할 수 있다.

전반적으로 UVM2는 LLM과 전통적인 템플릿 기반 코드 생성 방식을 결합해, 검증 엔지니어의 반복적인 수작업을 크게 축소하고, 커버리지 중심의 자동 보강 메커니즘을 제공함으로써 실무 적용 가능성을 높인 혁신적인 시스템이라 평가할 수 있다.