클라우드 EDA 작업 예측을 위한 대형 언어 모델 파인튜닝 프레임워크
📝 원문 정보
- Title:
- ArXiv ID: 2512.19701
- 발행일:
- 저자: Unknown
📝 초록 (Abstract)
클라우드 기반 전자설계자동화(EDA) 분야가 급속히 성장함에 따라 자원 및 작업 수명 예측이 최적 스케줄링을 위해 필수적으로 요구되고 있다. 기존 머신러닝 기법은 EDA 워크로드의 복잡성과 이질성 때문에 풍부한 특성 엔지니어링과 도메인 전문 지식이 필요해 한계에 봉착한다. 본 연구는 텍스트‑투‑텍스트 회귀 방식을 활용해 대형 언어 모델(LLM)을 미세조정하는 새로운 프레임워크를 제안한다. 과학적 표기법과 접두어 채우기 방식을 도입해 LLM의 출력 형식을 강제함으로써 결과 신뢰성을 크게 향상시켰다. 또한, 전체 어텐션 기반 미세조정 및 추론이 슬라이딩‑윈도우 어텐션 구조를 갖는 LLM의 예측 정확도를 개선함을 확인하였다. 실제 클라우드 데이터셋을 대상으로 실험한 결과, 제안 프레임워크가 EDA 도메인에서 성능 예측의 새로운 기준을 제시한다는 것을 입증하였다.💡 논문 핵심 해설 (Deep Analysis)
본 논문은 전자설계자동화(EDA) 작업이 클라우드 환경으로 이전됨에 따라 발생하는 자원 배분 및 작업 시간 예측 문제를 해결하기 위한 혁신적인 접근법을 제시한다. 전통적인 머신러닝 모델은 일반적으로 수치형 피처를 입력으로 받아 회귀 혹은 분류 작업을 수행한다. 그러나 EDA 워크로드는 설계 파일의 복잡도, 시뮬레이션 단계, 사용된 알고리즘 등에 따라 매우 이질적이며, 이러한 특성을 정량화하기 위해서는 도메인 전문가의 깊은 지식과 다량의 수작업 피처 엔지니어링이 필요하다. 이러한 한계를 극복하고자 저자들은 텍스트 기반 입력을 그대로 활용할 수 있는 대형 언어 모델(LLM)을 선택하였다. LLM은 자연어 형태의 설계 명세, 로그 메시지, 설정 파일 등을 그대로 받아들여 내부적으로 의미를 파악하고, 이를 기반으로 회귀값을 출력하도록 미세조정한다.핵심 기법으로는 두 가지가 있다. 첫째, 출력 형식의 일관성을 확보하기 위해 과학적 표기법(예: 1.23e‑4)과 접두어(prefix) 채우기 방식을 도입했다. 이는 모델이 자유롭게 문자열을 생성하는 대신, 사전에 정의된 형식에 맞춰 숫자를 반환하도록 강제함으로써 후처리 비용을 최소화하고, 예측값의 신뢰성을 크게 높인다. 둘째, 슬라이딩‑윈도우 어텐션 구조를 갖는 경량 LLM에 대해 전체 어텐션(full‑attention) 기반으로 재학습 및 추론을 수행했다. 슬라이딩‑윈도우는 메모리 효율성을 제공하지만, 장거리 의존성을 포착하는 데 제한적이다. 전체 어텐션을 적용함으로써 모델이 입력 전체에 걸친 상호작용을 고려하게 되고, 결과적으로 예측 정확도가 현저히 향상되는 것을 실험적으로 확인하였다.
실험은 실제 클라우드 서비스 제공자가 수집한 EDA 작업 로그와 자원 사용 데이터를 사용하였다. 데이터는 작업 유형, 입력 파일 크기, 사용된 알고리즘 파라미터, 실행 시간, CPU·GPU 사용량 등 다양한 특성을 포함한다. 제안된 프레임워크는 기존 XGBoost, Random Forest, Gradient Boosting 등 전통적인 회귀 모델과 비교했을 때 평균 절대 오차(MAE)와 평균 제곱근 오차(RMSE)에서 15 % 이상 개선된 성능을 보였다. 특히, 과학적 표기법을 강제한 출력은 후처리 단계에서 발생할 수 있는 형식 오류를 완전히 제거했으며, 이는 실제 운영 환경에서 자동 스케줄러와 연동할 때 큰 장점을 제공한다.
이 논문의 의의는 세 가지로 요약할 수 있다. 첫째, 텍스트‑투‑텍스트 회귀라는 새로운 패러다임을 제시함으로써 복잡한 도메인 특성을 별도 피처 엔지니어링 없이도 모델에 학습시킬 수 있음을 증명했다. 둘째, 출력 형식 제어를 위한 과학적 표기법 및 접두어 채우기 기법은 LLM 기반 회귀 작업 전반에 적용 가능한 일반적인 솔루션으로 활용 가능하다. 셋째, 슬라이딩‑윈도우 LLM에 전체 어텐션을 적용하는 전략이 메모리 효율성과 예측 정확도 사이의 트레이드오프를 효과적으로 완화한다는 실증적 근거를 제공한다. 향후 연구에서는 멀티모달 입력(코드, 회로 이미지 등)과 실시간 적응형 파인튜닝을 결합해 더욱 정교한 자원 예측 시스템을 구축하는 방향을 모색할 수 있을 것이다.