LLM으로 만든 신경망 아키텍처 데이터셋: 다양성·검증·공개

초록

본 논문은 GPT‑5와 같은 대형 언어 모델을 활용해 608개의 다양한 신경망 코드를 자동 생성하고, 정적 AST 분석 및 심볼릭 트레이싱으로 구조적 일관성을 검증한 뒤 공개 데이터셋으로 제공한다. 아키텍처, 입력 유형·규모, 학습 과제, 복잡도 네 가지 축을 조합해 MLP, CNN‑1D/2D/3D, RNN‑Simple/LSTM/GRU 등 7가지 기본 구조를 포괄한다. 데이터셋은 레이어·연산 38종을 포함해 2~35층 깊이의 모델을 담고 있으며, 8개의 비규격 모델을 재생성해 완전성을 확보했다. 연구자는 이를 신경망 검증·리팩터링·마이그레이션 도구 평가의 표준 벤치마크로 제안한다.

상세 분석

이 연구는 신경망(NN) 툴 체인의 신뢰성 평가에 필요한 “다양하고 표준화된” 모델 집합이 부족하다는 문제를 정확히 짚어낸다. 기존 데이터셋은 주로 학습용 샘플이나 아키텍처 벤치마크에 국한돼, 코드 검증·리팩터링·프레임워크 마이그레이션 등 구조적·정적 분석 도구의 성능을 포괄적으로 측정하기엔 한계가 있다. 저자들은 이러한 격차를 메우기 위해 LLM, 특히 GPT‑5를 활용해 자동으로 NN 코드를 생성한다는 새로운 접근을 제시한다. 핵심은 네 가지 요구사항(아키텍처, 과제, 입력 유형·규모, 복잡도)을 명시한 프롬프트 템플릿을 설계하고, 이를 608개의 조합에 적용해 코드 생성을 일관되게 유도한 점이다.

아키텍처는 MLP, 1D/2D/3D CNN, Simple RNN, LSTM, GRU 등 7가지로 정의하고, 각 아키텍처마다 “특징 레이어”(CL)와 폭·깊이 임계값을 표 1에 명시한다. 입력 유형은 Tabular, Time‑Series, Text, Image 네 가지이며, 각각 작은/큰 규모를 구분해 모델이 실제 데이터 스케일에 맞게 설계되도록 한다. 과제는 이진·다중 분류, 회귀, 표현 학습 네 가지로 제한했으며, 복잡도는 Simple, Wide, Deep, Wide‑Deep 네 단계로 세분화해 레이어 수와 첫 레이어 폭을 조절한다. 이러한 설계는 LLM이 무작위로 코드를 생성하더라도, 사전에 정의된 설계 공간 안에서 다양성을 유지하도록 보장한다.

생성된 코드는 “전체 코드만 출력, 주석·외부 상수 금지, 표준 레이어만 사용”이라는 엄격한 규칙을 따르게 함으로써, 후속 정적 분석이 용이하도록 만든다. 정적 분석은 Python AST 파서를 이용해 레이어 정의와 호출 순서를 추출하고, 특징 레이어 존재 여부, 출력 레이어 형태(과제와 일치 여부), 첫 레이어 파라미터(입력 유형·규모와 일치 여부) 등을 검증한다. 심볼릭 트레이싱은 torch.fx와 같은 도구로 모델을 실행 없이 입력 텐서 흐름을 추적해 구조적 일관성을 확인한다. 이 과정에서 8개의 모델이 비규격으로 판정됐으며, 모두 LSTM/GRU 계열에서 선형 투영 레이어가 앞에 삽입돼 시계열 구조를 깨는 오류였다. 저자들은 해당 모델을 재생성해 완전성을 확보했고, 전체 608개 중 99.7%가 자동 검증을 통과했다.

데이터셋 규모와 다양성을 정량적으로 평가한 결과, 38종의 레이어·연산이 6,842번 등장했으며, 모델 깊이는 2~35층으로 고르게 분포한다. 복잡도별 깊이 박스플롯은 Simple 모델이 얕고, Wide‑Deep 모델이 가장 깊은 경향을 보이며, 이는 설계 의도와 일치한다. 또한 각 입력 유형·스케일별로 대표 모델을 벤치마크 데이터셋에 학습시킨 결과, 성능이 기대 수준에 도달함을 확인해 코드의 실행 가능성을 입증했다.

이 논문의 주요 기여는 (1) LLM을 활용한 대규모 NN 코드 자동 생성 파이프라인, (2) 정적·동적 검증 도구를 결합한 자동 품질 보증 체계, (3) 공개된 다양성 높은 NN 아키텍처 데이터셋이다. 특히, LLM 기반 생성이 “인간 설계 비용을 크게 절감”하면서도 “설계 스펙을 충족”하는 모델을 만들 수 있음을 실증했다. 향후 연구에서는 더 복잡한 아키텍처(Transformer, Graph NN 등)와 다중 과제(멀티태스크 학습)까지 확장하고, 생성된 모델을 실제 코드 변환·마이그레이션 툴의 벤치마크에 적용해 도구 간 성능 차이를 정량화하는 것이 기대된다.