데시GNN: 대형 언어 모델과 메타지식으로 그래프 신경망 설계 자동화

초록

본 논문은 LLM 기반 자동 설계가 그래프 특성에 대한 세밀한 이해가 부족하고 외부 입력 노이즈에 취약한 문제를 해결하기 위해, 대규모 벤치마크에서 추출한 그래프‑GNN 성능 메타지식을 LLM과 결합한 DesiGNN 프레임워크를 제안한다. 그래프 속성 필터링, 문헌 지식 정렬, 초기 설계 제안 및 지식‑구동 리파인먼트를 순차적으로 수행해, 보이지 않는 데이터셋에 대해 초기 설계가 전체 후보의 상위 5.77% 안에 들며, 최소 검색 비용으로 기존 AutoGNN 방법들을 지속적으로 능가한다.

상세 분석

DesiGNN은 “메타‑프로피션시”(meta‑proficiency)라는 개념을 도입한다. 이는 과거 설계 경험을 미세‑입자 수준의 구조화된 지식 프라이어로 전환해, LLM이 단순히 일반적인 언어적 추론에 의존하는 것이 아니라 그래프 토폴로지와 GNN 아키텍처 사이의 정량적 매핑을 활용하도록 한다. 구체적으로 16가지 그래프 속성(클러스터링, 베터니스, 밀도 등)을 기준으로 **통계적 거리 순위(SR)**와 **실제 성능 전이 순위(ER)**를 계산하고, 두 순위의 일치도를 그래프‑GNN 적합성 지표로 삼는다. 이 과정은 기존 AutoGNN이 요구하는 대규모 샘플링을 회피하고, 베이지안 관점에서 사전 확률 P(θ) 를 메타지식 풀 K 로부터 직접 추정한다.

외부 노이즈 문제는 LLM이 “인용 네트워크”와 같은 표면적 설명에 과도하게 의존해 잘못된 설계(예: GCN을 이질성 그래프에 적용)로 이어지는 현상으로 나타난다. DesiGNN은 LLM을 지식 정렬기로 활용해, 벤치마크 기반 속성 필터링 결과와 최신 그래프 학습 문헌(예: 동질성·이질성에 따른 GIN, GAT 변형) 사이의 의미적 연결을 자동 생성한다. 이렇게 구축된 메타‑지식 M:(G,Θ)→P는 “설계 → 검증 없이도 높은 사후 확률 P(θ|G)”을 제공, 즉 테스트 없이도 유망한 아키텍처를 빠르게 제시한다.

실험에서는 3개의 OOD 데이터셋과 8개의 벤치마크를 활용해, 초기 설계가 전체 후보군 중 상위 5.77%에 해당함을 입증했으며, 이후 지식‑구동 리파인먼트 단계에서 최소 2~3번의 반복만으로 기존 AutoGNN(강화학습, 진화 알고리즘 등)의 최종 성능을 초과한다. 계산 비용 측면에서도 GPU 시간 기준 10배 이상 절감되는 효율성을 보인다.

이러한 설계는 (1) 그래프 특성‑아키텍처 매핑을 정량화한 메타지식 구축, (2) LLM을 외부 노이즈에 강인한 지식 정렬 도구로 활용, (3) 베이지안 사후 추정으로 테스트 비용을 최소화한다는 세 축을 결합한다는 점에서, 기존 AutoGNN 및 LLM‑기반 설계 방법론을 근본적으로 확장한다.