그래프 신경망 자동 설계 위한 진화적 아키텍처 탐색

초록

본 논문은 그래프 신경망(GNN) 구조와 학습 하이퍼파라미터를 동시에 최적화하는 진화 기반 NAS 프레임워크인 Genetic‑GNN을 제안한다. 구조와 파라미터를 번갈아 진화시켜 최적 조합을 찾으며, 기존 강화학습 기반 NAS가 갖는 고정 파라미터와 높은 계산 비용 문제를 해결한다. 실험 결과, 전이학습 및 귀납적 노드 분류 벤치마크에서 최신 방법들과 동등하거나 우수한 성능을 보이며, 대규모 탐색 공간에서도 효율적으로 확장 가능함을 입증한다.

상세 분석

Genetic‑GNN은 GNN 아키텍처 탐색을 진화 알고리즘(EA)으로 모델링한다는 점에서 기존 RL‑based NAS와 근본적으로 차별화된다. 탐색 공간은 각 레이어마다 ‘aggregator(예: GCN, GAT, GraphSAGE 등)’, ‘activation function( ReLU, LeakyReLU, ELU 등)’, ‘hidden dimension’ 등을 포함하며, 하이퍼파라미터 차원에는 학습률, 드롭아웃 비율 등이 포함된다. 초기 인구(P₀)는 무작위로 샘플링된 구조 집합 S₀와 해당 구조에 대한 최적 파라미터 집합 P₀로 구성된다.

알고리즘은 두 단계의 교대 진화를 수행한다. ① 구조 고정 단계에서는 현재 인구의 모든 구조에 대해 파라미터 최적화를 수행한다. 여기서는 교차·돌연변이 연산 없이 파라미터만을 진화시키며, 적합도는 검증 데이터셋에서의 정확도(또는 F1)로 평가한다. ② 구조 진화 단계에서는 최적 파라미터 집합을 고정하고, 선택·교차·돌연변이 연산을 통해 새로운 구조 Sₖ₊₁를 생성한다. 선택은 토너먼트 방식 혹은 적합도 기반 확률 선택을 사용하고, 교차는 레이어 단위 교환, 돌연변이는 aggregator 교체, activation 교체, hidden size 변동 등으로 구현한다.

이러한 교대 과정은 I 라운드까지 반복되며, 각 라운드마다 구조와 파라미터가 서로에게 최적화된 환경을 제공한다. 결과적으로 구조와 파라미터가 상호 의존적인 비선형 관계를 갖는 GNN 설계 문제를 효율적으로 탐색한다는 것이 핵심 기여이다.

계산 효율성 측면에서, 개별 모델은 독립적으로 평가될 수 있어 GPU 클러스터에서 병렬 처리가 가능하다. 이는 RL‑based NAS가 컨트롤러 RNN을 학습하고 순차적으로 후보 모델을 생성·평가해야 하는 비용을 크게 낮춘다. 또한, 하이퍼파라미터를 고정하지 않고 동시에 탐색함으로써, 구조만 최적화했을 때 발생할 수 있는 ‘파라미터-구조 불일치’ 문제를 방지한다.

실험에서는 전이학습(Transductive) 벤치마크인 Cora, Citeseer, Pubmed과 귀납적(Inductive) 벤치마크인 PPI 데이터셋을 사용하였다. Genetic‑GNN은 GraphNAS, Auto‑GNN 등 기존 방법과 비교해 동일하거나 더 높은 정확도를 달성했으며, 탐색 시간도 현저히 단축되었다. 특히, 파라미터 진화 단계에서 학습률과 드롭아웃 비율을 자동 조정함으로써 과적합을 억제하고 일반화 성능을 향상시켰다.

한계점으로는 진화 연산에서 교차·돌연변이 비율, 인구 크기 등 메타파라미터가 성능에 민감할 수 있다는 점이다. 또한, 현재 구현은 레이어 수가 고정된 형태이므로, 레이어 깊이 자체를 탐색 공간에 포함시키는 확장은 향후 연구 과제로 남는다.

요약하면, Genetic‑GNN은 구조와 학습 파라미터를 동시에 최적화하는 교대 진화 메커니즘을 도입함으로써, GNN 설계 자동화에서 기존 방법이 직면한 고정 파라미터와 높은 계산 비용 문제를 효과적으로 해결하고, 다양한 그래프 학습 시나리오에 적용 가능한 확장성 높은 NAS 프레임워크를 제공한다.