자동 그래프 토폴로지 인식 트랜스포머 설계 자동화

초록

EGTAS는 그래프 트랜스포머의 마이크로·매크로 설계 공간을 정의하고, 진화 알고리즘으로 최적 토폴로지를 탐색한다. 성능 예측 서프레이트 모델을 도입해 평가 비용을 크게 낮추며, 다양한 그래프 레벨·노드 레벨 벤치마크에서 기존 수작업 및 자동화 방법과 동등하거나 우수한 성능을 달성한다.

상세 분석

본 논문은 그래프 신경망 분야에서 최근 각광받고 있는 그래프 트랜스포머의 설계 복잡성을 근본적으로 해결하고자 한다. 기존 연구들은 토폴로지와 그래프‑특화 어텐션 메커니즘을 수작업으로 조합해 성능을 끌어올렸지만, 최적 설계는 데이터 특성, 태스크 유형, 하드웨어 제약 등에 따라 크게 달라진다. 이를 자동화하기 위해 저자들은 두 단계의 설계 공간을 제시한다. 매크로‑레벨에서는 레이어 수, 스킵 연결 형태, 멀티‑헤드 어텐션 구조, 피드‑포워드 차원 등을 조합해 전체 토폴로지를 정의한다. 마이크로‑레벨에서는 그래프‑인코딩 전략(예: 라플라시안 포지셔널 인코딩, 구조적 상대 위치 인코딩), 어텐션 가중치 정규화, 메시지 전달 방식 등을 세분화한다. 이러한 설계 요소들을 이진·정수·실수형 코드로 통합한 ‘범용 아키텍처 코딩’은 서프레이트 모델의 입력으로 활용된다. 서프레이트 모델은 그래프 트랜스포머의 구조 코드를 받아 성능(예: 정확도, F1 점수)을 직접 예측하도록 훈련되며, 실제 학습·평가를 수행하지 않아도 후보 아키텍처의 순위를 빠르게 산출한다. 진화 알고리즘은 초기 무작위 개체군을 생성하고, 서프레이트 모델이 제공하는 적합도 점수를 기반으로 선택·교차·돌연변이 연산을 반복한다. 이 과정에서 매크로‑레벨 토폴로지는 크게 변형되고, 마이크로‑레벨 전략은 세밀하게 조정된다. 실험에서는 작은 그래프(OGB‑MolPCBA)부터 대규모 소셜 네트워크(OGB‑Arxiv)까지, 그리고 노드 분류(Cora, PubMed)까지 12개 데이터셋을 대상으로 비교하였다. EGTAS가 찾은 아키텍처는 기존 수작업 설계와 최신 NAS 기반 그래프 트랜스포머(예: GraphNAS, AutoGraph)보다 평균 2~4% 높은 정확도를 기록했으며, 특히 메모리 제한이 있는 환경에서 효율적인 레이어 배치와 경량화된 어텐션 전략을 자동으로 선택한다는 점이 돋보인다. Ablation 실험을 통해 서프레이트 모델이 없을 경우 탐색 비용이 10배 이상 증가하고, 마이크로‑레벨 전략을 제외하면 성능 격차가 1.5% 수준으로 감소함을 확인했다. 전체적으로 EGTAS는 설계 공간의 풍부함과 서프레이트 기반 비용 절감이라는 두 축을 균형 있게 결합함으로써, 그래프 트랜스포머 설계 자동화에 새로운 패러다임을 제시한다.