그래프 확산 기반 빈번 서브그래프 탐색 프레임워크 GraDE

초록

GraDE는 그래프 확산 모델을 이용해 신경망 아키텍처에서 빈번히 등장하는 서브그래프(모티프)를 효율적으로 추정·발견하는 시스템이다. 서브그래프 샘플링 → 확산 모델 학습 → 그래프 확산 추정기(GraDE) 점수 기반 빔 서치를 순차적으로 수행함으로써, 기존 열거 기반 방법의 정확도와 샘플링 기반 방법의 확장성을 동시에 달성한다. 실험 결과, 서브그래프 순위 정확도가 최대 114 % 향상되고, 대규모 패턴의 평균 빈도가 기존 샘플링 대비 30배 이상 높아졌다.

상세 분석

본 논문은 신경망 아키텍처 설계·분석에 핵심적인 네트워크 모티프를 찾는 문제를 ‘빈번 서브그래프 탐색(Frequent Subgraph Discovery)’으로 정의하고, 기존 방법들의 한계를 명확히 짚는다. 전통적인 열거 기반 기법은 모든 k‑노드 서브그래프를 완전 탐색해 정확한 빈도수를 제공하지만, 서브그래프 크기 k가 증가함에 따라 탐색 공간이 지수적으로 폭발해 실용적인 계산이 불가능해진다(NP‑hard). 반면, 샘플링 기반 기법은 무작위 혹은 구조적 샘플링을 통해 계산량을 줄이지만, k가 커질수록 샘플이 희소해져 빈도 추정의 분산이 급증하고, 결국 중요한 대규모 모티프를 놓치는 ‘발견 능력 저하’ 문제가 발생한다.

GraDE는 이러한 딜레마를 그래프 확산 모델이라는 최신 생성 모델에 기반한 확률적 추정기로 해결한다. 핵심 아이디어는 “학습된 확산 모델이 생성할 확률 p₀(G₀) 은 해당 서브그래프 G₀ 가 전체 그래프 집합에서 차지하는 상대 빈도 RFₖ(G₀) 와 강한 양의 상관관계를 가진다”는 관찰이다. 이를 정리하면, 확산 모델이 학습한 분포는 실제 서브그래프 분포를 근사하고, 모델이 특정 서브그래프에 부여하는 로그 가능도는 빈도 추정치로 활용될 수 있다. 따라서, 전체 서브그래프 집합을 열거하지 않아도, 모델 추정값만으로 서브그래프의 ‘전형성(typicality)’을 평가하고, 높은 전형성을 가진 후보를 우선 탐색한다.

구현 측면에서 GraDE는 세 단계 파이프라인을 제시한다. ① Subgraph Sampling 단계에서는 기존 Rand‑ESU, ARS, NRS 등 균등 샘플링 기법을 플러그인 형태로 사용해 대표적인 훈련 샘플 Dₖ 를 만든다. ② Estimator Construction 단계에서는 DisCo, DiGress, DeFoG 등 최신 그래프 확산 모델 중 하나를 선택해 Dₖ 에 대해 학습한다. 논문은 DisCo 기반 구현(DisCo‑E)을 중심으로 수식적 전개를 제공한다. 여기서는 노드·엣지 각각에 독립적인 노이즈 스케줄 β(t)를 적용하고, 전방 전이 확률을 연속시간 마코프 체인(CTMC) 형태로 정형화한다. 역전이 확률은 상세히 파생된 포아송 근사식(식 8)을 통해 구해지며, Monte‑Carlo 시뮬레이션으로 p₀(G₀)를 추정한다. ③ Beam Search 단계에서는 추정된 GraDE 점수를 이용해 후보 서브그래프를 빔 폭 N 만큼 유지하면서 크기 k 를 단계적으로 증가시킨다. 이 과정에서 낮은 점수의 후보는 조기에 제거돼 탐색 공간이 급격히 축소된다.

이론적 기여는 두 가지다. 첫째, 그래프 확산 모델의 생성 확률을 서브그래프 빈도의 대리 변수로 공식화함으로써, 기존 샘플링 기반 추정치보다 낮은 분산·편향을 보이는 새로운 추정기를 제시한다. 둘째, 확산 모델이 제공하는 연속적인 확률 지형을 활용해 빔 서치를 설계함으로써, k 가 커질수록 탐색 비용이 선형에 가깝게 증가하도록 만든다. 실험에서는 NAS‑Bench‑101/201/301/NLP와 실제 Young 데이터셋을 사용해, (1) Ranking Accuracy: Spearman 상관계수가 기존 샘플링 대비 최대 114 % 상승, (2) Discovery Capability: 대규모 서브그래프(k≥8)에서 평균 상대 빈도가 30배 이상 향상됨을 입증한다. 특히 샘플이 극히 제한된 상황에서도 GraDE는 높은 순위 정확도를 유지해, 데이터가 부족한 실제 설계 환경에 적합함을 보여준다.

한계점으로는 (i) 훈련 샘플 Dₖ 가 충분히 다양하지 않을 경우 모델이 편향된 분포를 학습할 위험, (ii) 그래프 확산 모델 자체의 학습 비용이 여전히 존재한다는 점을 들 수 있다. 향후 연구에서는 (a) 샘플링 전략을 적응적으로 조정해 훈련 데이터 효율성을 높이고, (b) 멀티‑스케일 확산 모델을 도입해 서로 다른 k 에 대해 공유 파라미터를 학습함으로써 전체 파이프라인의 시간·메모리 비용을 더욱 절감할 수 있을 것이다.