강화학습 기반 근사 서브그래프 매칭: 그래프 트랜스포머와 PPO의 결합

본 논문은 대규모 그래프에서 쿼리 그래프의 근사 존재 여부를 판단하는 근사 서브그래프 매칭(ASM) 문제를 다룬다. ASM은 그래프 편집 거리(GED)를 최소화하는 매핑을 찾는 것이 목표이며, 레이블 잡음이나 구조적 변형이 존재하는 현실 세계 데이터에 필수적인 작업이다. 기존 연구는 크게 두 갈래로 나뉜다. 첫 번째는 쿼리 그래프를 변형해 만든 프로토타입 그래프 집합을 생성하고, 이를 타깃 그래프에서 정확히 매칭시키는 방식이다. 그러나 레이블 변형을 포함하면 프로토타입 수가 기하급수적으로 증가해 실용성이 떨어진다. 두 번째는 분기‑한계(branch‑and‑bound) 알고리즘을 이용해 매핑을 단계적으로 확장하고, 하한값을 이용해 비효율적인 분기를 prune하는 방법이다. 이 접근은 현재까지 가장 강력한 정확도 보장을 제공하지만, 행동 선택에 휴리스틱(예: 최소 하한)만을 사용해 탐욕적으로 진행하기 때문에 전역적인 그래프 정보를 충분히 활용하지 못하고, 지역 최적에 머물러 성능이 제한된다. 이에 저자들은 강화학습(RL) 기반 접근법인 RL‑ASM을 제안한다. 핵심 아이디어는 (1) Graph Transformer를 통해 쿼리와 타깃 그래프 전체의 구조와 레이블 정보를 고차원 임베딩으로 압축하고, (2) 이 임베딩을 입력으로 하는 정책 네트워크를 PPO로 학습해 매핑 순서를 최적화하는 것이다. 구체적으로, 상태 sₜ는 현재 매핑 Mₜ와 두 그래프 G_q, G_t 로 정의된다. 행동 aₜ는 아직 매핑되지 않은 쿼리 노드 u와 타깃 노드 v 의 쌍을 선택해 Mₜ에 추가하는 것이며, 정책 π_θ(aₜ|sₜ)는 모든 가능한 행동에 대해 확률을 출력한다. 즉, 전통적인 “가장 작은 하한을 가진 행동을 선택”이라는 규칙을 신경망이 학습하도록 만든다. 보상 설계는 두 부분으로 구성된다. 첫 번째는 노드 레이블 일치 여부에 따라 +1 또는 ‑1 을 부여하는 r_node 이며, 두 번째는 현재 매핑에 포함된 에지의 존재 여부에 따라 |E⁺_q| − |E⁻_q| 을 부여하는 r_edge 이다. 이 보상은 새로운 노드 쌍을 추가했을 때 GED가 얼마나 감소했는지를 직접 반영한다. 따라서 정책은 장기적인 누적 보상을 최대화하도록 학습되며, 초기 단계에서 약간의 손실을 감수하더라도 후속 단계에서 더 큰 GED 감소를 얻는 매핑을 찾아낼 수 있다. 학습 절차는 두 단계로 진행된다. 첫 번째 단계는 기존 휴리스틱(예: 최소 하한)으로 생성된 매핑 데이터를 이용해 행동을 모방하는 Imitation Learning이다. 이는 정책이 탐색 공간의 기본 구조를 빠르게 파악하도록 돕는다. 두 번째 단계에서는 PPO를 사용해 정책을 미세조정한다. PPO는 정책 업데이트 시 KL 발산을 제한함으로써 안정적인 학습을 보장한다. 또한, 행동 공간을 O(|V_q|·|V_t|)에서 O(|V_t|) 수준으로 축소하기 위해 사전에 정의된 매핑 순서 ϕ (쿼리 노드 순서)를 사용한다. 매 단계마다 하나의 쿼리 노드만을 고려하므로, 계산 복잡도가 크게 감소한다. 실험에서는 합성 그래프, 단백질‑단백질 상호작용(PPI) 네트워크, 소셜 네트워크, 지식 그래프 등 네 가지 데이터셋을 사용했다. 성능 평가는 GED 최소화 정도와 실행 시간 두 축으로 이루어졌다. 결과는 다음과 같다. (1) 정확도 면에서 RL‑ASM은 기존 분기‑한계 기반 방법보다 평균 12 % 이상의 GED 감소를 달성했으며, 특히 레이블 잡음 비율이 30 % 이상일 때 그 차이가 두드러졌다. (2) 실행 시간은 평균 35 % 이하로 단축되었는데, 이는 Graph Transformer가 제공하는 전역적 특징과 정책 네트워크가 탐욕적 휴리스틱보다 적은 분기와 백트래킹을 수행하기 때문이다. (3) Ablation Study를 통해 (a) 모방학습 없이 바로 PPO만 사용하면 초기 수렴이 느려지고 성능이 저하됨을, (b) Graph Transformer 대신 GCN을 사용하면 전역 정보 손실로 정확도가 감소함을 확인했다. 논문의 한계점도 솔직히 언급한다. Graph Transformer는 모든 노드 간의 자기‑주의 연산을 수행하므로 메모리 사용량이 O(N²)이며, 수십만 노드 규모의 그래프에서는 직접 적용이 어려울 수 있다. 또한, 매핑 순서 ϕ 를 사전에 정의하는 방식은 최적 순서를 찾는 추가 비용을 발생시키며, 복잡한 그래프에서는 순서 선택이 전체 성능에 큰 영향을 미친다. 저자들은 이러한 문제를 해결하기 위해 (i) 스파스 어텐션이나 라인 그래프 샘플링을 통한 메모리 효율화, (ii) 메타‑강화학습을 이용해 동적으로 최적 순서를 학습하는 방안을 제시한다. 결론적으로, RL‑ASM은 그래프 전역 정보를 효과적으로 인코딩하는 Graph Transformer와, 장기 보상을 최적화하는 PPO 기반 정책을 결합함으로써, 기존 휴리스틱 기반 분기‑한계 방법이 갖는 탐색 비효율성과 지역 최적화 문제를 극복한다. 이는 ASM이 요구되는 다양한 실세계 도메인—생물학적 네트워크, 소셜 네트워크, 지식 그래프 등—에서 보다 정확하고 빠른 매칭을 가능하게 하며, 향후 대규모 그래프에 대한 확장성을 위한 연구 방향을 제시한다.