그래프 신경 알고리즘 추론을 강화학습으로 재구성하다

초록

본 논문은 기존 신경 알고리즘 추론(NAR)의 한계를 극복하기 위해 알고리즘 실행 과정을 마코프 결정 과정(MDP)으로 재구성하고, 이를 강화학습(RL)과 모방학습으로 학습하는 GNARL 프레임워크를 제안한다. 그래프 기반 문제에 일반화 가능한 아키텍처를 설계하고, CLRS‑30 벤치마크와 여러 NP‑hard 문제에서 사후 처리 없이 높은 그래프 정확도를 달성함과 동시에 전문가 알고리즘이 없는 상황에서도 학습이 가능함을 실증한다.

상세 분석

GNARL은 NAR이 “힌트”라는 중간 상태를 감독 신호로 사용해 알고리즘 단계별 출력을 예측하도록 설계된 점을 근본적으로 바꾸어, 알고리즘 실행을 “상태‑행동‑전이‑보상”의 연속으로 보는 MDP로 전환한다. 이 전환은 세 가지 핵심 장점을 제공한다. 첫째, MDP의 구조적 제약(예: 행동 선택이 유효한 노드·엣지에만 제한됨) 덕분에 모델이 사후 처리 없이도 항상 유효한 해를 생성한다. 둘째, 정책이 여러 동등한 해를 허용하도록 설계될 수 있어, 기존 NAR이 단일 정답에 강제되는 문제(예: DFS의 고정 노드 순서)에서 발생하던 정확도 저하를 완화한다. 셋째, 보상 함수를 문제 목표(J)와 차등 보상 형태로 정의함으로써, 전문가 알고리즘이 존재하지 않더라도 순수 RL 신호만으로 정책을 최적화할 수 있다.

아키텍처 측면에서 GNARL은 기존 encode‑process‑decode 파이프라인을 유지하면서, 단계별 “phase”와 “previous‑node” 피처를 추가해 다단계 선택(노드, 엣지, 삼각형) 문제를 자연스럽게 모델링한다. 메시지 패싱 네트워크는 각 단계마다 현재 상태 피처와 선택된 노드 정보를 결합해 업데이트되며, 액터‑크리틱 구조(PPO 기반)와 행동 복제(Behavioural Cloning) 방식을 병행한다. 전문가 정책이 제공되는 경우 BC로 사전 학습한 뒤 PPO로 미세조정하고, 전문가가 없을 경우 PPO만 사용한다.

실험에서는 CLRS‑30의 30개 알고리즘 중 다수에 대해 그래프 정확도(전체 그래프가 완전히 맞는 비율) 90% 이상을 기록했으며, 특히 NP‑hard 문제인 최대 독립 집합(Maximum Independent Set)과 여행 판매원 문제(TSP)에서 기존 NAR 기반 특수 설계 모델을 능가하거나 동등한 성능을 보였다. 보상 설계가 단순히 최종 목표 차이를 이용했음에도 불구하고, 학습 안정성은 보상 정규화와 클리핑된 PPO 손실을 통해 충분히 확보되었다. 또한, 전문가 알고리즘이 전혀 없는 새로운 그래프 구성 문제(Robust Graph Construction)에서도 정책이 의미 있는 해를 찾아내어, GNARL이 “알고리즘 발견” 단계까지 확장될 가능성을 시사한다.

한계점으로는 (1) MDP 설계 시 문제마다 “phase”와 전이 규칙을 수작업으로 정의해야 하는 부담, (2) 큰 그래프(수천 노드)에서 샘플 효율성이 아직 제한적이며, (3) 보상 설계가 목표 함수에 민감해 복합 목표(예: 비용‑품질 트레이드오프)에서는 추가적인 튜닝이 필요하다는 점을 들 수 있다. 향후 연구에서는 자동화된 MDP 추출, 메타‑RL을 통한 보상 학습, 그리고 분산 학습을 통한 대규모 그래프 적용을 탐색할 여지가 있다.