인간 지식 없이 자동으로 올바른 분산 프로토콜을 학습한다

초록

본 논문은 분산 시스템에서 요구되는 안전·정합성을 보장하는 프로토콜을 인간의 설계 없이 자동으로 찾아내는 학습 프레임워크 GGMS를 제안한다. 프로토콜 설계를 불완전 정보 게임으로 모델링하고, SMT 기반 모델 체커와 변형된 MCTS, 전역 깊이‑우선 탐색을 결합해 정형 검증 가능한 상태 기계 를 탐색한다. 완전성 증명과 실험을 통해 기존 방법보다 더 큰 규모(4 프로세스·3 장애)에서 올바른 합의·원자 커밋 프로토콜을 성공적으로 합성한다.

상세 분석

이 연구는 분산 프로토콜 설계를 “불완전 정보 게임”이라는 형식화된 탐색 문제로 전환함으로써 기존 설계 방식의 한계를 극복한다. 먼저, 각 프로세스가 동일한 결정론적 상태 기계를 실행하고, 라운드마다 상태와 수신 메시지를 입력으로 받아 다음 상태를 출력하도록 정의한다. 이러한 모델은 크래시·메시지 손실을 포함한 adversarial failure 모델을 자연스럽게 포괄한다. 올바른 프로토콜은 모든 가능한 시나리오에 대해 사전 정의된 SMT 기반 안전·정합성 속성을 만족해야 하며, 이는 모델 체커가 완전한 반례를 제공함으로써 학습에 피드백으로 활용된다. GGMS는 세 가지 핵심 요소를 결합한다. (1) 변형된 Monte‑Carlo Tree Search(MCTS)는 정책 네트워크(Transformer 기반)로 상태‑입력에 대한 전이 확률을 추정하고, 시뮬레이션을 통해 실제 보상을 직접 계산한다. (2) 전역 깊이‑우선 탐색(DFS)은 MCTS가 “전이 혼합”이라는 초과합(superposition) 문제에 빠졌을 때 특정 전이를 고정하고 체계적으로 백트래킹함으로써 탐색 공간을 완전하게 탐색한다. (3) 단계적 커리큘럼(가이드 샘플링)은 초기에는 손실이 적은 라운드와 명확한 초기 상태만을 허용해 탐색이 안정적으로 수렴하도록 돕는다. 논문은 “완전성”을 보장하는 정리를 제시하는데, 이는 (i) 탐색 공간이 유한하고 (ii) 모델 체커가 모든 반례를 정확히 제공한다는 가정 하에, 올바른 프로토콜이 존재한다면 GGMS가 결국 이를 발견한다는 의미다. 실험에서는 3‑4 프로세스·f≤3 장애 상황에서 기존 MCTS 기반 합성기가 실패하는 반면, GGMS는 FloodSet와 유사한 합의 프로토콜을 재발견하고, 기존에 알려지지 않은 동기식 원자 커밋 프로토콜까지 자동 생성한다. 또한, GPT‑4와 Gemini 같은 대형 언어 모델은 기존 합의 프로토콜을 회상할 수는 있으나 새로운 프로토콜을 탐색·합성하는 데는 한계가 있음을 확인한다. 제한점으로는 동기식 네트워크와 크래시 모델에만 초점을 맞추었으며, 프로세스 수가 증가하면 상태 공간 폭발 문제가 남아 있다. 향후 작업에서는 비동기·비동등 모델, Byzantine 장애, 그리고 형식적 증명(귀납적 검증)과의 연계를 통해 범용성을 확대할 계획이다.