그래프 구조를 한 토큰에 담다 — SOG k 로 LLM의 그래프 이해 혁신

초록

본 논문은 그래프 토폴로지를 하나의 특수 토큰 <SOG_k> 로 압축해 LLM에 직접 입력함으로써, 기존의 텍스트 변환 방식이나 연속 임베딩 방식이 갖는 토큰 과다 사용·구조 환각 문제를 해결한다. 토폴로지‑인식 구조 토크나이저가 그래프를 고유 코드북 토큰 하나로 매핑하고, 하이브리드 구조 QA 코퍼스를 통해 텍스트 토큰과 정렬한다. 5개 그래프 레벨 벤치마크에서 9.9 %~41.4 %의 성능 향상을 기록했으며, 노드 수준 작업에도 확장 가능함을 보였다.

상세 분석

이 연구는 “그래프‑투‑토큰”이라는 새로운 패러다임을 제시한다는 점에서 학술적 의의가 크다. 기존의 Graph‑to‑Text 방식은 그래프를 자연어 서술로 변환해 수백~수천 토큰을 소모하고, 노드·엣지 순서에 민감해 구조 환각(structural hallucination)을 일으킨다. 반면 Graph‑to‑Embedding 방식은 연속형 임베딩을 soft‑prompt 로 투사하지만, LLM 고유의 discrete token space와 정렬되지 않아 cross‑modal 불일치가 발생한다. 논문은 이 두 문제를 동시에 해결하고자, (1) 토폴로지‑인식 구조 토크나이저를 설계해 그래프 전체 토폴로지를 하나의 discrete codebook 토큰으로 압축한다. 여기서 노드 중요도 기반 앵커 선정, 다중 홉 위치 코딩, 가상 글로벌 노드 도입을 통해 순열 불변성을 확보하고, GNN‑기반 메시지 패싱으로 토폴로지 정보를 연속 표현 H_s 로 만든 뒤, VQ‑style 코드북 C 에 매핑해 최종 토큰 인덱스를 선택한다. (2) 선택된 토큰을 기존 vocab V 에 추가해 V′=V∪{<SOG_k>} 로 확장하고, 하이브리드 구조 QA(최근접 토큰 매칭, True/False 구조 유사성 판단, Description‑Token 매칭) 세 종류를 구축해 LLM이 <SOG_k> 를 텍스트 토큰과 동일한 의미 공간에 배치하도록 지도학습한다. 파라미터는 기존 텍스트 토큰을 고정하고, 새 구조 토큰 임베딩만 업데이트하거나 LoRA 로 경량 적응한다. 실험에서는 5개 그래프‑레벨 데이터셋(ZINC, ogbg‑molpcba 등)에서 베이스라인 대비 9.9 %~41.4 %의 정확도 향상을 기록했으며, 토큰 하나만 사용해도 충분히 풍부한 구조 정보를 전달한다는 점을 입증했다. 또한 노드‑레벨 분류 실험에서 글로벌·로컬 구조를 동시에 포착함을 보이며, 토큰 기반 접근이 다중 스케일 이해에 유연함을 시사한다. 그러나 몇 가지 한계도 존재한다. 첫째, 코드북 크기 K 를 어떻게 설정하느냐에 따라 토큰 표현의 해상도가 달라지며, 매우 큰 그래프(수만 노드)에서는 하나의 토큰이 모든 미세 구조를 포착하기 어려울 수 있다. 둘째, 토폴로지‑인식 토크나이저가 GNN과 VQ‑코드북 학습에 의존하므로, 사전 학습된 LLM과 완전히 독립적인 파이프라인을 유지하기 어렵다. 셋째, 하이브리드 QA 코퍼스가 구조만을 대상으로 하기 때문에, 텍스트‑구조 연관성(예: 속성 라벨과 구조 간 상관관계) 학습이 제한될 가능성이 있다. 향후 연구에서는 다중 토큰 시퀀스로 구조를 부분적으로 분할하거나, 코드북을 동적으로 확장하는 메커니즘, 그리고 텍스트‑구조 혼합 프리트레이닝을 통해 이러한 제약을 보완할 수 있을 것이다. 전반적으로 <SOG_k> 접근은 LLM이 비유클리드 데이터를 효율적으로 인식하도록 하는 실용적이면서도 이론적으로 설득력 있는 솔루션이다.