색으로 말하는 그래프 인간 친화적 인코딩으로 LLM 성능 끌어올리기

초록

본 논문은 Weisfeiler‑Lehman( WL) 알고리즘을 기반으로 노드의 구조적 특징을 색상 토큰으로 변환해, 그래프를 자연어 프롬프트에 삽입하는 방법을 제안한다. 인간이 직관적으로 이해할 수 있는 색상 라벨은 LLM이 그래프 구조를 보다 효과적으로 추론하도록 돕고, 다양한 알고리즘·예측 과제에서 기존 텍스트 기반 인코딩 대비 성능 향상을 입증한다.

상세 분석

이 연구는 LLM이 본래 순차적 텍스트 처리에 최적화돼 있음에도 불구하고, 그래프와 같은 비정형 구조를 다루는 데 한계가 있다는 점을 정확히 짚는다. 기존의 그래프‑텍스트 변환 방식은 주로 정수 라벨이나 임베딩을 사용했으며, 이는 LLM의 언어 사전학습과 정합성이 떨어진다. 저자들은 이러한 문제를 해결하기 위해 두 가지 핵심 아이디어를 도입한다. 첫째, WL 1‑dimensional 컬러링을 변형해 노드 레벨 구조 식별자를 생성한다. WL은 이웃 라벨을 집합적으로 해시해 점진적으로 라벨을 정제하는데, 여기서 해시 대신 사전 정의된 정렬·정수 매핑 과정을 거쳐 라벨에 전역적인 순서를 부여한다. 이 과정은 정수 라벨이 단순히 식별자 역할을 넘어, 노드의 k‑hop 구조적 유사성을 반영하도록 설계되었다. 둘째, 이렇게 얻은 순서화된 라벨을 인간이 익숙한 색상 이름(예: red, orange, green 등)으로 매핑한다. 색상은 의미론적으로 연속성을 갖고, LLM이 사전 학습 단계에서 다량 접한 토큰이므로, 추론 과정에서 “색이 비슷하면 구조가 비슷하다”는 직관을 활용할 수 있다.

이론적 분석에서는 정렬된 1‑WL 라벨이 거리‑가중 연결성(connectivity) 함수와 일관된 순서를 만든다는 정리를 제시한다. 특히, 라벨이 높은 노드는 더 많은 근접 이웃을 보유하거나, 거리‑쉘 카운트가 큰 경우에 해당한다는 점을 보이며, 이는 전통적인 중심성(centrality) 지표와도 연관성을 갖는다. 따라서 색상 라벨은 단순히 시각적 메타데이터가 아니라, 그래프 구조의 정량적 요약이라고 볼 수 있다.

실험 부분에서는 합성 그래프(랜덤, 스케일‑프리, 그리드)와 실세계 데이터(Cora, PubMed, OGB)에서 최대 흐름, 최단 경로, 서브그래프 존재 여부 등 다양한 알고리즘·예측 과제를 수행한다. 프롬프트에 색상 라벨을 포함한 “CL‑OWL” 방식은 기본 텍스트 직렬화, 숫자 라벨, 혹은 GNN 임베딩 삽입 방식에 비해 평균 12~18%의 정확도 향상을 보였다. 특히 노드 수가 1000을 초과하는 대규모 그래프에서도 토큰 길이 제한을 고려한 압축 전략(색상 토큰만 사용)으로 성능 저하를 최소화했다. 또한, few‑shot 예시와 결합했을 때 LLM이 색상 라벨을 활용해 단계별 논리 흐름을 스스로 구성하는 모습을 관찰할 수 있었다.

전체적으로 이 논문은 “인간 친화적 메타데이터 = LLM 친화적 인코딩”이라는 가설을 실증적으로 입증한다. 색상이라는 직관적 토큰을 통해 그래프 구조를 언어 모델에 자연스럽게 녹여 넣음으로써, 복잡한 조합 최적화 문제나 전역 구조 추론에서도 LLM의 잠재력을 크게 끌어올릴 수 있음을 보여준다.