GFM RAG 그래프 기반 모델로 검색 증강 생성의 한계를 넘다

초록

기존 검색 증강 생성(RAG)은 복잡한 지식 간 관계를 포착하기 어려웠습니다. 그래프 구조를 활용한 GraphRAG가 등장했지만, 그래프의 노이즈와 불완전성은 성능을 제한했습니다. 본 연구는 그래프 신경망(GNN) 기반의 그래프 파운데이션 모델(GFM)을 도입한 GFM-RAG를 제안합니다. 대규모 데이터로 사전 학습된 이 모델은 새로운 데이터셋에 추가 학습 없이도 적용 가능하며, 복잡한 다중 홉 추론 질의응답과 다양한 도메인 특화 작업에서 최고 성능을 달성합니다.

상세 분석

본 논문이 제안하는 GFM-RAG의 기술적 핵심은 ‘쿼리 의존적 그래프 신경망(Query-dependent GNN)‘을 활용한 그래프 파운데이션 모델 리트리버입니다. 기존 GNN이 특정 그래프 구조에 고정된 메시지 패싱을 수행하는 반면, 이 모델은 사용자 질의(query) 임베딩을 초기 엔티티 특징으로 활용하여, 그래프 상에서 질의와 관련된 정보로만 동적으로 메시지를 전파합니다. 이는 논리적 다중 홉 추론 능력을 이론적으로 보장하며, 복잡한 질의-지식 관계를 단일 단계의 효율적인 검색으로 포착할 수 있게 합니다.

모델의 혁신성은 두 단계의 대규모 학습 전략에 있습니다. 첫째, 60개 지식 그래프와 1400만 개 이상의 트리플로 구성된 데이터를 사용한 자기 지도 학습 방식의 KG 완성 사전 학습을 통해 그래프 구조에 대한 일반적인 이해를 획득합니다. 둘째, 70만 개 문서와 질의-문서 쌍을 이용한 지도 학습 방식의 문서 검색 미세 조정을 통해 최종 검색 작업에 특화됩니다. 이를 통해 단 8백만 개의 파라미터로도 다양한 보이지 않는(unseen) 데이터셋에 대한 강력한 일반화 능력을 갖춘 최초의 그래프 파운데이션 모델이 됩니다.

실험 결과는 모델의 효율성과 확장 가능성을 입증합니다. GFM-RAG는 기존의 반복적 검색-추론을 요구하는 멀티스텝 방법들을 단일 패스로 대체하며 더 낮은 계산 비용을 보입니다. 또한, 모델 크기와 학습 데이터 규모가 증가함에 따라 성능이 지속적으로 향상되는 신경 확장 법칙(Neural Scaling Law)을 따르며, 향후 더 큰 규모의 모델로 발전할 잠재력을 시사합니다. 결국, 이 연구는 정적 지식 통합을 넘어 동적 관계 추론이 가능한 차세대 RAG 시스템의 청사진을 제시한다고 평가할 수 있습니다.