메시지 적응 그래프 프롬프트 튜닝

초록

프리트레인된 GNN을 그대로 두고, 메시지 전달 단계에 가벼운 학습 가능한 프롬프트를 삽입해 이웃 메시지를 재가중하고 추가 신호를 더한다. 이를 통해 파라미터는 거의 늘리지 않으면서도 다운스트림 작업에 맞는 이웃 혼합 패턴을 학습한다. 실험 결과, 소수 샷 상황에서 기존 그래프 프롬프트 방법보다 일관된 성능 향상을 보였으며, 전체 데이터에서는 전통적인 파인튜닝에 근접한 결과를 얻었다.

상세 분석

본 논문은 기존 그래프 프롬프트 기법이 입력 특성이나 숨은 표현, 혹은 그래프 구조만을 변형하고 메시지 전달 메커니즘 자체는 고정한다는 한계를 지적한다. GNN의 핵심인 메시지 패싱은 이웃 관계를 어떻게 통합할지를 결정하므로, 다운스트림 작업마다 요구되는 이웃 혼합 패턴이 다를 경우 고정된 집계 방식은 성능 저하를 초래한다. MAGPrompt은 이러한 문제를 해결하기 위해 두 가지 핵심 모듈을 도입한다. 첫째, 각 엣지에 대해 스칼라 게이트 a₍ᵢⱼ₎를 학습하는 경량화된 어텐션 기반 게이팅 네트워크를 설계한다. 이 게이트는 노드 표현을 저차원 공간으로 투사한 뒤, 헤드별 어텐션 점수를 계산하고 평균을 취해