학술 질의응답을 위한 이종 그래프 강화 연쇄사고

초록

HetGCoT는 이종 학술 그래프와 대형 언어 모델(LLM)을 결합해 질문에 대한 구조적 근거와 자연어 설명을 동시에 제공한다. 메타패스 자동 선택·가중치 학습·자연어화 과정을 거쳐 LLM이 그래프 정보를 연쇄사고(Chain‑of‑Thought) 형태로 활용하도록 설계했으며, OpenAlex와 DBLP에서 기존 최첨단 모델들을 크게 앞섰다.

상세 분석

본 논문은 학술 질의응답(FAQ)에서 요구되는 “구조적 이해”와 “해석 가능한 추론”을 동시에 만족시키는 새로운 프레임워크 HetGCoT를 제안한다. 핵심 기술은 네 단계로 구성된다. 첫째, 이종 학술 그래프를 구축하고, 논문·저자·학술지 노드에 텍스트(BERT)와 수치(인용수·임팩트 팩터) 특성을 결합한 임베딩을 만든 뒤, Heterogeneous Graph Transformer(HGT)를 이용해 타입‑aware 어텐션으로 각 노드의 고차원 표현을 학습한다. 둘째, 질의에 맞는 서브그래프를 찾기 위해 메타패스(예: APVP_A, VPAPV 등) 템플릿을 정의하고, FastGTN을 통해 관계별 중요도(weight)를 비지도 방식으로 학습한다. FastGTN이 출력한 가중치는 메타패스 점수에 직접 반영되어, 길이 정규화 파라미터 γ와 함께 상위 k(=5)개의 메타패스를 템플릿별로 골라낸다. 셋째, 선택된 메타패스를 자연어 템플릿에 매핑해 “confidence‑weighted” 문장 형태로 변환한다. 이 과정에서 각 메타패스는 “이 논문의 저자는 … 학술지에 다수 발표했다”와 같은 인간이 이해하기 쉬운 서술로 바뀌며, LLM이 직접 처리할 수 있도록 한다. 넷째, 변환된 메타패스와 원문(제목·초록·키워드·인용 정보)를 포함한 4단계 연쇄사고 프롬프트를 설계한다. 단계별로(1) 그래프 구조 분석, (2) 내용 분석, (3) 협업·기관 분석, (4) 답변 생성이 순차적으로 진행되며, 각 단계마다 LLM은 해당 메타패스와 텍스트 정보를 조건으로 삼아 중간 추론을 수행한다. 학습 단계에서는 GPT‑4o mini를 학문 QA용 구조화된 추론 예시로 파인튜닝하고, 손실 함수에 메타패스 가중치를 곱해 “구조적 근거가 높은” 메타패스에 더 큰 영향력을 부여한다. 실험에서는 OpenAlex와 DBLP 두 데이터셋에서 저널 추천(H@1 92.21 %/83.70 %), 저자‑논문 매칭, 협업 네트워크 탐색 등 다양한 QA 태스크에 대해 기존 HGNN, Graph‑Prompt, Graph‑CoT 등 SOTA 모델들을 모두 앞섰다. 특히 메타패스 선택의 적응성(질의에 따라 다른 서브그래프를 자동 추출)과 자연어화된 그래프 근거가 LLM의 추론 투명성을 크게 향상시켰으며, 다양한 LLM 아키텍처(GPT‑3.5, LLaMA‑2)에서도 일관된 성능 향상을 보였다. 전체적으로 HetGCoT는 그래프‑언어 모델 통합을 “연쇄사고” 수준으로 끌어올린 최초의 시도라 할 수 있다.