동결된 LLM을 활용한 지식 그래프 완성 혁신

초록

FLAME은 파인튜닝 없이도 대형 언어 모델(LLM)의 중간 레이어 표현을 활용해 경량 분류기를 학습함으로써, 지식 그래프 완성(KGC)에서 파인튜닝 수준의 정확도를 달성한다. 서브그래프 기반 엔티티 설명과 슬라이스된 상호정보(SMI)를 도입해 의미적 정렬을 강화하고, 메모리 사용량을 188배, 학습·추론 속도를 26배 가속한다.

상세 분석

본 논문은 기존 KGC 방법이 구조 정보에만 의존해 희소성 문제에 취약한 점을 지적하고, LLM이 풍부한 세계 지식과 문맥 모델링 능력으로 이를 보완할 수 있음을 확인한다. 그러나 LLM을 직접 파인튜닝하면 높은 연산 비용과 메모리 요구가 발생하고, 프롬프트 기반 비파인튜닝은 성능이 제한적이다. 이를 해결하기 위해 제안된 FLAME은 “Frozen LLM”을 그대로 유지하면서, 중간 레이어의 숨겨진 상태(context‑aware hidden states)를 추출한다. 핵심 아이디어는 두 단계로 구성된다. 첫째, 엔티티 이름만으로는 의미적 모호성이 존재하므로, 각 엔티티의 1‑hop 서브그래프를 수집해 구조화된 문장(Structured verbalization)과 모델 친화적 서술(Model‑friendly narrative)로 변환한다. 이 과정에서 GPT‑3.5를 활용한 인‑컨텍스트 학습을 통해 KG의 심볼릭 공간을 LLM의 시맨틱 공간에 매핑한다. 둘째, 트리플 분류, 관계 예측, 엔티티 예측 등 KGC 태스크별 맞춤형 프롬프트를 설계하고, 해당 프롬프트에 대한 LLM의 중간 토큰 표현을 추출한다. 추출된 표현은 고차원 벡터이며, 여기서 SMI(Sliced Mutual Information)를 이용해 태스크와의 관련 정보를 정량화한다. SMI는 고차원 표현을 1‑차원 투영으로 샘플링해 평균 상호정보를 추정함으로써, 파인튜닝 없이도 충분한 태스크‑특화 정보를 보유하고 있음을 증명한다.

실험에서는 LLaMA‑7B, Mistral‑7B, Gemma‑7B, Qwen2.5‑7B 등 다양한 모델에 FLAME을 적용했으며, 3k~10k 수준의 소량 학습 데이터만으로도 KG‑LLAMA(파인튜닝)와 동등하거나 상회하는 정확도를 기록했다. 특히, 서브그래프 기반 엔티티 설명을 사용했을 때 SMI가 34% 상승해, LLM 내부 표현이 KG와 의미적으로 잘 정렬됨을 확인했다. 메모리 효율성 측면에서는 파라미터 업데이트가 필요 없는 구조 덕분에 훈련 시 GPU 메모리 사용량이 188배 감소하고, 전체 파이프라인이 26배 가속되었다. 이는 대규모 모델(예: 70B)에서도 파인튜닝이 사실상 불가능한 상황에서 실용적인 대안을 제공한다는 점에서 의미가 크다. 또한, 다양한 분류기(MLP, SVM, 로지스틱 회귀) 실험을 통해 중간 레이어 표현 자체가 충분히 구분 가능한 특징을 담고 있음을 확인했으며, 가장 간단한 MLP가 최고의 성능을 보였다.

전체적으로 FLAME은 (1) LLM‑KG 의미 정렬을 위한 서브그래프 기반 설명 생성, (2) 중간 레이어 표현의 정보량을 SMI로 정량화, (3) 경량 분류기 학습을 통한 데이터·연산 효율성 증대라는 세 축을 결합함으로써, 파인튜닝 비용 없이도 고성능 KGC를 구현한다는 중요한 기여를 한다.