LLM 추론을 그래프 개념 예측기로 압축

초록

본 논문은 대형 언어 모델(LLM)의 중간 추론 과정을 그래프 형태의 개념 예측기로 외부화하고, 이를 기반으로 활성 학습과 선택적 서브모듈 재학습을 수행하는 GCP(Graph of Concept Predictors) 프레임워크를 제안한다. 그래프‑aware 샘플 선택과 손실 기여도 기반 모듈 업데이트를 통해 라벨링 비용과 추론 지연을 크게 줄이면서도 높은 정확도와 해석 가능성을 확보한다.

상세 분석

GCP는 LLM이 생성하는 체인‑오브‑쓰레드, 트리‑오브‑쓰레드 등 구조화된 추론 과정을 유향 비순환 그래프(DAG)로 명시화한다. 그래프의 각 노드는 “개념”(concept)이라 불리는 중간 상태를 나타내며, 노드 간의 에지는 의미적·인과적 의존성을 인코딩한다. 학생 모델은 이러한 그래프 구조를 그대로 모방한 모듈형 네트워크로 구성되며, 각 개념 노드는 독립적인 임베딩 h_i와 전용 전이 함수 f_i를 통해 부모 노드들의 임베딩을 결합해 업데이트된다. 최종 노드의 출력이 최종 태스크 라벨을 제공한다는 점에서 전통적인 개념 병목 모델(CBM)과 유사하지만, GCP는 개념 간 위계와 다중 경로를 명시적으로 다루어 복합적인 추론 흐름을 표현한다는 차별점을 가진다.

활성 학습 단계에서는 기존의 “최종 출력 불확실성” 기반 선택을 넘어, 그래프‑aware 불확실성(E_unc), 위상‑aware 그래디언트 다양성(D_grad), 그래프‑aware 대표성(D_KL)이라는 세 가지 기준을 동시에 고려한다. E_unc은 각 노드의 엔트로피를 노드 중심성(degree)으로 가중합한 값으로, 그래프 구조에서 핵심적인 개념이 얼마나 불확실한지를 측정한다. D_grad은 각 샘플에 대한 노드별 그래디언트를 가중합해 거리 측정함으로써, 서로 다른 추론 경로를 탐색하도록 유도한다. D_KL은 개념 임베딩 간 KL 발산을 위상 가중치와 함께 사용해 코어셋 방식으로 대표성을 확보한다. 세 기준을 교차 검증하여 얻은 샘플 집합 S*는 불확실하면서도 다양하고, 그래프 전체를 골고루 커버한다.

재학습 단계에서는 손실에 가장 큰 영향을 미치는 개념 노드를 식별하기 위해 “반사실(counterfactual) 재실행”을 수행한다. 즉, 특정 노드의 출력을 교체하거나 차단한 뒤 최종 손실 변화를 관찰해 기여도를 추정한다. 기여도가 높은 서브모듈만 선택적으로 업데이트함으로써 전체 모델을 재학습하는 비용을 크게 절감하고, 학습 안정성을 향상시킨다. 이 과정은 그래프 구조에 기반한 손실 전파를 명시적으로 활용하므로, 오류가 발생한 구체적 추론 단계에 대한 진단이 가능하고, 인간이 개입해 개념을 교정하거나 보강하기에도 용이하다.

실험에서는 8개의 NLP 분류 벤치마크(감성 분석, 주제 분류, 스탠스 검출 등)에서 제한된 라벨링 예산(예: 1 %~5 % 전체 데이터) 하에 GCP가 기존 활성 학습 기반 증류 방법보다 일관되게 높은 정확도와 F1 점수를 달성함을 보였다. 특히, 그래프‑aware 샘플 선택이 없을 경우 성능 격차가 크게 나타났으며, 서브모듈 선택적 재학습 없이 전체 재학습만 수행했을 때도 학습 속도와 안정성이 저하되는 것을 확인했다. 또한, 개념 노드별 예측 확률과 그래디언트 흐름을 시각화함으로써 모델이 어떤 논리적 경로를 통해 결정을 내렸는지 직관적으로 이해할 수 있었다.

이러한 결과는 LLM의 풍부한 추론 정보를 단순 라벨 전이만으로는 충분히 활용하기 어렵다는 점을 재확인하고, 그래프 구조를 활용한 추론‑지향 증류가 비용 효율성과 해석 가능성을 동시에 달성할 수 있음을 시사한다. 향후 연구에서는 자동으로 개념 그래프를 추출하는 방법, 멀티모달 혹은 시계열 데이터에 대한 확장, 그리고 인간‑인공지능 협업을 위한 개념 교정 인터페이스 설계 등이 기대된다.