그래프 신경망으로 들여다본 트랜스포머의 실패 원인

초록

본 논문은 현대 LLM의 핵심인 트랜스포머(특히 디코더)의 예측 가능한 비대칭적 성능 저하와 같은 실패 모드를 그래프 신경망(GNN) 이론의 관점에서 분석한다. 정보 혼합 및 전파라는 통합된 프레임워크 하에, 트랜스포머가 겪는 문제들이 GNN에서 이미 잘 연구된 정보 전파 병목 현상(과소평활화, 과소압축, 도달 부족)과 동일한 근원임을 주장하며, 이론적으로 근거 있는 해결 방향을 제시한다.

상세 분석

이 논문의 핵심 통찰은 딥러닝 모델을 ‘학습 가능한 정보 혼합 및 전파 시스템’으로 재해석하는 것이다. GNN은 그래프 구조에 따라, Deep Sets는 순서 무관한 전체-전체 혼합으로, 트랜스포머는 어텐션을 통한 컨텍스트 의존적 혼합으로 정보를 처리한다는 점에서 모두 이 프레임워크에 속한다. 이러한 관점에서 모델의 실패는 정보 전파의 병목 현상으로 해석될 수 있으며, GNN 이론에서 이미 체계적으로 연구된 세 가지 주요 실패 모드가 트랜스포머에도 적용된다.

첫째, ‘과소평활화’는 반복적인 정보 혼합으로 모든 노드(또는 토큰) 표현이 서로 유사해져 표현력이 떨어지는 현상이다. 트랜스포머의 깊은 층과 어텐션 메커니즘도 이를 완전히 막지 못하며, 잔차 연결은 각 토큰의 정체성을 유지시켜 과소평활화를 늦추는 이론적 설명을 제공한다.

둘째, ‘과소압축’은 고정된 크기의 표현에 지수적으로 증가하는 정보(예: 먼 거리의 토큰 정보)가 압축되면서 정보가 왜곡되거나 소실되는 현상이다. 디코더-온리 트랜스포머의 인과적 마스킹은 정보 전파 경로를 삼각형 모양의 비대칭적 구조로 만들며, 특히 시퀀스 후반부 토큰이 초반부 정보를 수용해야 할 때 심각한 과소압축을 유발할 수 있다. 이는 LLM의 장문 처리나 복잡한 추론 실패와 직결된다.

셋째, ‘도달 부족’은 단순히 계층이 충분하지 않아 필요한 정보가 목표 지점까지 전파되지 못하는 문제다.

논문은 트랜스포머 연구에서 직관에 기반한 애드혹 솔루션들(예: 잔차 연결, 멀티헤드 어텐션, ALiBi 위치 인코딩)이 실제로는 위의 특정 정보 전파 병목 현상을 완화하기 위해 작동한다는 이론적 근거를 제시함으로써, 해법의 통합된 이해와 표적 개선 방향을 제안한다.