하이퍼볼릭 파인튜닝으로 보는 대형 언어 모델의 계층 구조

초록

본 논문은 대형 언어 모델(LLM)의 토큰 임베딩이 하이퍼볼릭 공간에서 트리 형태의 계층 구조를 띤다는 사실을 실증하고, 이를 활용한 저비용 파인튜닝 기법인 HypLoRA를 제안한다. 토큰 빈도와 임베딩 노름 사이의 역상관관계, 지역적 하이퍼볼리시티 측정 결과를 바탕으로, 기존 유클리드 기반 LoRA를 하이퍼볼릭 매니폴드 상에서 직접 저랭크 적응을 수행함으로써 추론 성능을 크게 향상시킨다.

상세 분석

본 연구는 LLM의 토큰 임베딩이 단순히 고차원 유클리드 공간에 분포한다는 기존 가정에 도전한다. 먼저, GSM8K·AQuA 등 다양한 추론 데이터셋에 대해 토큰 빈도 분포를 분석한 결과, 전형적인 파워‑law(γ≈1.9) 형태를 보이며 고빈도 토큰이 전체 토큰의 소수에 불과하고 저빈도 토큰이 다수를 차지한다는 언어학적 사실을 재확인한다. 흥미로운 점은 이러한 빈도 차이가 임베딩 공간에서 명확히 거리 차이로 나타난다. 고빈도 기능어(‘the’, ‘that’ 등)는 원점에 가깝게 클러스터링하고, 저빈도 명사·전문용어(‘apple’, ‘dog’ 등)는 원점으로부터 멀리 떨어진 위치에 매핑된다. 이는 토큰이 추상도에 따라 반경이 달라지는 구형 구조를 형성한다는 의미이며, 계층적 의미망을 시각화한 것과 일맥상통한다.

다음으로, 논문은 각 입력 프롬프트에 대해 로컬 하이퍼볼리시티(δ 값)를 측정한다. δ가 작을수록 거리 삼각형이 트리 구조에 가깝다는 것을 의미하는데, 실험 결과 대부분의 프롬프트에서 δ가 0.1 이하로 관측되어 토큰 임베딩이 내재적으로 하이퍼볼릭 특성을 가진다는 강력한 증거를 제공한다. 이러한 현상은 기존 연구에서 제시된 ‘임베딩이 좁은 원뿔 형태로 수렴한다’는 주장과는 차별적으로, 하이퍼볼릭 공간이 제공하는 지수적 부피 성장 특성이 언어의 계층적 분포를 자연스럽게 포착한다는 점을 강조한다.

기존 LoRA는 유클리드 가중치를 저랭크 행렬 A·B로 분해해 파라미터 효율성을 달성하지만, 하이퍼볼릭 매니폴드에 그대로 적용하면 지수·로그 맵을 반복적으로 사용해야 하는데, 이는 서로 상쇄되는 효과를 일으켜 실제 하이퍼볼릭 구조를 보존하지 못한다. 저자들은 이 문제를 해결하기 위해, 매니폴드 자체에서 직접 저랭크 적응을 수행하는 HypLoRA를 설계한다. 구체적으로, 로렌츠 모델(Lorentz hyperboloid) 위에서 Möbius 연산을 이용해 A와 B를 정의하고, 이를 기존 가중치에 곱셈적으로 삽입한다. 이 과정에서 텐서가 접공간으로 이동하지 않으므로 하이퍼볼릭 곡률이 유지되며, 파라미터 수는 기존 LoRA와 동일하게 (d+k)·r 수준으로 억제된다.

실험에서는 LLaMA‑3‑8B, Gemma‑7B 등 다양한 베이스 모델에 HypLoRA를 적용하고, GSM8K·AQuA·MAWPS·SVAMP와 같은 산술·상식 추론 벤치마크에서 성능 향상을 입증한다. 특히, 동일한 파라미터 예산 하에서 기존 LoRA, DoRA, AdaLoRA 대비 평균 2~4% 포인트의 정확도 상승을 기록한다. 이는 하이퍼볼릭 구조가 추론 과정에서 필요한 트리‑형 논리 전파를 보다 효율적으로 지원함을 시사한다. 또한, 학습 시간과 메모리 사용량은 기존 LoRA와 거의 동일해 실용적인 적용 가능성을 보여준다.

전반적으로 이 논문은 LLM 토큰 임베딩이 내재적으로 하이퍼볼릭, 즉 트리‑형 계층 구조를 갖는다는 새로운 관점을 제시하고, 이를 직접 활용한 파인튜닝 방법을 구현함으로써 효율성과 성능을 동시에 개선한다는 점에서 의미가 크다. 향후 연구는 하이퍼볼릭 매니폴드 위에서의 전체 사전 학습, 혹은 다른 비유클리드 기하(예: 구면)와의 혼합 모델링을 탐색함으로써 더 풍부한 언어 표현을 얻을 가능성을 열어준다.