하이퍼볼릭 그래프 기반 모델 편집 프레임워크 HYPE

초록

본 논문은 대형 언어 모델의 사실 오류와 지식 노후화를 해결하기 위해, 하이퍼볼릭 공간에 지식 그래프를 매핑하고 Möbius 연산을 이용한 파라미터 업데이트와 이중 안정화 기법을 결합한 HYPE 프레임워크를 제안한다. CounterFact·CounterFact+·MQuAKE 데이터셋에서 GPT‑J와 GPT2‑XL에 적용한 결과, 편집 정확도·일반화·다중 홉 추론 모두 기존 방법을 크게 능가한다.

상세 분석

HYPE는 기존 모델 편집 기법이 갖는 “평면적” 파라미터 조정의 한계를 하이퍼볼릭 기하학을 도입함으로써 근본적으로 극복한다. 첫 번째 단계인 Hyperbolic Graph Construction에서는 위키데이터 삼중항을 Poincaré ball에 임베딩해 계층적 관계를 자연스럽게 보존한다. 이때 Euclidean GNN으로 초기 특징을 추출한 뒤, exponential map을 통해 곡률 c (논문에서는 c=1.0) 로 조정된 하이퍼볼릭 공간으로 투사한다. 이렇게 얻어진 노드·엣지 임베딩은 계층 구조가 멀리 떨어진 자식 노드와 가까운 부모 노드 사이에 비선형 거리 차이를 부여해, 편집 시 부모 개념만을 선택적으로 수정할 수 있게 만든다.

두 번째 핵심인 Möbius‑Transformed Updates는 파라미터 Δ를 단순한 벡터 덧셈이 아니라 Möbius addition (w\oplus_c\Delta) 로 적용한다. 이 연산은 Poincaré ball 내부에서 닫혀 있어 업데이트 후에도 파라미터가 곡률 제약을 위반하지 않는다. Δ는 기존 Rank‑1 업데이트 방식(좌·우 벡터 u, v의 외적)에서 파생되며, 평균 그래디언트 크기를 기반으로 sigmoid 마스크 m을 곱해 중요도가 낮은 변화는 억제한다. 결과적으로 편집이 필요한 파라미터에만 집중되고, 불필요한 파라미터 변동이 최소화된다.

세 번째 단계인 Dual Stabilization은 두 가지 보조 메커니즘으로 구성된다. 첫째, 하이퍼볼릭 Projection proj(w) 을 통해 Möbius 업데이트 후 파라미터를 Poincaré ball의 유효 영역(‖w‖ ≤ 1/√c) 안으로 강제 수렴시킨다. 이는 수치적 불안정을 방지하고, 편집이 모델 전체 구조에 미치는 부작용을 억제한다. 둘째, GNN Reset 전략은 매 편집 사이클마다 그래프 신경망 파라미터를 초기값 θ⁰_gnn 으로 되돌린다. 이렇게 하면 특정 편집에 과도하게 적응한 GNN이 누적되어 발생할 수 있는 “편집 기억 상실”을 방지하고, 장기적인 지식 보존을 유지한다.

실험에서는 CounterFact, CounterFact+, MQuAKE 세 벤치마크를 사용해 두 가지 LLM(GPT‑J, GPT2‑XL)에서 편집 효율(Efficiency), 일반화(Generalization), 다중 홉 추론 능력 등을 평가했다. HYPE는 기존 ROME, MEMIT, MEND 등과 비교해 Edit Quality Score(E​DS)를 평균 +9.12 포인트, 효율성을 +3.59 포인트 향상시켰다. 특히 계층적 개념(예: “동물 → 포유류 → 고래”)을 수정할 때, 부모 개념만 바뀌고 자식 개념은 그대로 유지되는 현상이 눈에 띄게 개선되었다. 또한, gradient masking과 GNN reset 덕분에 편집 후 모델이 이전에 학습한 사실을 잃는 catastrophic forgetting 현상이 현저히 감소하였다.

이 논문은 하이퍼볼릭 공간이 제공하는 자연스러운 계층 표현과 Möbius 연산의 기하학적 일관성을 모델 편집에 적용함으로써, 파라미터 수준의 미세 조정이 전체 지식 구조에 미치는 영향을 정량적으로 제어할 수 있음을 입증한다. 향후 연구에서는 동적 곡률 학습, 대규모 외부 메모리와의 연동, 그리고 멀티모달 모델에 대한 확장 가능성을 탐색할 여지가 있다.