행렬 기반 LLM 가중치 동형성 탐지와 재구성

초록

본 논문은 모델 가중치만을 이용해 대규모 언어 모델 간의 동형성을 판별하고, 통계적 p‑값으로 유의성을 검증하는 Matrix‑Driven Identification and Reconstruction (MDIR) 방법을 제안한다. SVD·극분해·대편차 이론을 결합해 임베딩 행렬의 정규 직교 관계를 추정하고, 허위 매칭을 허용하지 않는 Hungarian 알고리즘으로 순열을 복원한다. 실험에서는 LeaFBench 벤치마크에서 AUC·정확도 모두 100%를 달성하며, 기존 방법 대비 추론 없이 가중치만으로도 높은 탐지 성능을 보인다.

상세 분석

MDIR은 “가중치 동형성”이라는 이진 판별 문제를 통계적 가설 검정 형태로 재구성한다. 두 모델 A와 B의 임베딩 행렬 E, E′에 대해 먼저 E′ᵀE 의 극분해를 수행해 정규 직교 행렬 \tilde U 를 얻는다. 이때 \tilde U 는 실제 변환 U (순열·스케일·회전)의 근사치이며, 허용 가능한 변환군 G 을 정의함으로써 “동형성”을 G‑불변성으로 해석한다. 허용 가능한 변환군은 주로 임베딩 차원에서의 직교군 O(d) 이며, 이는 대규모 변환군이므로 대편차 이론(Large Deviation Theory)을 적용해 \operatorname{tr}(\tilde U) 에 기반한 확률 지수를 구한다. 트레이스가  d 에 가까울수록(즉, \tilde U ≈ I) 무작위 변환이 발생할 확률이 지수적으로 작아져 p‑값이 매우 낮아진다.

MDIR은 이 p‑값을 임계값 p₀ 과 비교해 동형성을 최종 판단한다. 동형성이 확인되면, Hungarian 알고리즘을 이용해 \tilde U 와 가장 높은 트레이스 값을 갖는 순열 P 를 찾고, 이를 실제 변환 U 의 추정치로 채택한다. 이 과정은 임베딩 외에도 각 레이어의 가중치에 대해 반복 적용 가능하므로, 전체 모델 구조에 대한 매핑을 재구성할 수 있다.

기술적 강점은 다음과 같다. 첫째, 모델 추론을 전혀 필요로 하지 않으므로 저사양 디바이스에서도 적용 가능하다. 둘째, 정규 직교 관계와 대편차 이론을 결합해 엄격한 통계적 유의성을 제공한다는 점에서 기존의 “유사도 점수” 기반 방법보다 해석 가능성이 높다. 셋째, 순열 복원을 위한 Hungarian 알고리즘은 전역 최적을 보장하므로, 변환이 순열 형태일 때 정확한 매핑을 얻는다.

하지만 몇 가지 한계도 존재한다. 변환군 G 을 직교·순열·스케일에 국한했기 때문에, 비선형 변환(예: 가중치 재정규화, 비정규화된 스케일링)이나 복합적인 구조 변형을 탐지하기 어렵다. 또한 \tilde U 가 순열에 가까운 경우에만 정확한 매핑을 복원할 수 있으며, 노이즈가 큰 경우(예: 훈련 후 강도 높은 프루닝·양자화)에는 트레이스가 급격히 감소해 p‑값이 부정확해질 위험이 있다. 실험에서는 대부분의 모델이 “내부 변환이 항등”이라는 가정 하에 수행되었으나, 실제 산업 현장에서는 다양한 커스텀 레이어가 존재할 수 있다. 마지막으로, LeaFBench에서 100% AUC를 기록했지만, 해당 벤치마크가 제한된 모델군(주로 동일 아키텍처·동일 토크나이저)으로 구성돼 있어 일반화 가능성을 추가 실험으로 검증해야 한다.

요약하면, MDIR은 행렬 분석과 대편차 이론을 결합해 LLM 가중치 동형성을 통계적으로 검증하고, 순열 복원을 통해 변환 매핑을 제공하는 새로운 백박스‑화이트박스 혼합 접근법이다. 이론적 근거가 탄탄하고 실험 결과가 인상적이지만, 변환군의 제한성과 노이즈 민감도는 향후 연구에서 보완될 필요가 있다.