모델 탐색을 위한 저차원 임베딩 LOCUS

초록

LOCUS는 쿼리와 정답 점수를 이용해 대규모 언어 모델들의 능력을 저차원 벡터로 압축한다. 주의(attention) 기반 인코더를 통해 평가 데이터를 한 번의 순전파만으로 임베딩을 생성하며, 새로운 모델 추가 시 재학습이 필요하지 않다. 또한 모델 임베딩과 쿼리 인코딩을 결합한 정확도 예측기를 학습해 보이지 않는 쿼리에 대한 라우팅 정확도를 크게 향상시킨다. 실험 결과, 기존 방법 대비 4.8배 적은 평가 샘플로도 견고하고 의미 있는 임베딩을 얻으며, 임베딩 공간의 거리와 모델 유사도가 잘 맞물려 모델 비교·클러스터링·포트폴리오 선택 등에 활용할 수 있다.

상세 분석

LOCUS는 기존의 파라미터 기반 임베딩(예: EmbedLLM, IRT‑Net)과 비파라미터 기반 방법(예: LLM‑DNA)의 장점을 결합한 새로운 프레임워크이다. 핵심 아이디어는 “쿼리‑점수 쌍을 토큰화하고, 토큰들에 양방향 어텐션을 적용해 모델 전체를 요약하는 임베딩을 만든다”는 점이다. 구체적으로, 각 쿼리 x는 사전 학습된 문장 인코더 ϕ(x) 로 변환되고, 정답 여부 y(m)(x)와 함께 MLP hω에 입력돼 d 차원의 토큰 t_i^(m) 로 변환된다. 이렇게 만든 토큰 행렬 X^(0)_m 은 위치 인코딩 없이 다중 헤드 어텐션 블록에 투입된다. 어텐션 연산은 토큰 순서에 무관하도록 설계돼, 입력 순서를 섞어도 동일한 임베딩이 생성된다.

계산 효율성을 위해 LOCUS는 “잠재 bottleneck” 구조를 도입한다. r(≪n_m)개의 학습 가능한 잠재 벡터 U^(ℓ) 를 각 레이어에 삽입해, 토큰‑잠재‑토큰 순환을 수행함으로써 O(n_m·r) 복잡도로 어텐션을 축소한다. 이는 수천 개의 평가 쿼리를 가진 모델에서도 메모리와 시간 비용을 크게 낮춘다.

마지막 단계에서는 학습 가능한 “쿼리” s 가 모든 토큰에 어텐션을 수행해 단일 벡터 z_m 을 추출한다. 이 과정은 토큰 수에 따라 가변적이지만, 출력 차원은 고정돼 모델 간 비교가 용이하다.

예측기 Gψ는 모델 임베딩 z_m 과 새로운 쿼리 인코딩 ϕ(x) 를 입력받아 MLP을 통해 정답 확률을 출력한다. 전체 시스템은 모델‑쿼리 평가 데이터셋을 이용해 공동 학습되며, 손실은 실제 정답 라벨과 예측 확률 사이의 BCE(이진 교차 엔트로피)로 정의된다.

실험에서는 300여 개의 공개 LLM과 여러 도메인 별 쿼리 세트를 사용해, 동일한 평가 샘플 수에서 기존 방법보다 높은 라우팅 정확도를 달성했다. 특히 2.3~4.8배 적은 샘플로도 성능 저하가 거의 없었으며, 임베딩 공간에서 거리와 모델 간 성능 차이가 강하게 상관함을 시각화했다.

LOCUS의 주요 강점은 (1) 블랙박스 호환성 – 모델 내부 파라미터나 로그잇에 접근할 필요 없이 API 호출만으로 임베딩 생성, (2) 평가 쿼리의 가변성 허용 – 모든 모델이 동일한 쿼리 집합을 필요로 하지 않음, (3) 샘플 효율성 – 소수의 평가만으로도 의미 있는 임베딩 확보, (4) 재학습 없는 온보딩 – 새로운 모델을 추가해도 기존 임베딩을 그대로 유지, (5) 기하학적 의미 – 임베딩 거리와 실제 모델 유사도가 일치, (6) downstream task 지원 – 클러스터링, 포트폴리오 최적화, 모델 대체 프록시 등.

한계점으로는 토큰화 MLP hω 와 어텐션 레이어가 사전 학습된 문장 인코더에 의존한다는 점, 그리고 평가 점수가 이진 정확도에 국한될 경우 미세한 성능 차이를 포착하기 어려울 수 있다는 점을 들 수 있다. 향후 연구에서는 다중 스코어(예: 신뢰도, 실행 시간) 통합, 더 복잡한 쿼리 유형(코드, 멀티턴 대화) 처리, 그리고 임베딩을 활용한 자동 모델 버전 관리 등에 확장할 여지가 있다.