프라이버시 보호를 위한 경량 LLM 혼합 암호화

초록

GELO는 신뢰된 실행 환경(TEE)에서 매 배치마다 새로운 가역 행렬 A를 생성해 은닉 상태 H를 혼합한 뒤, 비신뢰 가속기에서 행렬 곱을 수행하도록 설계된 경량 프라이버시 보호 프로토콜이다. 혼합‑복원 과정을 통해 출력은 정확히 동일하게 유지하면서, 공격자는 단일 배치에 대한 블라인드 소스 분리 문제만 마주하게 된다. 비직교 혼합과 고에너지 “쉐드” 벡터 삽입을 통해 Gram 행렬 등 고차 통계 정보 누수를 완화한다. Llama‑2 7B 모델에 적용한 실험에서 부동소수점 정확도 유지, 20‑30% 정도의 지연만 추가, 다양한 ICA/BSS 및 앵커 기반 공격을 성공적으로 방어함을 보여준다.

상세 분석

GELO는 대규모 언어 모델(LLM) 추론 시 프라이버시 위험을 완화하기 위해 TEE와 비신뢰 가속기를 결합한 하이브리드 설계를 제안한다. 핵심 아이디어는 매 배치마다 무작위 가역 행렬 A를 TEE 내부에서 샘플링하고, 은닉 상태 행렬 H에 좌측 곱해 U=AH를 만든 뒤, 이 혼합된 데이터와 가중치 W를 비신뢰 가속기로 오프로드한다는 점이다. 가속기는 U·W를 계산해 Y를 반환하고, TEE는 A⁻¹·Y를 수행해 원래의 투영 결과 HW를 정확히 복원한다. 여기서 A가 직교 행렬이면 A⁻¹=Aᵀ가 되어 역연산 비용이 최소화되고 수치 안정성도 보장된다. 그러나 직교 혼합은 UᵀU=HᵀH 형태로 은닉 상태의 공분산 행렬을 그대로 노출시켜, 토큰 간 유사도 스펙트럼 등 고차 통계 정보를 공격자가 추출할 수 있다. 이를 해결하기 위해 두 가지 방어 기법을 제시한다. 첫 번째는 일반(비직교) 가역 행렬 A를 사용해 Gram 행렬을 마스킹하는 방법이다. 이 경우 A⁻¹를 계산해야 하므로 O(n³) 비용이 추가되지만, 조건수가 100 이하인 잘 조정된 행렬을 선택하면 수치 오차를 제한할 수 있다. 두 번째는 직교 A를 유지하면서 배치에 k개의 고에너지 “쉐드” 벡터 S를 삽입해 H_full=