효율적인 동형암호를 위한 MGF 기반 소프트맥스 재구성

초록

본 논문은 동형암호 환경에서 변환기 모델의 핵심 연산인 소프트맥스를 효율적으로 계산하기 위해, 분포의 모멘트 생성 함수를 이용한 MGF‑softmax를 제안한다. 기존의 지수와 나눗셈 연산을 다항식 근사로 구현하던 방식과 달리, MGF‑softmax는 최대값 뺄셈과 나눗셈을 제거하고 입력 통계량(평균·분산 등) 기반의 데이터‑적응적 시프트만을 사용한다. 이를 통해 곱셈 깊이가 크게 감소하고 부트스트래핑 필요성이 낮아지며, 실험에서는 이미지 변환기와 대형 언어 모델에서 정확도 손실이 1% 이하로 유지되면서 연산 비용이 크게 절감되는 것을 확인하였다.

상세 분석

MGF‑softmax는 소프트맥스 분모인 Σexp(x_i)를 확률 변수 X의 모멘트 생성 함수 M_X(1)=E