프라이버시 보호 트랜스포머 추론의 핵심: 선형 대수 커널의 네트워크 및 컴파일러 최적화

초록

본 연구는 완전 동형 암호화(FHE) 환경에서 프라이버시를 보호하는 트랜스포머 모델 추론의 성능을 향상시키기 위한 방안을 탐구합니다. Orion 프레임워크를 활용해 선형 변환 커널을 구현 및 벤치마킹한 결과, Baby-Step Giant-Step(BSGS) 방식이 기존 행 패킹 방식보다 최대 13.7배 빠른 것으로 나타났습니다. 또한 네트워크 수준의 가지치기 기법을 적용해 피드포워드 레이어의 실행 시간을 최대 11.46배 단축하고, 자기 주의 메커니즘의 핵심인 암호문-암호문 행렬 곱셈을 지원하도록 Orion을 확장했습니다. 루프라인 분석을 통해 FHE 기반 연산이 심각한 메모리 병목 현상을 겪고 있음을 확인하며, CKKS 스킴 내에서 새로운 인코딩 방식과 계산 모델 탐구의 필요성을 제시합니다.

상세 분석

이 논문은 프라이버시 보호 기계 학습의 실용화를 가로막는 핵심 과제인 FHE의 극복 가능한 비효율성에 대해 체계적으로 접근합니다. 기술적 통찰의 첫 번째는 선형 변환(행렬-벡터 곱) 알고리즘 선택이 FHE 성능에 미치는 막대한 영향입니다. 저자들은 행(또는 열) 기반 방식과 대각선 기반의 BSGS 방식을 비교합니다. 행 기반 방식은 직관적이지만 O(n log n) 회전이 필요하고 2개의 곱셈 레벨을 소모합니다. 반면, BSGS 방식은 O(√n) 회전으로 복잡도를 낮추고 1개의 레벨만 소모합니다. 트랜스포머 규모의 행렬에서 BSGS가 최대 13.7배 우수한 성능을 보인다는 실험 결과는, FHE 프로그래밍에서 알고리즘의 근본적인 재설계가 얼마나 중요한지를 보여줍니다.

두 번째 주요 통찰은 네트워크 아키텍처 자체의 최적화가 FHE 비용을 상쇄할 수 있다는 점입니다. 피드포워드 네트워크 내부의 GeLU와 같은 비선형 활성화 함수는 FHE에서 평가하기 매우 복잡하고 부트스트래핑을 유발합니다. 저자들은 이 활성화 함수를 제거(프루닝)하는 단순한 네트워크 수정이 FHE 런타임을 최대 11.46배 줄일 수 있음을 보입니다. 이는 정확도 손실과 프라이버시/효율성 간의 트레이드오프를 실증적으로 제시하며, FHE 친화적인 모델 아키텍처 설계의 중요성을 강조합니다.

마지막으로, 루프라인 분석을 통한 근본적인 병목 지점 규명은 연구의 방향성을 제시합니다. SIMD 인코딩된 FHE 기본 연산의 산술 강도가 약 0.1 Ops/Byte로 극도로 낮아 메모리 대역폭에 완전히 종속됨을 확인했습니다. 이는 FHE 가속에 대한 기존의 컴퓨이트 중심 접근이 한계가 있음을 의미하며, 메모리 접근 패턴을 최적화하거나 SIMD 슬롯을 더 효율적으로 활용하는 새로운 인코딩 체계(예: 스파스 인코딩, 블록 인코딩)에 대한 연구가 필수적임을 시사합니다. 결론적으로, 이 논문은 FHE의 실용화를 위해 컴파일러 최적화(BSGS 알고리즘), 네트워크 최적화(프루닝), 그리고 근본적인 인코딩 및 하드웨어 모델 재고라는 세 가지 층위의 접근이 필요함을 설득력 있게 증명합니다.