암호화된 딥러닝을 위한 2P DNN 동형암호 기반 프라이버시 보호 신경망

초록

본 논문은 Paillier 부분동형암호를 이용해 사용자의 데이터를 암호화한 상태에서 LeNet‑5 기반 딥러닝 모델을 실행할 수 있는 2P‑DNN 프레임워크를 제안한다. 암호화된 MNIST 이미지에 대해 97% 이상(최대 99%)의 정확도를 달성했으며, 기존 FHE‑DiNN 대비 입력 범위 제한이 없고 정확도가 높다.

상세 분석

2P‑DNN은 현재 MLaaS 환경에서 발생하는 개인정보 유출 위험을 해결하기 위해 설계되었다. 핵심 아이디어는 Paillier 암호가 제공하는 덧셈 및 스칼라 곱 동형성을 활용해 신경망의 선형 연산(가중치·편향·컨볼루션)을 암호문 상에서 그대로 수행하는 것이다. 이를 위해 저자들은 가중치와 편향을 정수화하고, 부호를 표현하기 위해 암호문 공간을 양·음 두 구역으로 나누는 방식을 도입하였다. 이러한 정수화 과정에서 발생하는 정밀도 손실을 최소화하기 위해 확대 계수를 곱하는 전처리를 적용했으며, 실험 결과 정밀도 손실이 0.3% 이하에 머물렀다.

활성 함수인 ReLU는 단순히 양·음 판별만 필요하므로, 서버는 암호화된 중간값을 클라이언트에게 전송하고, 클라이언트는 복호화 후 부호만 반환한다. 이 “서버‑클라이언트 상호작용”은 추가 통신 비용을 발생시키지만, 복잡한 비선형 연산을 완전 동형암호(FHE)로 구현하는 것보다 훨씬 효율적이다. 다만, ReLU 외의 함수(예: Sigmoid, Softmax)에는 현재 적용이 어려워 실제 서비스에서 다중 클래스 확률 출력이 필요한 경우 추가 설계가 요구된다.

컨볼루션 연산은 Paillier의 덧셈 동형성을 이용해 각 필터 가중치와 입력 픽셀의 곱을 스칼라 곱 형태로 구현한다. 풀링은 평균 풀링을 선택했는데, 이는 암호문 간 비교가 어려운 Max‑Pooling을 회피하기 위한 실용적 선택이다. 평균 풀링은 정확도에 큰 영향을 주지 않았으며, 실험에서 3×3, 5×5 다양한 커널 크기와 32~64개의 필터 조합에서도 98.6%~99.0%의 정확도를 유지했다.

성능 측면에서 2P‑DNN은 기존 CryptoNets와 유사한 정확도를 보이면서도 입력값 범위 제한이 없다는 장점을 가진다. 특히, FHE‑DiNN이 {‑1,1} 이진 입력에만 적용 가능한 반면, 2P‑DNN은 실수형 이미지 데이터를 그대로 정수화해 사용할 수 있어 MNIST, CIFAR‑10, Iris, Wine 등 다양한 데이터셋에 적용 가능함을 표 2에서 확인한다.

하지만 몇 가지 한계도 존재한다. 첫째, Paillier는 부분동형암호이므로 곱셈 연산이 직접 지원되지 않아 모든 비선형 연산을 클라이언트와의 인터랙션으로 처리해야 한다. 이는 지연(latency)과 통신 비용을 증가시킨다. 둘째, 가중치와 편향을 정수화하는 과정에서 스케일링 팩터 선택이 모델마다 달라야 하며, 부동소수점 연산을 그대로 유지하려면 추가적인 정밀도 보정이 필요하다. 셋째, 현재 구현은 GPU 가속을 활용하지 못하고 CPU 기반 파이썬 라이브러리(Phe1.3.1) 위에서 동작하므로 대규모 모델(ResNet, Transformer 등)에는 확장성이 제한적이다.

전반적으로 2P‑DNN은 실용적인 프라이버시 보호 딥러닝 서비스 구현을 위한 중요한 단계이며, 특히 클라우드 기반 서비스 제공자가 사용자의 민감 데이터를 암호화된 형태로 그대로 처리하고자 할 때 유용한 설계이다. 향후 연구에서는 ReLU 외의 비선형 함수에 대한 동형암호 기반 구현, 통신 비용 최소화를 위한 프로토콜 최적화, 그리고 GPU 가속을 통한 대규모 모델 적용 가능성을 탐색할 필요가 있다.