신경망 텐서화로 프라이버시와 해석성 강화

초록

본 논문은 블랙박스 신경망을 텐서 트레인(MPS/TT) 형태로 변환하는 TT‑RSS 알고리즘을 제안한다. 샘플링 기반 스케치와 교차 보간을 결합해 적은 평가 횟수로 고차원 함수를 저랭크 텐서로 근사한다. 변환된 텐서 모델은 파라미터에 학습 데이터의 특성이 남지 않아 프라이버시 보호가 가능하고, 각 코어 텐서가 지역 상관관계를 직접 드러내므로 해석성을 제공한다. 또한 초기화와 모델 압축에서도 기존 방법보다 메모리·시간 효율이 우수함을 실험을 통해 입증한다.

상세 분석

본 연구는 신경망을 단일 텐서 트레인(TT, MPS) 형태로 변환하는 새로운 알고리즘 TT‑RSS(Tensor Train via Recursive Sketching from Samples)를 제안한다. 기존의 TT‑CI(cross interpolation)와 스케치 기반 방법은 각각 피벗 선택과 고차원 행렬‑벡터 곱에서 계산 복잡도가 급증하는 한계를 가지고 있었다. TT‑RSS는 (1) 훈련 데이터 집합을 도메인 정의 샘플로 활용해 함수 값을 블랙박스 방식으로만 호출하고, (2) 각 차원에 대해 무작위 가우시안 스케치를 적용해 열·행 공간을 효율적으로 추정한다. 이후 maxvol 기반 피벗 정제를 최소화하고, 재귀적 스위프를 통해 코어 텐서를 순차적으로 업데이트한다. 이 과정은 O(d·r³·log N) 수준의 시간 복잡도를 유지하면서도, 샘플 수가 전체 그리드의 로그에 비례하기 때문에 고차원(수백 차원) 문제에 실용적이다.

프라이버시 측면에서는 신경망 파라미터에 학습 데이터의 통계적 패턴이 남아 있어 역공학 공격이 가능하다는 점을 지적한다. TT‑RSS로 변환된 텐서는 동일한 함수 값을 재현하지만, 텐서 코어는 독립적인 선형 변환으로 구성되어 있어 원본 파라미터와 직접적인 연관성을 끊는다. 실험에서는 음성 데이터(성별·억양) 분류 모델에 대해 변환 전후 파라미터를 분석해, 변환 후에는 억양 특성이 파라미터에 남지 않음을 확인하였다.

해석성에서는 텐서 코어가 지역적인 상관관계와 엔탱글먼트 구조를 명시적으로 표현한다는 점을 활용한다. 논문은 AKLT 양자 스핀 체인의 정확한 MPS를 제한된 스핀 구성 샘플만으로 재구성하고, 로컬 텐서에서 직접 대칭 보호 위상(order parameter)을 계산함으로써 물리적 해석이 가능함을 보였다. 이는 신경망 기반 양자 상태 추정(NNQS)에도 확장 가능함을 시사한다.

초기화와 압축에서도 TT‑RSS는 장점이 있다. 기존 신경망을 층별로 저랭크 분해하는 방법은 각 층마다 별도 초기화가 필요하고, 전체 모델을 하나의 TT로 묶을 때 발생하는 랭크 불균형 문제를 해결하지 못한다. TT‑RSS는 전체 함수에 대한 전역 스케치를 수행하므로, 초기 코어 텐서는 데이터 분포를 반영한 좋은 초기값을 제공한다. 압축 실험에서는 ResNet‑18을 TT 형태로 변환했을 때, 파라미터 수를 70 % 감소시키면서도 정확도 손실이 1 % 이하에 머물렀으며, 추론 시간도 동일하거나 약간 개선되었다.

전체적으로 TT‑RSS는 (i) 샘플 효율적인 고차원 함수 근사, (ii) 파라미터 프라이버시 차단, (iii) 텐서 코어를 통한 물리·통계적 해석, (iv) 초기화와 압축에서의 효율성이라는 네 가지 핵심 기여를 제공한다.