교환가능 텐서와 행렬 데이터의 농축 부등식

초록

본 논문은 교환가능성을 갖는 텐서와 행렬값 데이터에 대한 Hoeffding·Bernstein 형태의 농축 부등식을 제시한다. 모드‑교환가능 텐서 내 가중합, 그리고 교환가능한 행렬 시퀀스의 합에 대해 차원·구조에 의존하는 최적 상수를 얻으며, 기존 Chatterjee의 교환쌍 방법보다 더 강력한 경계식을 제공한다. 이론적 결과를 다중요인 평균효과 추정과 고정 설계 스케치 기반 연합 학습에 적용하고, 실험을 통해 예측 정확성을 확인한다.

상세 분석

논문은 두 가지 주요 모델을 설정한다. 첫 번째는 K‑모드 텐서 (W)와 교환가능한 무작위 텐서 (X) 사이의 내적 (Z=\langle W,X\rangle)이며, 여기서 교환가능성은 각 모드별로 모든 인덱스에 대한 동등한 분포를 의미한다. 두 번째는 고정된 행렬 가중치 ({W_k}{k=1}^N)와 교환가능한 행렬 시퀀스 ({X_k}{k=1}^N)의 합 (Z=\sum_{k=1}^N W_k X_k)이다. 두 경우 모두 (X)의 원소는 (