“리프시츠 연속 트랜스포머의 근사 이론: 안정성을 보장하는 그라디언트 흐름 기반 설계”

📝 Abstract

Stability and robustness are critical for deploying Transformers in safety-sensitive settings. A principled way to enforce such behavior is to constrain the model’s Lipschitz constant. However, approximation-theoretic guarantees for architectures that explicitly preserve Lipschitz continuity have yet to be established. In this work, we bridge this gap by introducing a class of gradient-descent-type in-context Transformers that are Lipschitz-continuous by construction. We realize both MLP and attention blocks as explicit Euler steps of negative gradient flows, ensuring inherent stability without sacrificing expressivity. We prove a universal approximation theorem for this class within a Lipschitz-constrained function space. Crucially, our analysis adopts a measure-theoretic formalism, interpreting Transformers as operators on probability measures, to yield approximation guarantees independent of token count. These results provide a rigorous theoretical foundation for the design of robust, Lipschitz continuous Transformer architectures.

💡 Analysis

**

1. 연구 배경 및 동기

• 안정성·견고성 문제: 기존 트랜스포머는 점곱 어텐션과 잔차 연결 때문에 전역적인 리프시츠 상수가 무한대가 되기 쉬우며, 이는 적대적 공격 및 훈련 불안정성의 주요 원인으로 지적돼 왔다.
• 리프시츠 제어의 난이도: 리프시츠 상수 계산이 NP‑hard임을 감안하면, 구조적 설계(스펙트럼 정규화, 어텐션 변형, 잔차 가중치 조절 등)로 제한을 두는 것이 일반적이다.
• 1‑Lipschitz의 중요성: Wasserstein‑1 거리와 고정점 수렴 분석 등에 자연스럽게 등장하며, L‑Lipschitz 함수는 1‑Lipschitz 함수의 스케일링으로 표현 가능하므로 표준화된 분석 틀을 제공한다.

2. 핵심 아이디어

📄 Content

변환기(Transformer)와 1‑Lipschitz 제어에 관한 이론적 고찰

Transformers는 현대 머신러닝의 최전선에 서 있지만, 적대적 예제에 취약하고(Gupta & Verma, 2023; Xu et al., 2023), 학습이 불안정할 수 있다(Liu et al., 2020; Davis et al., 2021; Qi et al., 2023). 이러한 문제에 대한 수학적으로 타당한 해결책은 입력‑출력 매핑의 Lipschitz 상수를 제어하는 것이다.

1. Transformers에서 Lipschitz 제어의 어려움

표준 self‑attention은 선형 투영의 내적을 무한히 크게 만들 수 있기 때문에 전역적으로 Lipschitz 연속이 아니다(Kim et al., 2021). 잔차 연결(residual connections) 역시 그 Lipschitz 상수에 대한 엄밀한 경계를 제공하지 못한다(Xu et al., 2023; Li et al., 2023). 매핑의 Lipschitz 상수를 정확히 계산하는 문제는 NP‑hard임이 알려져 있다(Virmaux & Scaman, 2018). 따라서 실제 연구에서는 새로운 아키텍처를 설계하고 제약을 가함으로써 Lipschitz 제어를 달성한다. 기존 방법들은 주로 스펙트럼 정규화, self‑attention 층의 변형, 그리고 잔차 층의 가중치 재조정에 의존한다.

2. 왜 1‑Lipschitz인가?

다양한 Lipschitz 제약 중에서도 1‑Lipschitz 경우는 특히 자연스럽다(Sherry et al., 2024; Murari et al., 2025; Prach et al., 2023; Béthune et al., 2022; Hasannasab et al., 2019; Xu et al., 2023; Anil et al., 2019; Anonymous, 2026).

1. 모델링 요구: 1‑Lipschitz 함수 클래스는 Wasserstein‑1 거리의 비판자(critic)로 사용될 수 있다(Arjovsky et al., 2017). 또한 고정점 반복(fixed‑point iteration)에서 수축 맵(contraction map)을 보장하기 위한 최소 조건이다.
2. 정규화 역할: 임의의 L‑Lipschitz 함수는 1‑Lipschitz 함수에 단순히 스케일링을 적용하면 표현할 수 있다(Béthune et al., 2022). 따라서 1‑Lipschitz성을 강제하면 민감도에 대한 표준 스케일을 고정하면서도 근본적인 근사 문제를 동일한 함수 클래스 안에서 다룰 수 있다.

3. In‑context 학습과 Lipschitz 연속성

Transformer는 in‑context 매핑으로 볼 수 있다. 즉, 하나의 **컨텍스트(context)**와 하나의 쿼리(query) 토큰을 입력받아 두 입력 모두에 의존하는 출력을 만든다.

• 쿼리‑대‑출력 1‑Lipschitz: 고정된 컨텍스트에 대해 쿼리와 출력 사이의 매핑이 1‑Lipschitz이면, 쿼리 변화에 대해 비팽창성(non‑expansiveness)이 보장된다. 이는 수렴 보장이 필요한 학습된 고정점 스킴에 유용하다(Hasannasab et al., 2019; Sherry et al., 2024).
• 컨텍스트‑대‑출력 Lipschitz: 컨텍스트가 바뀌면 쿼리‑출력 변환 자체가 바뀌므로, 고정된 쿼리에 대해 컨텍스트에 대한 Lipschitz 연속성을 추가로 요구한다. 본 논문에서는 컨텍스트를 확률 측도(probability measure) 로 모델링하고, Wasserstein‑1 거리에 대한 Lipschitz 연속성으로 그 영향을 제어한다.

4. 주요 기여

1. 1‑Lipschitz in‑context Transformer 설계

   • 고정된 컨텍스트에 대해 쿼리‑출력 매핑이 1‑Lipschitz임을 수학적으로 증명한다.
   • 컨텍스트 길이에 무관하게 1‑Lipschitz 상수가 유지되며, 컨텍스트를 일반적인 측도로 확장한다.

2. 보편적 근사 정리(Universal Approximation Theorem)

   • 제안된 모델이 compact 영역 위의 모든 1‑Lipschitz in‑context 매핑을 근사할 수 있음을 증명한다.
   • 이는 기존에 Lipschitz‑제한 네트워크의 근사성을 다룬 연구와 달리, in‑context라는 새로운 설정을 포함한다.

3. 측도‑이론적(in‑measure‑theoretic) 프레임워크

   • 컨텍스트를 확률 측도로 취급함으로써 토큰 수에 독립적인 근사 보장을 제공한다.
   • 핵심 도구는 제한된 Stone‑Weierstrass 정리(Restricted Stone‑Weierstrass Theorem) 를 변형한 것으로, 두 변수(측도와 쿼리)를 동시에 다룰 수 있다.

5. 관련 연구 개관

5.1 Lipschitz‑제한 신경망

Lipschitz 제어는 안정성, 견고성, 정규화의 원칙적인 메커니즘으로 널리 연구돼 왔다. 일반적인 방법은 선형 층의 연산자 노름을 학습 중에 제한하는 것이며(Miyato et al., 2018; Gouk et al., 2021; Bungert et al., 2021; Trockman & Kolter, 2021), 혹은 구조적으로 비팽창성을 보장하도록 설계한다(Cisse et al., 2017; Sherry et al., 2024; Meunier et al., 2021).
최근에는 1‑Lipschitz feed‑forward 네트워크(Anil et al., 2019; Neumayer et al., 2023)와 1‑Lipschitz ResNet(Murari et al., 2025)의 근사 특성을 분석한 논문이 늘어나고 있다. 본 연구는 이들 결과를 컨텍스트 측도를 포함하도록 확장한다.

5.2 Lipschitz‑제한 Transformer

표준 dot‑product self‑attention은 무한 도메인에서 전역 Lipschitz 연속이 아니므로, 기존 연구는 이를 Lipschitz‑제어 가능한 변형으로 교체하거나 정규화 방식을 바꾸는 접근을 취한다(Kim et al., 2021; Xu et al., 2023; Qi et al., 2023). 또한 잔차(branch) 가중치를 재조정해 깊이에 따른 민감도 증가를 억제한다(Qi et al., 2023; Newhouse et al., 2025).
특히 (Anonymous, 2026)에서는 convex gradient flow 를 이용해 1‑Lipschitz self‑attention 층을 구성했는데, 본 논문은 proximal map 대신 명시적 층을 사용한다는 점에서 차별화된다.

5.3 Transformer의 표현력(Expressivity)

(Yun et al., 2020)은 충분한 깊이와 폭을 가진 Transformer가 연속적인 permutation‑equivariant 시퀀스‑투‑시퀀스 함수들을 보편적으로 근사할 수 있음을 보였다. 이후 연구는 positional encoding, attention head 수 등이 형식 언어 인식에 미치는 영향을 정밀히 분석했다(Bhattamishra et al., 2020).
컴퓨팅 관점에서는 hard attention을 갖는 Transformer가 튜링 완전(Turing‑complete) 하다는 결과도 있다(Pérez et al., 2021).

5.4 In‑context 학습 이론

최근에는 Transformer가 in‑context learning을 수행한다는 것이 밝혀졌다. Akyürek et al. (2023)와 von Oswald et al. (2023)은 Transformer가 gradient‑descent‑type 업데이트를 내부적으로 구현할 수 있음을 보였으며, Furuya et al. (2025)는 측도‑이론적 접근을 통해 토큰 수와 무관한 보편적 근사율을 증명했다.

6. 수학적 정의와 주요 정리

6.1 기본 표기

• (|x|{2}= \sqrt{\sum{i=1}^{d}x_{i}^{2}}) : (x\in\mathbb{R}^{d}) 의 Euclidean norm
• (|A|{2}= \lambda{\max}(A^{\top}A)) : (A\in\mathbb{R}^{r\times s}) 의 스펙트럼 norm
• (P(\Omega)) : (\Omega\subset\mathbb{R}^{d}) 위의 확률 측도 공간
• (W_{p}) : (1\le p<\infty) 에 대해 정의되는 Wasserstein 거리

6.2 Gradient‑descent‑type MLP

[ F_{\xi}(x)=x-\tau,\nabla g(x),\qquad g(x)=\mathbf{1}^{\top}\gamma(Wx+b), ] 여기서 (\xi=(W,b,\tau)), (\gamma’=\sigma) (본 논문에서는 (\sigma=\text{ReLU}) 로 고정)이며, (\mathbf{1}\in\mathbb{R}^{k}) 은 전부 1인 벡터이다.

Lemma 1 (Sherry et al., 2024) : (\tau\in[0,2/|W|{2}^{2}])이면 (F{\xi})는 1‑Lipschitz이다.

6.3 Gradient‑descent‑type In‑context Attention

표준 single‑head attention을 [ \Gamma_{\theta}(\mu)(x)=x-\eta,\nabla_{x}\lambda_{\mu}(x),\qquad \lambda_{\mu}(x)=\log\int_{\Omega}e^{\langle x,Ay\rangle},d\mu(y) ] 와 같이 정의한다. 여기서 (\theta=(A,\e

이 글은 AI가 자동 번역 및 요약한 내용입니다.