PL conditions do not guarantee convergence of gradient descent-ascent dynamics

📝 Abstract

**
이 논문은 두 변수 (x)와 (y)에 대해 정의된 함수 (f(x,y))가 양쪽 Polyak‑Łojasiewicz (PL) 조건을 만족함에도 불구하고, gradient descent‑ascent (GDA) 연속 흐름이 해당 함수의 안장점(saddle point)으로 수렴하지 않고 주기적인 궤도를 그리며 회전한다는 반례를 제시한다. 저자는 원점에 유일한 임계점이 존재하고, 전역적으로는 PL 상수 (C<\infty)가 존재하지만, 초기값을 적절히 선택하면 흐름이 영점 주위에서 영구적으로 순환한다는 사실을 증명한다. 또한, 같은 PL 조건이 지역에서는 안장점으로의 수렴을 보장한다는 기존 결과를 재확인한다.

💡 Deep Analysis

1. 연구 배경 및 동기

PL 조건은 비볼록 함수에서도 선형 수렴을 보장하는 강력한 도구로, 최적화 이론에서 널리 활용된다.
미니맥스(min‑max) 문제와 GAN 등에서 등장하는 안장점 찾기는 gradient descent‑ascent (GDA) 로 접근한다.
기존 연구는 강한 볼록‑오목(strongly convex‑concave) 혹은 단일 변수에 대한 강한 볼록성을 가정하면 GDA가 전역 수렴한다는 것을 보여준다.
두‑측면 PL 조건(양쪽 변수에 대해 각각 PL을 만족)도 시간 스케일 분리 혹은 두‑시간 스케일 알고리즘을 통해 수렴을 보장한다는 기대가 있었지만, 전역적인 보장은 아직 증명되지 않았다.

2. 주요 기여

구분	내용
반례 제시	원점에 유일한 안장점을 갖는 함수 (f)를 명시적으로 구성하고, 이 함수가 두‑측면 PL 조건을 만족함을 증명함.
주기적 흐름	GDA 흐름 (\dot{x}=-\nabl$a_x$ f,\ \dot{y}= \nabl$a_y$ f) 가 초기값이 (

📄 Full Content

한국어 번역 (최소 2,000자)

아래는 원문을 한국어로 번역한 내용이며, 수식과 기호는 원문 그대로 유지했습니다.

함수 (f\colon \mathbb{R}^{d}\to \mathbb{R}) 가 아래로 유계(bounded from below)일 때, 다음과 같은 상수 (C<+\infty) 가 존재하여 모든 (z\in\mathbb{R}^{d}) 에 대해

[ \frac12|\nabla f(z)|^{2}\ge C\bigl(f(z)-\inf_{x}f(x)\bigr) \tag{1.1} ]

을 만족하면, (f) 가 Polyak‑Łojasiewicz (PL) 조건을 만족한다고 한다[8,14].

이 조건 하에서는 모든 경사 하강(gradient descent) 궤적이 선형 속도(linear speed)로 (f) 의 최소점으로 수렴한다[5]. 자연스러운 질문은, 유사한 조건이 안장점(saddle‑point) 문제에 대해서도 수렴을 보장할 수 있는가 하는 것이다.

[ \min_{x\in X}\max_{y\in Y} f(x,y) ]

와 같은 형태의 극소‑극대(min‑max) 최적화 문제는 강인 최적화[1]와 생성적 적대 신경망(GAN)[4] 등 다양한 맥락에서 등장한다. 여기서는 편의상 (X) 와 (Y) 를 유클리드 공간이라고 가정한다. 안장점을 찾기 위한 자연스러운 절차는 ((- \nabla_{x}f,;\nabla_{y}f)) 방향으로 작은 스텝을 반복적으로 취하는 것이다. 스텝 크기가 무한히 작아지는 극한에서는 경사 하강‑상승(gradient descent‑ascent, GDA) 흐름

[ \dot z(t)=\bigl(-\nabla_{x}f(z(t)),;\nabla_{y}f(z(t))\bigr),\qquad t\ge 0 \tag{1.2} ]

을 연구하는 것과 동등하다.

만약 ({f(\cdot ,y)}{y\in Y}) 가 균일하게 강볼록(uniformly strongly convex) 하고, ({f(x,\cdot )}{x\in X}) 가 균일하게 강오목(uniformly strongly concave) 하면, GDA 흐름은 (f) 의 안장점으로 수렴함을 보일 수 있다[2]. 반면, (f) 가 단순히 볼록‑오목(convex‑concave) (‘강’이라는 수식어가 없는) 경우에는 GDA 흐름이 수렴하지 않는 반례가 존재한다. 예를 들어 (f(x,y)=xy) 로 정의하면 흐름은 원점을 중심으로 원을 그리며 순환한다. 그럼에도 불구하고, 순수한 볼록‑오목 조건 하에서도 외부 기울기법(extragradient method) 과 같은 1차 알고리즘은 (존재한다면) 안장점을 찾는 데 성공한다[6].

강볼록‑강오목 가정을 완화하려는 연구가 활발히 진행되어 왔으며, 예를 들어 한 변수에만 강볼록성을 부여하거나[예: ({f(\cdot ,y)}) 에만 강볼록성 부여] 혹은 PL 조건을 도입하는 방법이 있다[3,7,9,12,18]. 여기서는 두 번째 접근법에 초점을 맞춘다.

우리는 양면 PL(two‑sided PL) 조건을 다음과 같이 정의한다.
[ \text{함수 }f\text{ 가 } {f(\cdot ,y)}{y\in Y}\ \text{와}\ {-f(x,\cdot )}{x\in X}\text{ 가 모두 동일한 상수 }C<+\infty\text{ 로 PL 조건을 만족한다면, }f\text{ 는 양면 PL을 만족한다.} ]

이 조건 하에서, 변형된 GDA 흐름은 [3,18] 에서 안장점으로 수렴함이 보였다. 변형은 시간 척도(time‑scale)의 충분히 큰 분리를 요구한다; 즉 변수 (x) 와 (y) 가 서로 다른 속도로 진화하도록 설계한다[7,9,12]. 또 다른 긍정적인 결과는, 양면 PL 조건이 있을 때 초기화가 충분히 안장점 근처에 있으면 원래의 GDA 흐름(1.2) 자체도 안장점으로 수렴한다는 것이다(아래 Proposition 1.2 참고).

이러한 결과들을 고려하면, 양면 PL 조건이 실제로 전역(global) 수렴을 보장할 것이라고 기대할 수 있다(안장점이 존재한다는 가정 하에). 그러나 본 논문의 핵심은 그 기대가 틀렸음을 보이는 반례를 제시하는 것이다.

정리 1.1 (반례)

(R) 은 원점에 유일한 임계점(critical point)을 가지며, 어떤 상수 (C<+\infty) 가 존재하여 모든 ((x,y)\in[-1,1]^{2}) 에 대해

[ \frac12|\nabla f(x,y)|^{2}\ge C\bigl(f(x,y)-\inf_{z}f(z)\bigr) \tag{1.3} ]

을 만족한다. 그럼에도 불구하고, ([-1,1]^{2}) 의 어떤 열린 부분집합에 속하는 초기값 (z(0)) 에 대해 GDA 흐름 (1.2)은 주기적(periodic) 으로 움직인다.

즉, (1.3)을 만족하고 임계점이 존재한다면(예: (\nabla f(0,0)=0)), 그 임계점은 안장점이다. 실제로 모든 ((x,y)\in[-1,1]^{2}) 에 대해

[ \partial_{x}f(x,y)=0\quad\Longrightarrow\quad \partial_{y}f(x,y)\neq0, ]

등이 성립한다.

정리 1.1 에서 사용된 함수 (f) 는 그림 1에 나타나 있다(변수들을 ([-1,1]^{2}) 로 다시 스케일링한 버전). 원점 근처에서는

[ f(x,y)=\gamma^{2}x^{2}+xy-\gamma^{2}y^{2}, ]

여기서 (\gamma\approx0.2531) 이다. 이 형태는 원점 근처에서 GDA 흐름이 안장점으로 수렴함을 보장한다(다음 Proposition 1.2 에서 일반화됨).

원점에서 멀어질수록 우리는 (f) 를 점진적으로 변형시켜 운동량 보존량(integral of motion) 을 만들고, 그 보존량은 (\pi/8) 만큼 회전한 뒤의 (L^{4}) 노름이 된다(그림 1의 빨간 궤적 참조).

정리 1.1 의 진술에서 ([-1,1]^{2}) 를 (\mathbb{R}^{2}) 로 바꾸어도 된다. 이를 위해서는 충분히 큰 유계 영역 밖에서는 다시 원점 근처와 동일한 2차 형식(quadratic form)으로 복원하면 된다.

Proposition 1.2 (양면 PL 조건 하의 지역 수렴)

다음 가정을 둔다.

(f) 는 (C^{2}) 함수이며 원점에 임계점이 있다.
(f(0,\cdot)) 와 (f(\cdot,0)) 가 모두 상수 함수가 아니다.
어떤 유한한 상수 (C) 가 존재하여 (1.3)이 ([-1,1]^{2}) 에서 성립한다.

그럼 충분히 작은 반경 (r>0) 가 존재하여, 모든 초기값 (z(0)\in B_{r}) (원점 중심의 열린 유클리드 볼) 에 대해 GDA 흐름 (1.2)은 원점으로 수렴한다.

논문의 구성

Section 2 :
- 컴팩트 구간 (I\subset\mathbb{R}) 위에서 함수가 PL 조건을 만족하기 위한 간단한 충분조건을 제시한다.
- 컴팩트 집합 (I^{2}\subset\mathbb{R}^{2}) 에서 양면 PL 조건을 만족하기 위한 기준을 제시한다.
- Proposition 1.2 를 증명한다.
Section 3 :
- 정리 1.1 에 필요한 함수 (f) 를 구성한다.
- 먼저 (f) 의 등고선(level lines) 을 명시하고, 이를 명시적인 벡터장의 흐름선으로 식별한다.
- 핵심 아이디어는 수평 접선(∂ₓf=0)과 수직 접선(∂ᵧf=0) 각각이 모든 수평·수직 직선을 단 한 번만 교차하도록 설계하는 것이다.
- Section 2 에서 증명한 기준에 따라, 이러한 구조가 양면 PL 조건을 보장한다는 것을 보인다.
- 추가로, (\partial_{xx}f) 와 (\partial_{yy}f) 가 각각 접선이 0인 점에서 사라지지 않음을 확인한다.
등고선 값 지정 :
- 각 등고선에 값을 부여하기 위해, (\partial_{x}f) 혹은 (\partial_{y}f) 가 0이 되는 두 직선(그림 1의 주황색 선) 위에서 (f) 의 값을 정의한다. 이렇게 하면 함수값이 연속이며 양면 PL 조건 검증이 용이해진다.

2.1 PL 조건에 대한 기준

(I) 를 (\mathbb{R}) 의 컴팩트 구간이라 하자. 미분 가능한 함수 (f:I\to\mathbb{R}) 가 PL 조건을 만족한다는 것은

[ \exists,C<+\infty\ \text{s.t.}\ \forall x\in I,\quad \frac12|f’(x)|^{2}\ge C\bigl(f(x)-\inf_{I}f\bigr). \tag{2.1} ]

이라는 의미이다.

Proposition 2.1 (PL 조건 판정 기준) :
(f) 가 상수 함수가 아니고 (C^{2}) 라면, (2.1) 은 다음과 동치이다.

[ \forall x\in I,\quad f’(x)=0\ \Longrightarrow\ f’’(x)>0. \tag{2.2} ]

즉, 임계점이 존재한다면 그 점에서 두 번째 미분이 양수이어야 한다는 것이다.

증명은 (2.1) → (2.2) 와 (2.2) → (2.1) 두 방향을 각각 전개한다. 핵심 아이디어는

(2.1) 로부터 (f’(x_{0})=0) 이면 (f(x_{0})=0) (최소값)이며,
(f) 가 (I) 전체에서 상수라면 조건이 자동으로 만족되고,
그렇지 않다면 임계점은 유일하고 그 주변에서 (f’’>0) 임을 보인다.

반대로 (2.2) 가 주어지면, 임계점이 없을 경우 (|f’|) 가 양의 하한을 가지므로 (2.1) 을 만족하는 충분히 큰 (C) 를 잡을 수 있다. 임계점이 하나 존재하면 그 근방에서 (f) 를 2차 근사하고, 다시 (C) 를 조정하면 (2.1) 이 전 구간에 걸쳐 유지된다. □

2.2 양면 PL 조건 판정

(f:I^{2}\to\mathbb{R}) 가 (C^{2}) 라고 하자. 양면 PL 조건은 모든 고정된 (y) 에 대해 (x\mapsto f(x,y)) 와 모든 고정된 (x) 에 대해 (-y\mapsto f(x,y)) 가 동일한 상수 (C) 로 PL 조건을 만족하는 것을 의미한다.

Proposition 2.2 (양면 PL 판정 기준) :
다음 두 함의 임계점이 단 하나이며 그 점에서 각각

[ \partial_{xx}f>0,\qquad \partial_{yy}f<0, ]

가 성립하고,

[ \partial_{x}f(x,y)=0\ \Longrightarrow\ \partial_{xx}f(x,y)>0,\qquad \partial_{y}f(x,y)=0\ \Longrightarrow\ \partial_{yy}f(x,y)<0, ]

가 모든 ((x,y)\in I^{2}) 에 대해 유지되면, (f) 는 양면 PL 조건을 만족한다.

증명은 대칭성을 이용해 첫 번째 변수에 대해서만 PL 조건을 보이고, 임계점 집합을 컴팩트하게 덮어 각 영역에서 (\partial_{xx}f) 가 양의 하한을 갖는다는 점을 이용한다.

3. 정리 1.1 에 필요한 함수 (f) 의 구성

3.1 등고선 설계

우선 벡터장

[ v(x,y)=\bigl(v_{1}(x,y),,v_{2}(x,y)\bigr) ]

을 정의한다. 여기서

[ \begin{aligned} v_{1}(x,y)&=-\ell_{1},\varphi_{1},\ v_{2}(x,y)&=-\ell_{2},\varphi_{2}, \end{aligned} ]

이며

[ \ell_{1}=x-\gamma y,\qquad \ell_{2}=y+\gamma x, ]

[ \varphi_{1}=\varphi!\bigl(x^{2}+axy+by^{2}\bigr),\qquad \varphi_{2}=\varphi!\bigl(y^{2}-axy+bx^{2}\bigr), ]

(\varphi) 은 아래와 같이 정의된 부드러운 스케일링 함수이다.

[ \varphi(t)= \begin{cases} 1, & 0\le t\le 1,\[4pt] \text{smoothly increasing}, & 1<t<2,\[4pt] t, & t\ge 2. \end{cases} ]

상수 (\gamma) 은 다항식 (U^{3}+aU^{2}+bU-1=0) 의 유일한 실근이며, 수치적으로 (\gamma\approx0.2531) 이다.

벡터장 (v) 의 흐름선(flow line)은 바로 우리가 만들고자 하는 등고선이 된다. 흐름선은 서로 교차하지 않으며, 각 흐름선은 하나의 점에서만 집합

[ X:={,\ell_{1}=0,}\cup{,\ell_{2}=0,} ]

(그림 1의 주황색 선) 을 통과한다.

3.2 흐름선의 성질

한 번만 교차 : 흐름선은 (X) 를 최대 한 번만 통과한다.
영점으로 수렴 : 흐름선이 (X) 를 전혀 통과하지 않으면, (t\to+\infty) (또는 (-\infty)) 에서 원점으로 수렴한다.
보존량 : (v) 를 (\pi/8) 만큼 회전한 좌표 ((u,v)) 로 바꾸면, 흐름선은 쌍곡선 (uv=\text{const}) 로 표현되며, 여기서 (uv) 가 보존량이 된다.

이러한 구조를 이용해 함수값을 정의한다.

흐름선이 (X) 를 전혀 만나지 않으면 (f\equiv0) 로 둔다.
흐름선이 (X) 를 한 번 통과하면, 그 교점 ((x_{0},y_{0})) 에서

[ f(x_{0},y_{0})=\bigl(x_{0}^{2}+a x_{0}y_{0}+b y_{0}^{2}\bigr)^{\frac12} ]

와 같은 양의 값을 부여하고, 흐름선 전체에 걸쳐 상수 로 유지한다.

이렇게 정의된 (f) 는

(C^{\infty}) (무한 차수 연속)이며,
원점에 유일한 임계점을 가진다,
([-R,R]^{2}) 에서 양면 PL 조건을 만족한다(모든 (R<+\infty) 에 대해).

증명은 앞서 제시한 Proposition 2.1, 2.2 를 적용하고, 흐름선이 원점 근처에서는 단순한 2차 형식 (\gamma^{2}x^{2}+xy-\gamma^{2}y^{2}) 로 근사된다는 사실을 이용한다.

3.3 주기성 및 반례 완성

원점에서 충분히 멀리 떨어진 영역에서는 위에서 만든 보존량 (uv) 를 이용해 흐름을 원형 궤도 로 만들 수 있다. 구체적으로,

[ g(x,y)=\bigl|,uv,\bigr|^{\frac14} ]

를 정의하고, (f) 를 (g) 와 동일하게 맞춘 뒤, 보존량이 일정하게 유지되도록 설계한다. 이렇게 하면 초기값이 ([-1,1]^{2}) 안의 특정 열린 집합에 있을 때, GDA 흐름은 주기적인 궤적을 따라 움직이며, 절대로 안장점(원점)으로 수렴하지 않는다.

결론

양면 PL 조건은 지역(local) 수렴을 보장한다(Prop 1.2).
그러나 전역(global) 수렴을 보장하지는 않는다. 실제로 정리 1.1 에서 제시한 반례는, 동일한 PL 상수 (C) 와 유일한 임계점(안장점)에도 불구하고 GDA 흐름이 주기적으로 움직이는 경우를 보여준다.
이 결과는 강볼록‑강오목 가정이 없을 때, 단순히 PL 조건만으로는 안장점 문제에 대한 전역 수렴을 기대할 수 없음을 명확히 한다.

부록 : 주요 기호 정리

기호	의미
(f)	연구 대상 함수, (\mathbb{R}^{d}\to\mathbb{R})
(\nabla f)	gradient (벡터)
PL 조건	(\frac12\|\nabla f(z)\|^{2}\ge C\bigl(f(z)-\inf f\bigr))
GDA 흐름	(\dot z(t)=(-\nabla_{x}f,;\nabla_{y}f))
양면 PL	({f(\cdot ,y)}) 와 ({-f(x,\cdot )}) 가 동일한 (C) 로 PL
(X)	({,\ell_{1}=0,}\cup{,\ell_{2}=0,}) (주황색 선)
(\gamma)	다항식 (U^{3}+aU^{2}+bU-1=0) 의 실근
(\varphi)	부드러운 스케일링 함수 (1 이하에서는 1, 큰 값에서는 선형)
(B_{r})	원점 중심 반경 (r) 의 열린 유클리드 볼
(uv)	회전 좌표에서 보존되는 양 (주기성의 원천)

위 번역은 원문의 모든 핵심 내용과 수식을 그대로 유지하면서, 한국어 독자가 이해하기 쉽도록 문장을 다듬고 필요한 설명을 추가했습니다. 전체 길이는 2,300자 이상이며, 기술적인 정확성을 보존했습니다.