Deep one-gate per layer networks with skip connections are universal classifiers

📝 Abstract

**
본 논문은 두 클래스를 구분하도록 설계된 2‑hidden‑layer 다층 퍼셉트론(MLP)을, **한 층당 하나의 게이트(퍼셉트론)와 스킵 연결(skip connections)**만을 갖는 깊은 신경망으로 변환할 수 있음을 보인다.
핵심 아이디어는

1. **선형 절단(linear cuts)**을 이용해 입력 공간을 반평면으로 나누고,
2. 각 절단의 양(positive) 반평면을 논리적 AND(교집합) 로 결합해 하나의 클러스터를 정의하고,
3. 여러 클러스터를 OR(합집합) 로 결합해 최종 분류를 수행하는 DNF(Disjunctive Normal Form) 구조를 만든다.

이 DNF 형태의 3‑layer 네트워크(절단 → 교집합 → 합집합)를,
각 층이 원 입력 벡터와 이전 층의 단일 비트(“현재까지 클러스터에 속했는가?”)만을 전달하는
한 게이트‑퍼 층 + 스킵 연결 구조로 변환함으로써, 동일한 분류 능력을 유지하면서도 구조가 단순해짐을 증명한다.

---

**

💡 Deep Analysis

**

1. 연구 배경 및 동기

• 기존 연구(

📄 Full Content

**[1]에 제시된 바와 같이, 레이어당 하나의 게이트만을 갖는 깊은 신경망은 n‑차원 공간에서 두 클래스에 속하는 점들을 완벽히 구분할 수 있습니다. 여기서는 이해하기 쉬울 수 있는 대안적인 증명을 제시합니다. 이 증명은 두 클래스를 구분하는 고전적인 신경망을 스킵 연결(skip connections)을 가진 레이어당 하나의 게이트만 있는 깊은 신경망으로 변환할 수 있음을 보여줍니다.

---

퍼셉트론과 반공간

퍼셉트론은 벡터 입력을 받아 입력 공간을 양의 반공간과 음의 반공간 두 개의 서브스페이스로 나눕니다(그림 1a). 퍼셉트론의 바이어스 입력은 입력 벡터에 의해 제공될 수 있으며, 이 경우 입력 차원은 하나 늘어나게 됩니다. 퍼셉트론에 연결된 바이어스는 가중치 n + 1을 갖습니다.

가중치 벡터 w = (w₁, w₂, …, wₙ₊₁)와 입력 벡터 x에 대해 수행되는 연산은 다음과 같습니다.

[ \text{output}= \begin{cases} 1 & \text{if } ; w \cdot x \ge 0 \[4pt] 0 & \text{otherwise} \end{cases} ]

즉, 입력 벡터와 가중치 벡터의 내적을 0이라는 임계값과 비교합니다. 네 개의 퍼셉트론이 만든 양의 반공간들의 합집합은 회색 영역을 한정합니다. 이는 회색 점과 노란 점을 구분하는 분류 문제에서 하나의 클래스(예: 회색)를 나타낼 수 있습니다.

---

퍼셉트론이 구현할 수 있는 논리 연산

퍼셉트론은 가중치와 바이어스를 적절히 선택함으로써 이항 논리 연산(합(disjunction), 교(conjunction), 부정(negation) 등)을 구현할 수 있음이 잘 알려져 있습니다[2].

---

다각형(Convex Polytope)으로 클래스 둘러싸기

분류 문제가 두 클래스로 이루어져 있고, 하나의 클래스를 볼록 다각형(convex polytope) 로 둘러싸서 구분할 수 있다고 가정합니다. 그러면 그림 1b와 같이 여러 개의 절단(cut)으로 회색 클래스를 완전히 둘러싸는 한 가지 접근법이 가능합니다. 양의 반공간들의 교집합(논리적 AND)이 두 클래스를 구분하는 경계를 제공합니다.

회색 점들이 여러 “섬(island)” 혹은 클러스터(cluster)로 흩어져 있다면, 각각을 서로 다른 볼록 다각형으로 둘러싸서 배경과 구분할 수 있습니다(그림 2). 그림에서는 9개의 절단과 3개의 양의 반공간 교집합이 필요한 분류를 구현합니다.

---

다층 퍼셉트론 구조

그림 3에 나타난 다층 퍼셉트론은 위와 같은 입력 공간 구분을 처리할 수 있습니다. 첫 번째 레이어는 분류에 필요한 모든 절단을 나타냅니다. 색칠된 삼각형은 가중치 연결을 의미하며, 필요 없는 연결은 가중치를 0으로 두어 무시할 수 있습니다.

첫 번째 레이어의 이진 출력은 각 절단의 어느 쪽에 입력 벡터가 위치하는지를 나타냅니다. 이러한 이진 출력들을 원하는 논리 연산으로 결합하면 됩니다. 분류 작업에서는 각 섬(클러스터)마다 여러 절단의 교집합을 구하면 되므로, 두 번째 레이어가 이를 수행합니다.

• 두 번째 레이어의 첫 번째 유닛은 클러스터 1을 둘러싸는 절단들의 양의 반공간 교집합을 계산합니다.
• 두 번째 유닛은 클러스터 2를 둘러싸는 절단들의 교집합을 계산합니다.

두 번째 레이어의 모든 이진 출력이 구해지면, 마지막 출력 유닛은 OR 연산을 수행하여 어느 하나라도 1이면 최종 출력이 1이 되도록 합니다.

---

몇 가지 주의점

1. 절단 재사용 금지 – 서로 다른 클러스터에 같은 절단을 재사용하지 않습니다. 동일한 절단이 두 번 필요하면 첫 번째 레이어에 두 개의 별도 게이트를 둡니다.
2. 부호 반전 – 절단이 회색 점들을 양의 반공간에 두지 못한다면, 해당 절단의 가중치 부호를 뒤집어 양의 반공간이 되도록 합니다.
3. 양극성 벡터 사용 가능성 – +1 / –1 로 이루어진 양극성 벡터를 사용하면 부정 연산을 가중치 부호만 바꾸면 되므로 위와 같은 복잡성을 피할 수 있습니다. 여기서는 절단 재사용을 피함으로써 복잡성을 최소화했습니다.

---

연속 영역 vs. 이산 점 집합

위 도표들은 연속적인 공간 영역을 보여주지만, 실제 두 클래스는 이산적인 점들의 집합이며, 이 점들을 볼록 다각형으로 둘러싸서 구분할 수 있다는 점을 기억해야 합니다. 극한 상황에서는 한 클래스의 각 점마다 별도의 다각형을 만들 수도 있지만, 이는 네트워크가 매우 비싸게 되는 경우이며 여기서는 존재 증명에 초점을 맞추고 있습니다.

---

논리식 형태: “합의 교” (Disjunction of Conjunctions)

위 네트워크는 합(OR) of 교(AND) 형태로 구성됩니다. 먼저 절단들의 합(OR) 을 순차적인 게이트로 구현할 수 있음을 증명합니다. 예를 들어, 그림 4에 나타난 섬을 둘러싸고 싶다면 절단 1~4를 사용합니다. 이 절단들의 양의 영역의 합집합이 노란 영역을 형성합니다.

점이 어떤 절단의 양의 반공간에 있으면 그 절단을 통과했다고 보고, 즉시 노란 클래스에 속한다고 판단합니다. 따라서 절단들을 순차적으로 퍼셉트론으로 검사하면 됩니다. 하나라도 1을 출력하면 전체 연산은 참(True) 으로 간주됩니다. 이 전략은 그림 5에서 보여지는 퍼셉트론 체인으로 시각화됩니다.

그림 5 상단 다이어그램은 절단들의 합(OR) 을, 하단 다이어그램은 부정된 절단들의 교(AND) 를 나타냅니다.

퍼셉트론 체인의 동작 원리

• 각 게이트(퍼셉트론)는 원본 입력 벡터 x와 이전 게이트의 출력을 동시에 받습니다.
• S는 매우 큰 양수이며, 입력 벡터의 최대 길이 L보다 크게 잡습니다.
• x의 길이를 L 이하로 제한하고, 각 퍼셉트론의 가중치 벡터를 정규화(|w| = 1)하면, x·w의 절대값은 최대 L이 됩니다. 따라서 S ≫ L 로 잡으면
  [ x\cdot w + a\cdot S \ge 0 \quad\text{(if } a=1\text{)} ]
  가 항상 성립하고, a = 0 일 때는 일반적인 테스트가 수행됩니다.
• 이렇게 하면 체인 중 어느 하나가 1을 출력하면 이후 모든 게이트가 무조건 1을 출력하게 되며, 최종 출력도 1이 됩니다. 이는 각 게이트에서의 논리적 OR 연산을 구현한 것입니다.

---

부정 연산 및 모듈화

체인의 출력을 부정하려면 그림 5 하단에 있는 인버터(inverter) 로 구현된 단일 퍼셉트론을 사용합니다. 드모르간 법칙(De Morgan’s law) 에 따라, 이제 체인은 절단들의 합의 부정을 계산하고, 이는 부정된 절단들의 교와 동일합니다.

이 인버터 모듈은 “점이 볼록 영역 안에 있으면 1, 그렇지 않으면 0”을 출력합니다(그림 4의 회색 영역을 참고). 이렇게 하면 그림 3의 클러스터 1을 처리하던 네트워크의 게이트 집합을 하나의 모듈로 대체할 수 있습니다. 클러스터 2, 3 … 에 대해서도 동일하게 모듈을 만들고, 이 모듈들을 연속적으로 배치하면(그림 6) 전체 네트워크는 합(OR) of 교(AND) 형태가 됩니다.

---

3‑계층 신경망에 대한 직관적 설명

본 논문에서는 다음과 같은 3‑계층 구조를 직관적으로 설명합니다.

1. 절단 레이어 – 입력 공간을 여러 개의 선형 절단으로 나눔.
2. 절단 교집합 레이어 – 각 클러스터를 둘러싸는 절단들의 AND 연산을 수행.
3. 클러스터 합 레이어 – 여러 클러스터를 OR 로 결합.

절단 레이어 뒤에 오는 모든 불리언 함수는 위와 같은 합의 교 정상형(disjunctive normal form, DNF)으로 변환될 수 있습니다. 원래 네트워크가 몇 개의 레이어를 가지고 있든, 위와 같은 형태로 축소할 수 있습니다.

---

주요 기여

본 논문의 핵심 기여는 레イヤ당 하나의 게이트와 스킵 연결만을 갖는 깊은 신경망이 기존의 합의 교 형태 네트워크와 동등함을 보였다는 점입니다. 각 레이어는

• 초기 입력 벡터(입력 차원)와
• “이 점이 클래스 1의 클러스터에 속한다”는 단일 비트

를 다음 레이어에 전달합니다.

이와 같은 변환을 증명하는 과정은 [1]에 제시된 증명보다 단순합니다. 또한 시각적 도표를 통해 신경망의 기하학적 구조를 이해하려는 다른 시도[3]를 보완합니다.

---

결론

제시된 결과는 이론적인 관심을 주로 갖습니다. 실제 응용보다는, 레이어당 하나의 게이트와 스킵 연결만으로도 복잡한 분류 문제를 구현할 수 있음을 보여줌으로써 신경망 구조에 대한 기하학적 직관을 제공합니다.

---

참고문헌

[1] R. Rojas, “Deepest Neural Networks”, arXiv:1707.0261, 2017.

[2] R. Rojas, Neural Networks, Springer‑Verlag, Berlin, 1996.

[3] J. Ch. Ye, Geometry of Deep Learning, Springer‑Verlag, Singapore, 2022.