중위값을 쉽게 구한다 상수 깊이 선형 폭 ReLU 네트워크

초록

본 논문은 d 차원 입력의 중위값을 유니폼 분포 위에서 근사하는 ReLU 네트워크의 깊이‑폭 트레이드오프를 연구한다. 깊이 46, 폭 O(d) 인 상수 깊이 네트워크가 지수적으로 작은 평균 제곱 오차를 달성함을 보이며, 이는 최대값 근사에 대한 기존 결과보다 더 강력한 상수‑깊이·선형‑폭 구성을 제공한다. 또한 최대값과 중위값 사이의 일반적인 감소를 제시해, 정확한 계산과 근사 사이의 격차를 이론적으로 증명한다.

상세 분석

이 논문은 “rank‑k 함수”라는 일반화된 순위 추출 문제를 출발점으로 삼아, 특히 k = ⌈d/2⌉ 인 경우인 중위값을 목표 함수로 설정한다. 저자들은 먼저 깊이 3, 폭 O(d²) 인 네트워크를 구축해 모든 입력 쌍에 대한 비교 지표를 한 번에 계산한다. 두 번째 은닉층에서는 각 입력이 몇 개의 다른 입력보다 작거나 큰지를 누적해 원하는 순위와 일치하는 원소를 식별한다. 이 방식은 직관적으로 “pairwise indicator”를 활용해 정확히 순위를 찾지만, 쌍의 수가 d²이므로 폭이 제곱적으로 커지는 것이 불가피하다.

다음 단계에서는 깊이를 5로 늘려 폭을 O(d^{5/3+γ}) 로 감소시킨다. 여기서 γ는 성공 확률을 조절하는 파라미터이며, 추가적인 두 층을 이용해 입력을 배치별로 나누고 각 배치의 “중심 원소”(local median)를 추출한다. 배치 수와 배치 크기를 적절히 선택하면, 전체 입력 중 전역 중위값을 포함할 확률이 1 − exp(−Ω(d²γ)) 로 급격히 높아진다. 후보 집합이 충분히 작아지면 마지막 두 층이 후보와 전체 입력을 전부 비교해 정확한 중위값을 찾아낸다. 이 과정에서 사용되는 확률적 분석은 입력이 독립이고 연속적인 경우에만 의존하므로, 균등 분포 외에도 i.i.d. 연속 분포로 쉽게 확장 가능하다.

가장 핵심적인 기여는 깊이 46, 폭 O(d) 로 폭을 선형 수준으로 낮추면서도 평균 제곱 오차를 ϵ + exp(−Ω(d)) 로 만들 수 있다는 점이다. 저자들은 “윈도우 추정·제거” 메커니즘을 네 번 반복해, 매 단계마다 현재 후보 집합을 절반 이하로 축소한다. 각 단계는 (1) 현재 후보를 기준으로 상·하위 절반을 구분하는 ReLU 기반 “threshold” 연산, (2) 구분된 영역 외부 값을 0 으로 강제하는 “masking” 연산, (3) 남은 후보를 다시 윈도우 중심으로 재정렬하는 과정을 포함한다. 네 번의 반복 후 후보 수는 O(log d) 수준으로 감소하고, 이때 해시 트릭(특정 가중치 조합을 이용해 후보를 하나의 스칼라로 압축)으로 최종 중위값을 정확히 복원한다.

또한 논문은 최대값과 중위값 사이의 계산 복잡도 관계를 정량화한다. 최대값은 “idempotent” 성질(부분 최대값의 최대가 전체 최대와 동일) 덕분에 깊이‑폭 트레이드오프가 비교적 완만하지만, 중위값은 이 성질이 없어 더 정교한 다단계 절차가 필요하다. 저자들은 최대값에 대한 기존 하한(선형 폭·깊이 ≥ log log d) 을 중위값에도 적용할 수 있는 일반적인 감소(리덕션)를 제시한다. 이를 통해 정확한 중위값 계산은 상수 깊이·선형 폭으로 불가능하지만, 근사에서는 가능함을 보이며, 근사와 정확 계산 사이의 격차를 이론적으로 명시한다.

전체적으로 이 논문은 (i) 깊이‑폭 트레이드오프를 정량화하고, (ii) 확률적 분석과 다단계 “제거‑축소” 전략을 결합해 중위값 근사에 상수 깊이·선형 폭을 달성했으며, (iii) 최대값과의 관계를 통해 하한을 전이시키는 일반적인 프레임워크를 제공한다는 점에서 의미가 크다. 특히, 실용적인 머신러닝 환경에서 요구되는 “작은 평균 제곱 오차” 수준을 만족하면서도 네트워크 규모를 선형으로 유지할 수 있다는 결과는 이론적 깊이‑폭 연구와 실제 모델 설계 사이의 연결 고리를 강화한다.