불리언 임계 함수 기반 신경망 학습의 새로운 패러다임

초록

본 논문은 모든 노드와 가중치를 ±1 로 제한한 불리언 임계 함수(BTF) 네트워크를, 손실 최소화 대신 두 개의 제약(A와 B)을 나누어‑동시(divide‑and‑concur) 방식으로 풀어낸다. 비볼록 A 제약은 BTF 일관성과 마진을 보장하고, 선형 B 제약은 구조적 일치와 가중치 동등성을 강제한다. RRR(Reflect‑Reflect‑Relax) 투사 알고리즘으로 두 제약을 교차시켜 해를 탐색하며, 충분히 큰 마진은 가중치 희소성과 논리 게이트(AND, OR, MAJ)와의 동등성을 보장한다. 곱셈 회로, 바이너리 자동인코더, 논리 회로 복원, 셀룰러 오토마타 학습 등 다양한 이산 작업에서 기존 그라디언트 기반 방법보다 정확하거나 더 좋은 일반화 성능을 보였다.

상세 분석

이 연구는 전통적인 손실 함수 최적화가 연속적이고 미분 가능한 활성화에 의존하는 한계를 극복하고자, 완전 이산값(±1)만을 허용하는 불리언 임계 함수(BTF)를 핵심 연산으로 채택한다. BTF는 단순히 sgn(w·x)=y 로 정의되지만, 여기서는 추가적인 마진 제약 |w·x|≥μ 를 도입해 모든 학습 샘플에 대해 내부 곱이 일정한 안전 구역을 벗어나지 않도록 강제한다. 마진 μ는 입력 차원 m 에 비례해 μ_m = p·m/σ 로 설정되며, σ는 ‘지원 하이퍼파라미터’라 불리는 최대 비제로 가중치 수이다. μ가 충분히 크면 각 뉴런의 가중치 벡터는 정확히 σ개의 ±1 값만을 갖는 희소 구조가 되며, 이는 2‑입력 AND/OR 혹은 3‑입력 MAJ 게이트와 동등함을 수학적으로 증명한다.

학습 문제는 두 개의 집합 제약 A와 B 로 분할된다. A는 각 뉴런별 BTF 일관성(입력·가중치·출력 관계)과 마진을 포함하는 비볼록 집합이며, 고차원 공간(N+2E 차원)에서 투사 연산을 통해 가장 가까운 만족점으로 매핑한다. B는 네트워크 구조적 일치를 담당하는 선형 하이퍼플레인으로, 모든 데이터 인스턴스에 대해 동일한 가중치를 공유하도록 강제한다(가중치 동등성)와 동시에 입력·출력 변수 간의 일치를 보장한다. 이때 각 데이터 샘플마다 별도의 가중치 복제본을 두어 A 제약을 단순히 유지하고, B 단계에서 복제본을 평균(또는 동일)하게 맞춘다.

두 제약 사이의 교차는 RRR(Reflect‑Reflect‑Relax) 알고리즘으로 수행된다. 현재 변수 집합 z에 대해 A와 B 각각에 대한 투사 z_A, z_B 를 계산하고, z ← z + β (z_A – z_B) 로 업데이트한다. β는 시간 스텝이며 학습률과 유사하지만, 차이는 z_A – z_B 가 어떤 손실 함수의 그래디언트도 아니라는 점이다. 이 차이는 ‘갭’ Δ = ‖z_A – z_B‖ 로 정량화되며, Δ가 0이면 두 제약이 동시에 만족된 완전 해가 존재한다는 의미다. 비볼록 A 제약 때문에 Δ는 일시적으로 증가할 수 있는데, 이는 알고리즘이 지역적 불일치를 벗어나 전역 해를 탐색하는 메커니즘으로 해석된다.

실험에서는 (1) 5‑계층 무작위 논리 회로(AND/OR, MAJ)로부터 생성된 곱셈 테이블 복원, (2) 완전 이진 자동인코더에서 진정한 0/1 코드 학습, (3) MNIST 기반 이진 분류, (4) 논리 회로 추론, (5) 1‑차원 셀룰러 오토마타 규칙 학습 등 다섯 가지 도메인을 검증했다. 특히 논리 회로와 셀룰러 오토마타에서는 훈련 데이터가 256~512개 정도면 100% 테스트 정확도에 도달했으며, 이는 기존 SGD 기반 다층 퍼셉트론이 10⁶ 단계까지도 100%에 미치지 못하는 결과와 뚜렷히 대비된다. 가중치 분포 분석에서도 σ=3 일 때 ±√(m/3) 정도의 값만 나타나, 실제로 AND/OR/Maj 게이트와 동일한 구조적 희소성을 확인할 수 있었다.

이 논문의 핵심 기여는 (i) 이산 신경망을 제약 만족 문제로 재구성한 이론적 프레임워크, (ii) 마진 기반 희소 BTF 설계가 논리 게이트와 동등함을 보인 정량적 정리, (iii) RRR 투사 알고리즘을 활용한 대규모 배치 학습이 가능함을 실증한 실험적 증거다. 이러한 접근은 해석 가능성, 하드웨어 구현 효율성(±1 가중치와 1‑비트 연산), 그리고 비볼록 최적화 문제에 대한 새로운 해법을 제공한다는 점에서 의미가 크다.