경량 부울 네트워크 학습을 위한 효율적 연결·컨볼루션·적응 이산화 전략

초록

본 논문은 부울 네트워크의 연산 비용을 크게 낮추면서도 정확도를 유지하기 위해 세 가지 핵심 기법을 제안한다. 첫째, 추가 파라미터 없이 연결을 학습하는 새로운 파라미터화와 적응형 재샘플링 방식을 도입한다. 둘째, 기존의 트리 기반 커널 대신 단일 부울 연산으로 구성된 컴팩트한 컨볼루션 구조를 설계한다. 셋째, 훈련 과정에서 단계적으로 이산화를 진행하는 적응형 이산화 전략을 통해 연속‑이산 간 격차를 최소화한다. 실험 결과, CIFAR‑10·MNIST 등 표준 비전 벤치마크에서 기존 최첨단 대비 최대 37배 적은 부울 연산으로 동일하거나 더 높은 정확도를 달성한다.

상세 분석

이 논문은 부울 네트워크가 가진 “두 입력만을 갖는 초희소성”이라는 특성을 활용하면서도, 기존 방법이 안고 있던 세 가지 주요 한계를 체계적으로 극복한다. 첫 번째 기여는 연결 학습 메커니즘이다. 기존 연구(Petersen et al., 2022·2024)는 고정된 무작위 연결을 사용하거나, 연결을 파라미터화하기 위해 대규모 가중치 행렬을 도입해 메모리·연산 비용이 폭증했다. 저자는 각 뉴런을 16개의 부울 연산 후보와 2개의 입력 인덱스(p, q) 쌍으로 확장하고, 이들을 가중치 w_i 로 가중합한다. 학습 중에는 가중치 엔트로피를 EMA로 추적해 “안정” 상태를 판단하고, 특정 임계값을 넘으면 현재 지배적인 (k, p, q) 를 제외하고 나머지를 재샘플링한다. 이 과정은 “지배적 삼중항”이 확정될 때까지 반복되며, 실제 실험에서는 90 % 이상의 뉴런이 하나의 삼중항으로 수렴한다는 점에서 효율성을 입증한다. 두 번째 기여는 컨볼루션 구조의 재설계이다. 기존 부울 컨볼루션은 깊이 d 의 이진 트리를 사용해 2^d − 1 개의 부울 연산을 필요로 했으며, 이는 연산량 급증과 순차적 의존성으로 병렬화에 제약을 주었다. 저자는 단일 부울 연산을 커널로 사용하되, 앞서 제안한 연결 학습을 통해 커널이 전체 receptive field(최대 32 입력)에서 중요한 입력 쌍을 스스로 선택하도록 한다. 결과적으로 트리 구조 없이도 충분한 표현력을 확보하면서 연산량을 크게 감소시킨다. 세 번째 기여는 적응형 이산화 전략이다. 훈련 초기에 연속형 완화 모델은 부울 연산과 차이가 크지만, 층별 수렴 속도가 다르다는 관찰에 기반한다. 특히 컨볼루션 층이 빠르게 수렴하고 비컨볼루션 층이 느리게 수렴한다는 점을 이용해, 일정 비율 이상의 뉴런이 최종 지배 연산을 확보하면 해당 층을 즉시 이산화하고 파라미터를 고정한다. 이렇게 단계적으로 이산화를 진행하면 연속‑이산 간 격차가 점진적으로 줄어들어 최종 정확도 손실을 최소화한다. 실험에서는 CIFAR‑10에서 기존 방법 대비 0.5 %~1 % 높은 정확도와, MNIST에서 최대 37배 적은 부울 연산을 달성했다. 또한, 학습 오버헤드는 EMA와 재샘플링을 위한 소량의 스칼라와 연산만을 추가하므로, 전체 훈련 비용에 미치는 영향은 무시할 수준이다. 한계점으로는 현재 제안이 주로 이미지 분류에 초점을 맞추고 있어, 복잡한 시퀀스·그래프 작업에 대한 적용 가능성은 미확인이며, 재샘플링 빈도와 임계값 설정이 데이터셋에 따라 민감하게 작동할 수 있다는 점을 들 수 있다. 전반적으로, 부울 네트워크를 실용적인 수준으로 끌어올리기 위한 설계·학습·이산화 전 과정을 일관되게 최적화한 점이 큰 의의이다.