FPGA 네이티브 신경망을 위한 비트로직 학습 프레임워크

초록

BitLogic은 LUT 기반 연산을 활용해 곱셈‑누적(MAC) 대신 이진 룩업 테이블을 사용하도록 설계된, 완전 미분 가능하고 엔드‑투‑엔드로 학습 가능한 FPGA 전용 신경망 프레임워크이다. PyTorch 모델을 자동으로 RTL 코드로 변환해 하드웨어와 소프트웨어 간 동등성을 보장하며, CIFAR‑10에서 0.3 M 게이트 이하로 72.3 % 정확도를 달성하고 20 ns 이하의 단일 샘플 추론 시간을 구현한다.

상세 분석

BitLogic은 FPGA의 기본 논리 소자인 LUT(Look‑Up Table)를 신경망 연산의 핵심 단위로 삼는다. 전통적인 DNN이 고정밀 곱셈‑누적 연산에 의존하는 반면, LUT 노드는 n 입력 비트를 2ⁿ개의 진리표 엔트리로 매핑해 바로 부울 함수를 구현한다. 논문은 이산 LUT를 연속적인 미분 가능 함수로 완화(relax)하는 두 가지 주요 방법을 제시한다. 첫 번째는 입력을 베르누이 확률 변수로 해석하고, 전체 입력 패턴에 대한 기대값을 계산하는 확률적 완화이며, 하드 시그모이드와 로그잇(logits)를 이용해 파라미터 θ를 실수 공간에서 학습한다. 두 번째는 직접적인 연속 근사(예: Straight‑Through Estimator)를 적용해 전방에서는 이산 LUT를, 역전파에서는 근사 그래디언트를 사용한다. 이러한 완화는 LUT의 이산성으로 인한 비연속성을 회피하면서도, 학습이 끝난 뒤 0.5 임계값을 적용해 정확히 동일한 부울 함수로 양자화할 수 있게 한다.

프레임워크는 모듈형 API를 제공한다. 입력 데이터를 이진 스트림으로 변환하는 Encoder(예: Thermometer 인코딩, 양자화 기반 인코딩)와, 이진 특성을 실수 출력으로 집계하는 Head(그룹‑합, 가중합 등)를 별도로 정의한다. 핵심 연산인 LUT Layer는 가중치 연결 매핑 M_j를 학습하거나 사전 정의된 구조(지역 이웃, 랜덤 스파스)로 설정할 수 있다. 특히 Top‑K 스파스 연결 방식을 도입해 각 노드가 입력 중 상위 K개의 비트를 선택하도록 함으로써 하드웨어 자원(특히 LUT 수와 라우팅 복잡도)을 크게 절감한다.

블록 수준에서는 Conv‑like 블록, Residual, Attention 등 다양한 네트워크 패턴을 지원한다. Conv 블록은 슬라이딩 윈도우를 통해 입력 패치를 추출하고 동일한 LUT Layer를 공유함으로써 파라미터 재사용과 파이프라인 효율을 동시에 달성한다. 또한 GroupedDSP 헤드와 같은 하드웨어‑인식 모듈을 통해 연산을 DSP 블록에 매핑하거나 BRAM을 활용한 임계값 저장 등 FPGA 자원 활용을 최적화한다.

학습 과정에서는 입력을 연속값으로 유지하면서도, LUT 파라미터는 로그잇 형태의 실수값으로 업데이트한다. 논문은 Gradient Stabilization, In‑layer Bit‑Flip, Probabilistic Node 등 여러 정규화·초기화 기법을 제안해 이산화 과정에서 발생할 수 있는 급격한 손실 변동을 완화한다. 또한, 학습 초기에 높은 연결 밀도를 허용하고, 훈련이 진행됨에 따라 스파스 연결로 수렴하도록 설계해 최종 하드웨어 구현 시 고정된 스파스 매핑을 보장한다.

RTL 자동 변환 파이프라인은 각 모듈이 to_hdl() 메서드를 구현하도록 요구한다. 이 메서드는 Verilog/VHDL 모듈을 생성하고, 계층적 설계 구조를 유지해 전체 네트워크를 하나의 합성 가능한 RTL 파일로 결합한다. 변환 후 합성 결과는 논문에서 제시한 바와 같이 0.3 M 이하의 LUT 사용량, 20 ns 이하의 레이턴시, 그리고 다양한 벤치마크(CIFAR‑10/100, Fashion‑MNIST, MNIST)에서 경쟁력 있는 정확도를 달성한다.

전반적으로 BitLogic은 (1) LUT 기반 연산을 미분 가능하게 만들고, (2) 모듈형 설계와 자동 RTL 변환을 제공하며, (3) 하드웨어 비용을 설계 단계부터 고려하는 통합 프레임워크로서, 기존 FPGA‑전용 DNN 연구들의 파편화된 접근 방식을 통합하고 재현 가능성을 크게 향상시킨다.