엣지용 LUT 기반 비전 트랜스포머 설계

초록

LL‑ViT는 비전 트랜스포머의 채널 믹서(MLP)를 LUT‑뉴런으로 대체해 모델 크기와 연산량을 크게 줄이고, FPGA 전용 가속기를 함께 설계하였다. CIFAR‑10/100 및 Tiny‑ImageNet에서 기존 ViT와 동등한 정확도를 유지하면서 가중치 60 % 감소, 곱셈 50 % 절감, 에너지 효율 1.9배, 지연시간 1.3배 개선을 달성한다.

상세 분석

본 논문은 비전 트랜스포머(ViT)의 구조적 특성을 면밀히 분석한 뒤, 전체 연산과 파라미터 중 절반 이상을 차지하는 MLP 기반 채널 믹서가 효율성의 핵심 병목임을 확인한다. 기존의 LUT‑기반 네트워크(LogicNets, NeuraLUT, DWN 등)는 작은 데이터셋에서는 성공했지만, 복잡한 이미지 분류에서는 성능이 급격히 저하되는 한계가 있었다. 저자들은 이러한 한계를 극복하기 위해 “학습 가능한 LUT 뉴런”을 직접 MLP 블록에 삽입하는 설계를 제안한다. LUT 뉴런은 입력 벡터를 비트열로 연결해 LUT 테이블을 조회함으로써 곱셈을 완전히 제거하고, 미분 가능한 근사 그래디언트를 이용해 엔드‑투‑엔드 학습이 가능하도록 한다.

LL‑ViT의 핵심 아이디어는 두 단계로 구성된다. 첫째, 채널 믹싱을 수행하는 기존 2‑layer MLP를 동일한 차원의 입력‑출력을 갖는 LUT‑기반 레이어로 교체한다. 여기서 각 LUT는 n‑입력(보통 4~6비트 양자화)으로 구성되며, 테이블 크기는 FPGA의 LUT‑Slice와 BRAM 자원을 효율적으로 활용하도록 설계된다. 둘째, 이러한 LUT‑채널 믹서를 기존의 멀티‑헤드 셀프‑어텐션(MHA) 토큰 믹서와 결합해 전체 인코더 블록을 재구성한다. 학습 과정에서는 차별화된 정규화와 가중치 스케일링을 적용해 LUT 테이블 엔트리가 과도하게 편향되지 않도록 제어하고, GELU와 같은 비선형 함수를 LUT 내부에 내재화한다.

하드웨어 측면에서는 FPGA(특히 Xilinx Virtex 시리즈)의 LUT‑Slice와 BRAM을 직접 활용해 LUT 뉴런을 구현한다. 곱셈 연산을 제거함으로써 DSP 사용량을 크게 감소시키고, 가중치 메모리를 온‑칩에 모두 적재할 수 있어 외부 DRAM 접근을 최소화한다. 설계된 가속기는 파이프라인화된 토큰 흐름과 채널 믹싱 병렬화를 통해 1083 FPS의 처리량을 달성했으며, 전력 소모는 10.9 W에 머물러 배터리 구동 엣지 디바이스에 적합하다.

실험 결과, CIFAR‑10에서 95.5 %, CIFAR‑100에서 78.8 %, Tiny‑ImageNet에서 60.9 %의 정확도를 기록했으며, 이는 동일한 파라미터 규모의 DeiT‑T와 거의 동일한 수준이다. 동시에 모델 파라미터는 60 % 이상 감소하고, 전체 MAC 연산은 50 % 절감되었다. 에너지 효율은 기존 정수 양자화 ViT 가속기 대비 1.9배, 지연시간은 1.3배 개선되었다. 이러한 결과는 LUT‑기반 뉴런이 단순히 곱셈을 대체하는 수준을 넘어, 비전 트랜스포머와 같은 복합 구조에서도 학습 가능하고 실용적인 효율성을 제공한다는 점을 입증한다.

본 연구는 비전 트랜스포머의 핵심 병목을 LUT‑뉴런으로 대체함으로써 모델 경량화와 하드웨어 최적화를 동시에 달성한 최초의 사례이며, 향후 더 큰 규모의 트랜스포머와 다양한 비전 태스크에 대한 확장 가능성을 제시한다.