경제적인 제트 태거 대칭 경량 양자화

초록

본 논문은 최신 L‑GA​Tr 변환기 구조를 경량화하고 1 천 개 파라미터 수준까지 축소한 뒤, 저정밀 양자화 기법을 적용해 에너지 소비를 10배 이상 절감하면서도 기존 최고 성능에 근접한 제트 태거를 제시한다.

상세 분석

L‑GA​Tr‑slim은 기존 L‑GA​Tr이 사용하던 스칼라·벡터·의사스칼라·축척벡터·2차 텐서 등 5가지 멀티벡터 구성요소를 모두 제거하고, 스칼라와 4‑벡터만을 남긴다. 이는 로렌츠 대칭을 유지하면서도 연산량을 크게 낮춘 설계이다. 선형 레이어는 스칼라와 벡터에 각각 동일한 스칼라 가중치를 곱하도록 정의돼, 로렌츠 변환 하에서 불변성을 보장한다. 비선형 활성화는 GLU 방식을 확장해, 벡터 내적에 GELU를 적용하고 그 결과를 벡터 출력에 곱해준다. RMSNorm은 Minkowski 내적의 절댓값을 사용해 벡터 정규화를 수행함으로써 부호가 바뀔 수 있는 로렌츠 내적을 안정적으로 다룬다. 어텐션 연산은 스칼라‑스칼라 내적과 벡터‑벡터 내적을 각각 가중합한 뒤 Softmax를 적용해 스코어를 구하고, 이를 통해 값(벡터)와 스칼라를 동시에 업데이트한다. 이러한 설계는 기존 L‑GA​Tr 대비 파라미터 수를 30 % 정도 줄이면서도 정확도와 AUC에서 차이가 거의 없음을 실험적으로 확인했다.

양자화 단계에서는 두 가지 접근법을 비교한다. 첫 번째는 기존의 Straight‑Through Estimator(STE)를 그대로 적용하는 방법이며, 두 번째는 Proximal‑Gradient 기반의 Piecewise‑Affine Regularized Quantization(PARQ)을 도입해 가중치를 사전 정의된 구간에 강제로 매핑한다. PARQ는 정규화 항을 추가해 학습 중에 양자화 손실을 최소화하고, STE보다 더 낮은 비트(4‑bit, 2‑bit)에서도 안정적인 수렴을 보인다. 실험 결과, 8‑bit 양자화에서는 정확도 저하가 0.2 % 이하였으며, 4‑bit에서는 1 % 미만, 2‑bit에서는 2‑3 % 수준으로 유지되었다. FLOPs와 메모리 사용량은 각각 70 %와 65 % 정도 감소했고, 전력 소모는 동일 하드웨어에서 약 10배 절감되었다.

다양한 벤치마크(Top‑tagging, JetClass 다중 클래스, Z+4g 진폭 회귀)에서 L‑GA​Tr‑slim과 양자화된 버전은 기존 대형 변환기(L‑GA​Tr, LLoCa)와 거의 동등한 성능을 보였다. 특히 1 천 파라미터 규모의 초소형 모델은 트리거 레벨 적용 가능성을 시사한다. 저정밀 양자화와 경량화가 결합된 결과는 HL‑LHC 트리거 시스템에 직접 탑재될 수 있는 실용적인 솔루션을 제공한다.