스펙트럼 정렬 프루닝으로 경량화된 범용 오류 정정 변환기

초록

본 논문은 범용 오류 정정 코드 변환기(FECCT)의 연산량과 메모리 부담을 구조화된 프루닝과 LoRA 기반 파라미터 효율적 복구를 결합한 스펙트럼‑정렬 프루닝(SAP) 기법으로 크게 감소시킨다. bipartite 그래프의 스펙트럼을 이용해 코드 간 프루닝 마스크를 재사용하고, 코드별로는 작은 LoRA 어댑터만 학습함으로써 다양한 코드군에서 기존 전용 프루닝 수준의 성능을 유지한다.

상세 분석

SAP는 먼저 FECCT 백본에 대해 코드‑조건부 중요도 추정(Fisher 기반)을 적용해 각 코드에 대한 구조화된 프루닝 마스크를 생성한다. 여기서 구조화된 프루닝이란 어텐션 헤드와 FFN 채널을 단위로 제거하는 것으로, 실제 하드웨어 수준에서 커널‑레벨 연산 감소를 가능하게 한다. 그러나 매번 새로운 코드를 위해 마스크를 새로 찾는 것은 계산 비용이 크다. 이를 해결하기 위해 저자들은 각 코드의 패리티‑체크 행렬 H 로부터 bipartite 그래프 인접 행렬 A(H)를 구성하고, 상위 K개의 고유값을 추출해 고정 차원의 스펙트럼 서명을 φ(H)로 정의한다. 두 코드 간 스펙트럼 거리 d(φ(H₁),φ(H₂))는 L2 노름으로 측정되며, 이를 지수 변환해 유사도 κ를 얻는다. κ가 사전 정의된 임계값 τ 이상이면 가장 유사한 코드의 프루닝 마스크를 그대로 재사용하고, 그렇지 않으면 새로운 마스크를 계산해 라이브러리에 추가한다. 이 과정은 알고리즘 1에 요약돼 있으며, 마스크 라이브러리의 크기가 점진적으로 증가하면서도 불필요한 마스크 탐색을 크게 줄인다.

프루닝 후 성능 저하를 보완하기 위해 저자들은 LoRA(Low‑Rank Adaptation)를 도입한다. 프루닝된 백본 파라미터는 고정하고, 각 코드마다 rank‑r 행렬 A와 B를 학습해 어텐션 및 FFN 가중치에 저차원 보정값을 더한다. 이렇게 하면 전체 파라미터 수는 수백 배 감소하면서도 복구 성능은 전용 프루닝 대비 거의 차이가 없으며, 저장 공간과 전송 비용이 크게 절감된다. 실험에서는 40 % FLOPs 감소와 7 % 수준의 파라미터 감소를 달성했으며, BCH, Polar, LDPC 등 다양한 (n,k) 조합에 대해 BER 측면에서 기존 전용 프루닝과 동등하거나 약간 우수한 결과를 보였다. 특히 Jaccard 유사도와 스펙트럼 거리 사이에 강한 상관관계가 있음을 확인해, 스펙트럼 기반 유사도 측정이 마스크 재사용 가능성을 효과적으로 예측한다는 점을 입증했다.

이러한 설계는 변환기 기반 ECC 디코더가 실시간 통신 시스템이나 엣지 디바이스에 적용될 때, 연산량과 메모리 제약을 크게 완화하면서도 범용성을 유지할 수 있게 한다. 또한, 스펙트럼 서명을 이용한 마스크 관리 방식은 다른 그래프‑기반 모델(예: GNN)에도 확장 가능성을 시사한다.