학습 가능한 펄스 누적으로 보는 온디바이스 음성 인식 효율 혁신
본 논문은 self‑attention의 O(n²) 복잡도를 O(n) 선형 연산으로 대체하는 Learnable Pulse Accumulator(LPA)를 제안한다. LPA는 내용‑의존형 사각 펄스, 주기적 윈도우, 위치‑기반 기반 함수를 학습된 게이트로 사용해 키‑쿼리 내적을 대신한다. 레이어별 MSE 진단 스윕으로 교체 난이도를 측정하고, 가장 쉬운 레이어부터 순차적으로 교체하는 진행식 변환 방식을 제시한다. wav2vec2‑base 모델의 1…
저자: Yakov Pyotr Shkolnikov
본 연구는 모바일 및 엣지 디바이스에서의 음성 인식 모델이 직면한 핵심 문제인 self‑attention의 O(n²) 시간·메모리 복잡도를 해결하고자 한다. 기존의 선형 attention, SSM, SummaryMixing 등은 각각 제한적인 가정이나 추가적인 구조 변형을 필요로 했지만, 본 논문은 완전히 새로운 연산 원리인 Learnable Pulse Accumulator(LPA)를 제안한다. LPA는 입력 시퀀스 X∈ℝⁿˣᵈ에 대해 P개의 게이트 gₚ(t)∈
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기