SSM 모델의 비극적 비트플립 취약성 분석: COBRA

초록

본 논문은 최신 시퀀스 모델인 Mamba 기반 상태공간 모델(SSM)의 하드웨어 비트플립 공격에 대한 취약성을 최초로 체계적으로 조사한다. 제안된 COBRA 프레임워크는 파라미터 민감도와 레이어 중요도를 정량화해 최소 비트수만으로도 모델 정확도를 74.64%에서 0%로, 퍼플렉시티를 18.94에서 3.75 × 10⁶ 수준으로 급격히 악화시킬 수 있음을 실험적으로 입증한다.

상세 분석

COBRA는 먼저 Mamba 블록의 구조적 특성을 분석한다. 상태전이 행렬 A와 고정 스킵 계수 D는 모든 타임스텝에서 동일하게 적용되므로 파라미터 변동에 대한 감도가 매우 높다. 반면 입력에 따라 동적으로 생성되는 Bₜ, Cₜ, Δₜ는 런타임에 계산되지만, 그 기반이 되는 프로젝션 시드와 저차원 확장 파라미터는 학습 단계에서 고정된다. 논문은 이 고정 파라미터를 목표로 삼아, 파라미터 절대값과 그래디언트 크기의 가중합 S = α·|∇W| + (1‑α)·|W| 로 민감도 점수를 정의하고, 레이어별 Top‑K 비트를 샘플링한다. 이후 BFlipLoss 함수를 통해 각 레이어에 비트플립을 적용하고 손실 증가량을 측정해 레이어를 순위화한다. 최종적으로는 NP‑hard인 최소 비트 집합 선택 문제를 완화된 연속형 최적화와 무작위 탐색 휴리스틱으로 해결한다. 실험에서는 단일 비트플립이 LAMBADA 정확도를 0%로 만들고, WikiText‑2 퍼플렉시티를 10⁶ 수준으로 폭발시켰다. 이는 기존 트랜스포머 기반 LLM이 보인 취약성과 비교해 비슷하거나 더 심각한 수준이며, SSM 특유의 파라미터 배치가 공격 표면을 확대한다는 점을 시사한다. 또한, 공격이 백색·회색 박스 상황 모두에서 유효함을 보이며, 메모리 오류(예: RowHammer, 레이저 주입)와 같은 실제 하드웨어 위협에 대한 방어 필요성을 강조한다. 한계점으로는 현재 1.4 B 규모 모델에만 적용했으며, 대규모 모델이나 양자화된 모델에 대한 일반화는 추가 연구가 필요하다.