플라톤의 형태: 프로토타입 기반 백도어 방어 서비스 구현

초록

본 논문은 최소한의 전제 조건만으로 다양한 대형 언어 모델(LLM)의 백도어를 정화할 수 있는 프레임워크 PROTOPURIFY를 제안한다. 백도어 벡터 풀을 구축하고, 이를 프로토타입으로 집계한 뒤, 대상 모델과의 유사도 매칭을 통해 가장 적합한 프로토타입을 선택한다. 레이어별 정렬 분석으로 경계 레이어를 찾고, 해당 레이어의 프로토타입 정렬 성분을 억제함으로써 백도어를 제거하면서도 정상 성능 저하를 3% 이하로 제한한다. 실험 결과 6가지 방어 기법과 6가지 공격 시나리오에서 ASR을 10% 이하, 경우에 따라 1.6%까지 낮추었다.

상세 분석

PROTOPURIFY는 백도어 탐지를 위한 “프로토타입” 개념을 도입한다는 점에서 기존 방어와 차별화된다. 먼저, 동일한 베이스 모델을 사용해 청정 모델과 백도어가 삽입된 모델을 쌍으로 학습시켜 두 모델 간 파라미터 차이를 백도어 벡터로 정의한다. 이 과정을 다양한 데이터셋·공격 유형(단일 트리거, 다중 트리거, 트리거리스)에서 반복함으로써 다채로운 백도어 벡터 풀을 만든다. 이후, 백도어 벡터들을 산술 평균(AM)이나 주성분 분석(PCA) 등으로 집계해 여러 개의 프로토타입 벡터를 생성한다. 대상 모델에 대해 각 레이어별 파라미터 차이를 동일한 방식으로 분해하고, 코사인 유사도로 프로토타입과 정렬 정도를 측정한다. 이때 하위 레이어에서는 정렬 점수가 낮고, 특정 깊이 이후 급격히 상승하는 패턴을 관찰해 “경계 레이어”를 자동으로 결정한다. 경계 레이어 위쪽만을 정화 대상으로 삼아, 각 가중치 행렬을 행렬 분해(예: SVD)해 독립 성분으로 나눈 뒤, 프로토타입과의 투영값이 큰 성분에 억제 스케일을 적용한다. 억제 강도는 하이퍼파라미터로 조정 가능해 정화 강도와 정상 성능 사이의 트레이드오프를 세밀하게 제어한다.

이 설계는 네 가지 실용적 요구사항을 동시에 만족한다. 첫째, 백도어 벡터와 프로토타입은 모델‑독립적이므로 한 번 구축한 프로토타입을 여러 모델에 재사용할 수 있다(재사용성). 둘째, 경계 레이어 탐지와 억제 강도 조절을 통해 특정 공격 유형이나 도메인에 맞게 커스터마이징이 가능하다(맞춤성). 셋째, 레이어‑별 정렬 점수와 억제 대상 성분을 시각화함으로써 백도어가 어느 파라미터에 집중되는지 해석 가능하다(해석성). 넷째, 파라미터 차이 계산·코사인 매칭·행렬 분해는 모두 전방 연산이며, 추가 학습이 필요 없으므로 런타임 비용이 낮다(효율성).

실험에서는 GPT‑2, LLaMA‑2, Falcon 등 다양한 규모의 LLM을 대상으로 텍스트 분류와 텍스트 생성 두 가지 작업을 평가했다. 6가지 대표 방어(Fine‑tuning, Pruning, BadAct 등)와 6가지 공격(Dirty‑Label, BadEdit, VPI 등)을 조합한 36가지 시나리오에서 PROTOPURIFY는 평균 ASR을 90% 이상 감소시키면서, 청정 정확도(CDA) 손실을 3% 미만으로 억제했다. 특히, 트리거리스 공격에서는 ASR을 1.6%까지 낮추는 성과를 보였으며, 비백도어 모델에 적용했을 때는 성능 저하가 거의 없었다. 적응형 공격(프로토타입을 회피하도록 설계된 변형)에도 견고함을 유지했으며, 프로토타입 수를 늘리거나 PCA 차원을 조정해도 안정적인 정화 효과를 확인했다.

한계점으로는 프로토타입 구축을 위해 사전에 청정·백도어 모델 쌍이 필요하다는 점이다. 다만, 연구팀은 공개된 백도어 벡터 풀을 공유하고, 클라우드 기반 BDaaS 환경에서 지속적으로 업데이트함으로써 실운용에서의 제약을 완화할 수 있다고 주장한다. 또한, 현재는 파라미터 차이에 기반한 정화이므로, 입력‑레벨 트리거 탐지와 결합하면 더욱 강력한 방어 체계가 될 가능성이 있다.