저차원 방어 LoRD: 라틴시 디퓨전 모델의 적대적 공격을 효과적으로 차단

초록

본 논문은 라틴시 디퓨전 모델(LDM)의 LoRA 파인튜닝 과정에 대한 적대적 공격을 방어하기 위해, 두 개의 저차원 LoRA 브랜치와 입력에 따라 가중치를 조절하는 MLP 기반 균형 파라미터 λ를 도입한 LoRD(Low‑Rank Defense) 모듈을 제안한다. 두 단계 학습 파이프라인을 통해 깨끗한 샘플과 공격 샘플 모두에서 고품질 이미지를 생성한다는 점을 실험적으로 입증한다.

상세 분석

LoRD는 기존 LoRA 구조에 두 번째 저차원 매트릭스 B′와 이를 제어하는 MLP(다층 퍼셉트론)를 추가함으로써, 입력 이미지가 정상인지 적대적 변조를 받았는지를 판단하고 각각에 맞는 가중치를 동적으로 할당한다. 수식 (4)‑(5)에서 λ=σ(MLP(α_r B A x))는 시그모이드 함수를 통해 0~1 사이의 확률값으로 변환되며, λ≈0이면 원본 LoRA 브랜치(O₁)만 사용하고, λ≈1이면 방어용 브랜치(O₂)를 최대한 활용한다. 이 설계는 적대적 샘플에 대해 별도의 파라미터를 학습하면서도, 정상 샘플에 대해서는 기존 성능을 크게 저하시키지 않는 ‘조건부 병합’ 메커니즘을 제공한다.

학습 파이프라인은 두 단계로 나뉜다. Stage‑1에서는 전체 이미지‑텍스트 데이터셋에 대해 PGD 기반 공격을 생성하고, 원본 LDM 손실 L_LDM과 공격 샘플에 대한 손실 L_adv LDM을 동시에 최소화한다. 또한 λ를 정답 라벨(0: clean, 1: adversarial)과 비교해 BCE 손실을 적용함으로써 λ가 올바른 판단을 학습하도록 유도한다. 여기서 λ_adv와 λ_det은 각각 공격 손실과 λ 검출 손실의 가중치를 조절한다. Stage‑2에서는 사전 학습된 LoRD 가중치를 LDM에 병합한 뒤, 소수의 적대적 샘플만을 사용해 기존 LoRA 파라미터를 미세 조정한다. 최종 테스트 단계에서는 LoRD와 LoRA를 동시에 병합해, 입력이 깨끗하든 공격받았든 관계없이 고품질 텍스트‑투‑이미지 결과를 얻는다.

실험에서는 CelebA‑HQ, VGGFace2(인물)와 중국 풍경 화풍 데이터셋을 사용해 정량적 지표(CLIP‑IQA, FID)를 측정하였다. LoRD는 기존 PGD‑2 방어와 비교해 CLIP‑IQA 점수를 크게 향상시키고(FID도 현저히 감소) 특히 풍경 이미지에서 95.26이라는 최저 FID를 기록했다. 시각적 결과 역시 원본 LoRA가 공격에 의해 왜곡된 출력을 보이는 반면, LoRD는 자연스러운 색감과 디테일을 유지한다.

본 연구의 강점은 (1) 저차원 매개변수만 추가해 연산 비용을 최소화하면서 (2) 적대적 샘플에 특화된 방어 브랜치를 학습하고, (3) 기존 파인튜닝 파이프라인에 거의 무변형으로 통합할 수 있다는 점이다. 그러나 몇 가지 한계도 존재한다. 첫째, λ를 결정하는 MLP가 단순히 시그모이드 출력에 의존하므로 복잡한 공격 패턴을 완전히 포착하지 못할 가능성이 있다. 둘째, 실험은 주로 이미지‑텍스트 쌍과 제한된 공격 설정(ACE/ACE+, PGD)만을 다루었으며, 다른 종류의 화이트‑박스·블랙‑박스 공격에 대한 일반화는 추가 검증이 필요하다. 셋째, LoRD가 두 개의 LoRA 브랜치를 병합하므로 메모리 사용량이 약간 증가하지만, 이는 r ≪ d인 저차원 특성 덕분에 실용적인 수준이다. 전반적으로 LoRD는 LDM 기반 생성 모델의 파인튜닝 단계에서 발생할 수 있는 적대적 위협을 실용적이고 효율적으로 완화하는 유망한 접근법이다.