서론

적대적 공격은 실제 응용 프로그램에서 심층 신경망(DNN) 모델의 안정적인 배포에 큰 도전을 제기한다. 적대적 공격은 입력 데이터에 정교하게 구성된 편차를 삽입함으로써 신경 아키텍처의 취약점을 이용하고, 심각한 오분류를 유발할 수 있다. 그 중에서 패치 기반 적대적 공격은 특히 지역화된 특성과 실제 활용 가능성 때문에 우려된다. 분산 노이즈 공격과 달리 패치 공격은 이미지의 특정 영역을 조작하며, 눈에 띄는 물리적인 스티커를 사용하여 최소한의 적대적 노력으로 모델을 일관되게 속일 수 있다. 이러한 공격들은 분류, 탐지 및 깊이 추정 파이프라인을 해치며 자율 주행, 감시, 의료 진단과 같은 안전성이 중요한 도메인에서 심각한 위험을 초래한다.

EdgeAI 배포에서는 모델이 리소스 제약된 장치에서 작동하는 경우 위협은 더욱 증가한다. 이러한 시스템은 자율 주행 차량, IoT 감시 및 이동 로봇에 필수적이며, 정확성, 지연 시간, 전력 소비를 매우 제한적인 조건 하에서 균형을 맞추어야 한다. 기존 방어 전략에는 적대적 학습, 모델 앙상블, 인증된 강건성 등이 포함되나 이러한 방법들은 EdgeAI 환경에서는 실용적이지 않은 높은 계산 비용을 초래한다. 이는 재훈련이나 특수 하드웨어 없이 실제적인 강건성을 제공하는 경량화 및 포터블 방어 수단의 필요성을 동기부여한다.

/>

우리가 연구한 적대적 패치 행동은 정보 이론적인 특징을 나타낸다. 상호 정보(MI)를 사용하여 이미지의 슬라이딩 윈도우 청크 내에서 색상 채널 간의 국소화된 의존성을 양적으로 측정한다. 적대적 패치와 겹치는 영역은 정상적인 지역과 구분되는 높은 MI 값을 보여준다. 이러한 관찰은 우리의 방어 전략을 동기부여하며, Figure 2에서 적대적 영역이 통계적인 이상치로 효율적으로 식별될 수 있음을 보여준다.

/>

이러한 인사이트를 바탕으로 우리는 PatchBlock, 즉 이미지가 하류 모델로 전달되기 전에 적대적 패치를 검출하고 중립화하는 경량화된 프리프로세싱 틀을 제안한다. PatchBlock은 다음과 같은 세 가지 단계로 구성된다: (i) chunking, 입력이 로컬 윈도우로 분할되는 것; (ii) separating, 재설계된 Isolation Forest를 사용해 타겟팅 컷으로 빠른 수렴을 달성하는 것; 그리고 (iii) mitigating, 특이성을 중립화하기 위해 특이값 분해(SVD)를 통한 차원 축소가 이루어지는 것이다. 재훈련이나 GPU 기반 인증 검사가 필요하지 않은 방어와 달리, PatchBlock은 CPU에서 효율적으로 실행되며 GPU 추론과 겹쳐서 임베디드 배포에서 처리량을 유지한다.

본 논문의 주요 기여는 다음과 같다:

• PatchBlock이란 경량화되고 모델에 독립적인 방어 메커니즘으로, 상호 정보 분석 및 특이값 분해를 사용하여 영향력 있는 영역을 중립화함으로써 적대적 패치를 검출하고 완화한다. PatchBlock은 기존 파이프라인에 재훈련 없이 통합할 수 있도록 설계되었다.
• PatchBlock은 Isolation Forest와 Singular Value Decomposition(SVD)을 결합한 통계적 방법을 활용하여 이상치 영역을 효과적으로 식별한다. CPU에서 주로 작동하며 GPU 기반 계산을 필요로 하지 않아 리소스 제약된 EdgeAI 환경에 매우 적합하다.
• 계산 부담을 줄이기 위해, 표준 구현보다 수렴 속도를 높이는 타겟팅 컷 전략으로 Isolation Forest를 재설계한다. 또한 국부적인 의존성을 활용하고 병렬 처리를 통한 상호 정보(MI) 계산 방법을 최적화하여 실시간 방어에 대한 실용성을 향상시킨다.
• PatchBlock은 다양한 신경망 모델(ResNet-50, VGG-19, Vision Transformers, YOLOv4), 데이터셋(ImageNet, INRIA, CASIA) 및 적대적 패치 공격(Google Adversarial Patch (GAP), AdvYOLO)에 대해 종합적인 평가를 수행한다. 결과적으로 PatchBlock은 다양한 아키텍처와 엣지 장치에서 강건성을 높여 77%의 정확도 회복을 달성하며, 깨끗한 성능 저하를 최소화한다.

/>

이론적 배경

본 절에서는 PatchBlock 방어 프레임워크를 동기부여하는 이론적 근거와 디자인 선택을 살펴보겠다.

위협 모델: 적대적 패치 공격

적대적 패치 공격은 공격자가 이미지에 눈에 띄는 패턴(예: 스티커)을 삽입하여 심층 신경망(DNNs)을 속이는 로컬화된 편차이다. 이러한 공격들은 분류, 탐지 및 깊이 추정 파이프라인을 해치며 자율 주행, 감시 및 의료 진단에 심각한 영향을 미친다. 본 논문에서는 모델 아키텍처와 방어 전략을 알고 있는 white-box 위협 모델을 고려한다. 적응적 공격자는 강건성 마진을 줄일 수 있지만, PatchBlock은 강력한 패치 기반 공격에 대해 견고성을 보여준다.

상호 정보

상호 정보(MI)는 두 무작위 변수 간에 공유되는 정보의 양을 측정한다. $`X`$와 $`Y`$에 대해 MI는 다음과 같이 정의된다:

\begin{equation}
I(X; Y) = \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p(x, y) \log \left(\frac{p(x, y)}{p(x)p(y)}\right)
\label{eq:MI}
\end{equation}

여기서 $`p(x,y)`$는 결합 분포이고 $`p(x)`$, $`p(y)`$는 변량이다.

이미지에서 MI는 로컬 지역 간의 통계적 의존성을 포착한다. 적대적 패치는 비정상적인 상관관계를 도입하여 깨끗한 영역과 차별화되는 MI 값을 나타내므로, 이를 검출하는 유용한 통계 신호가 된다. 정식으로, 패치 $`\mathbf{P}_{i,j}`$와 이미지 $`\mathbf{I}`$ 내에서의 이웃 $`\mathbf{N}_{i,j}`$에 대해:

\begin{equation}
I(\mathbf{P}_{i,j}; \mathbf{I}) = I\left( \mathbf{P}_{i,j}; \bigcup_{(k,l)} \mathbf{P}_{k,l} \right)
\end{equation}

전역 MI를 계산하는 것은 계산적으로 비용이 많이 들지만, PatchBlock은 이러한 이상을 포착하면서도 실시간 배포가 가능한 효율적인 국부적 근사를 사용한다.

이상치 검출

Isolation Forest (IF)는 무작위로 생성된 결정 트리를 사용해 특성 공간을 재귀적으로 분할하는 앙상블 기반 이상치 탐지 알고리즘이다. 원리는 이례적인 데이터가 드물고 독특하므로, 더 적은 분할만으로 고립될 수 있다는 것이다. PatchBlock에서 적대적 패치는 이러한 이례성을 나타내며, 이미지의 작은 영역을 차지하면서 깨끗한 콘텐츠와 통계적으로 다르다. IF는 따라서 패치 로케이션에 대한 자연스러운 선택이며, 비감독적이며 라벨링 데이터에 의존하지 않고 계산적으로 경량화된다. 효율성을 더욱 개선하기 위해, 우리는 IF에 targeted-cut 수정을 도입한다. 무작위 분할 대신, 통계적으로 유의미한 지역으로 편향된 분할은 트리 깊이를 줄이고 수렴 속도를 높인다. 이 설계는 IF가 리소스 제약된 EdgeAI 환경에서 더 실용적이게 만든다.

차원 축소

차원 축소 방법은 데이터를 정보를 유지하면서 하위 차원의 서브스페이스로 투영함으로써 적대적 노이즈를 완화한다. PatchBlock에서는 Singular Value Decomposition(SVD)을 사용하며, 특이값의 비율을 정보 유지의 추정치로 사용한다. 이상치 구성 요소를 약화시켜 패치 영향력을 효과적으로 억제하고 깨끗한 기능을 유지한다. 단순한 작업인 제로 아웃이나 블러링도 적용될 수 있지만, SVD는 강건성과 정확성을 균형 있게 제공하는 원칙적인 방법이다. 이 선택은 PatchBlock이 패치를 중립화하면서 깨끗한 성능을 크게 저하시키지 않도록 돕는다.

엣지 디바이스와 응용 프로그램

NVIDIA Jetson AGX Orin, AGX Xavier 및 Orin Nano와 같은 EdgeAI 플랫폼은 자율 주행, 로봇공학 및 감시 시스템에 널리 사용된다. 이러한 장치는 계산력, 메모리 및 에너지 제약 하에서 고속 통과 센서 데이터를 처리해야 한다. 대표적인 응용 프로그램으로는 다음과 같다:

• 자율 주행: 카메라, LiDAR, 레이더 등 다중 모드 데이터의 실시간 분석을 통해 환경 인식, 객체 탐지 및 네비게이션.
• 감시: 클라우드 자원에 대한 의존성을 줄이면서 장치 내 동영상 분석을 통한 이상 탐지, 객체 추적 및 얼굴 인식.

이러한 응용 프로그램에서는 방어 기제는 지연 시간이나 에너지 비용을 부과하지 않고 강건성 향상을 가져야 한다. PatchBlock은 명시적으로 이러한 요구 사항을 충족하도록 설계되어 있다: CPU에서 효율적으로 실행되며 GPU 추론과 겹쳐 시스템 레벨의 오버헤드를 최소화한다.

PatchBlock 알고리즘

PatchBlock 알고리즘의 구현은 세 단계로 이루어진다. 첫 번째 과정은 입력 이미지를 이동 윈도우를 사용하여 채크로 나누는 것이다. 이 단계는 커널 크기와 이동 윈도우의 스트라이드 길이에 의해 특징지어진다. 두 번째 부분은 Isolation Forest를 사용해 이미지 내에서 잠재적으로 적대적 패치가 포함될 수 있는 이상한 채크를 탐지하는 것이다 (알고리즘 [forest], [tree], [gradsplit] 참조). 마지막 과정은 특이값 분해(SVD)를 사용하여 패치가 포함되었을 가능성이 있는 영역을 완화하는 것이다. 이 세 단계 파이프라인은 알고리즘 [alg1]에서 설명되며, 상응하는 흐름 도표는 Figure 4에 제시된다.

/>

이상치 검출을 위해 PatchBlock은 Fast Isolation Tree의 앙상블을 사용한다. 이는 Fast Isolation Forest이며, 알고리즘 [forest]에서 자세히 설명된다. 특히, 우리는 랜덤 컷 대신 데이터셋 속성에 대한 타겟팅 컷을 사용해 더 빠른 수렴과 따라서 더 빠른 이상치 검출이 가능한 효과적인 버전의 Isolation Tree를 사용한다. Fast Isolation Tree 알고리즘은 알고리즘 [tree]에서 설명되며, 이는 $`GradientSplit`$이라는 함수를 사용해 타겟팅 컷을 만든다.

📊 논문 시각자료 (Figures)

감사의 말씀