법과 적대적 머신러닝: 책임과 규제의 교차점

초록

이 논문은 적대적 공격(교란, 중독, 모델 탈취·역추출 등)이 머신러닝 시스템에 미치는 법적 영향을 분석한다. 미국의 컴퓨터 사기·남용법(CFAA), 저작권·영업비밀법, 그리고 민사·형사 책임 이론을 토대로 각 공격 유형별 책임 가능성을 평가하고, 연구자에게 투명한 벤치마크, 포렌식 설계, 시민권 고려를 촉구한다.

상세 분석

논문은 먼저 적대적 머신러닝 공격을 네 가지 범주(공급망 교란, 교란·중독, 모델 탈취·역추출, 모델 역인버전)로 구분하고, 각각을 기존 미국 법제와 연결한다. 공급망 공격과 교란·중독 사례는 컴퓨터 사기·남용법(CFAA)의 ‘무단 접근’과 ‘손해 발생’ 조항에 의해 형사·민사 책임이 부과될 가능성이 높다. 특히, 공격자가 사전 학습 모델을 HTTP를 통해 가로채거나, 버퍼 오버플로우를 이용해 이미지 인식 시스템을 오동작하게 하는 경우는 명백한 무단 접근과 데이터 무결성 위반으로 해석될 여지가 크다. 그러나 ‘손해’의 정의가 모호해 법원이 언제 손해로 판단할지에 대한 불확실성이 존재한다. 예를 들어, 의료 데이터 중독 공격은 코드(오염된 샘플)를 전송해 모델을 손상시키는 행위로 볼 수 있지만, 입력 자체가 악의적이라고 판단하기 어려워 법리적 해석이 갈릴 수 있다.

저작권법과 영업비밀법을 적용한 모델 탈취·역추출 논의에서는, 학습 데이터 자체가 사실 정보라면 저작권 보호를 받지 못한다는 점을 강조한다. 따라서 데이터 재구성 공격은 저작권 침해 소송에서 승소하기 어렵다. 반면, 모델 구현 코드가 ‘문학적 저작물’로 보호받을 수 있으나, 역추출된 모델이 원본 코드와 실질적으로 동일하지 않다면 저작권 침해가 성립되지 않는다. 영업비밀 보호를 주장하려면 기업이 합리적인 비밀 유지 조치를 취했는지가 핵심이며, 이는 계약적 약관(TOS)으로 보완될 수 있다. 하지만 공개된 API를 통해 재구성된 모델을 제3자가 배포하면, 원 저작권자는 직접적인 계약 위반을 주장하기 어려워 법적 방어가 약해진다.

책임법 섹션에서는 제품 책임과 과실 책임을 중심으로 논의한다. 머신러닝 시스템은 테스트 오류가 존재하므로 적대적 예제가 언제든 발생할 수 있다는 점을 들어, 제조업체가 ‘합리적인 보안 조치’를 취했는지 여부가 책임 판단의 핵심이 된다. 현재 산업 표준이 부재하고, 오픈소스·상용 컴포넌트가 혼합된 복합 생태계이기 때문에 손해 발생 원인을 규명하기 어려워 법적 책임이 불명확하다. 특히, 드론 이미지 인식 시스템이 적대적 이미지에 의해 오작동할 경우, 제조업체, 모델 제공자, 클라우드 서비스 제공자 등 다수의 주체가 연관될 수 있다.

마지막으로 논문은 세 가지 실천 권고를 제시한다. 첫째, 공격·방어 벤치마크를 표준화하고 위험 평가 프레임워크(DREAD 등)를 도입해 정책 입안자가 기술적 현실을 이해하도록 돕는다. 둘째, 시스템 설계 단계에서 로그, 알림, 샌드박스 등 포렌식 기능을 내재화해 사건 조사와 증거 확보를 가능하게 한다. 셋째, 적대적 기술이 표현의 자유·프라이버시 등 시민권에 미치는 영향을 사전에 고려하고, 억압적 정권이 백도어를 삽입하는 시나리오에 대비하도록 연구자에게 촉구한다. 이러한 제언은 법적 불확실성을 줄이고, 머신러닝 기술이 사회에 안전하게 정착하도록 하는 데 기여한다.