LLM 훈련 데이터의 비밀 속성, 추론 가능할까?

초록

LLM이 의료 등 특정 도메인 데이터로 미세 조정될 때, 데이터셋 자체의 민감한 통계 속성(예: 환자 성비, 질병 유병률)이 모델에서 유출될 수 있음을 보인 연구. ‘PropInfer’ 벤치마크를 제안하고, 프롬프트 기반 생성 공격과 단어 빈도 기반 섀도우 모델 공격을 통해 이 취약점을 실증했다.

상세 분석

본 논문은 대규모 언어 모델(LLM)의 새로운 보안 취약점인 ‘속성 추론 공격’을 체계적으로 연구한다. 기존 공격이 이미지 분류 모델이나 GAN에 집중했다면, 이 연구는 텍스트 생성 모델인 LLM의 미세 조정 과정에서 데이터셋 수준의 집계적 속성이 유출될 수 있음을 최초로 입증했다.

핵심 기여는 크게 세 가지다. 첫째, ‘PropInfer’라는 표준화된 벤치마크를 구축했다. ChatDoctor 데이터셋을 기반으로 하며, 두 가지 주요 미세 조정 패러다임(지도적 미세 조정 기반의 ‘Q&A 모드’와 인과적 언어 모델링 미세 조정 기반의 ‘채팅-완성 모드’)과 두 가지 속성 유형(환자 성별 같은 인구통계 정보, 소화 장애 같은 의학적 진단 빈도)을 포함한다. 이는 공격 성공 요인이 모델이 데이터를 학습하는 방식(Q&A는 의사의 응답에, 채팅-완성은 전체 대화에 더 의존)과 속성이 드러나는 위치(환자 발화 vs. 의사 발화)에 따라 달라질 수 있음을 보여주기 위한 설계다.

둘째, 이 설정에 맞춘 두 가지 새로운 공격 방법을 제안했다. 1) 블랙박스 생성 기반 공격: 목표 모델에 도메인 특화 프롬프트(예: “안녕하세요 의사선생님, 저는 건강 상담이 필요합니다”)를 입력해 다수의 응답을 생성한 후, 생성된 텍스트에서 목표 속성(예: ‘여성’ 관련 언급)의 존재 여부를 분류하여 비율을 추정한다. 이 방법은 모델이 학습한 조건부 분포를 직접 샘플링한다는 직관에 기반한다. 2) 그레이박스 단어 빈도 기반 섀도우 모델 공격: 공격자는 보조 데이터셋을 이용해 목표 속성 비율이 다양한 여러 ‘섀도우 모델’을 미세 조정한다. 각 섀도우 모델에서 미리 정의된 키워드 목록(예: 질병 관련 용어)의 출력 빈도를 특징으로 추출하고, 이 빈도와 알려진 속성 비율 사이의 관계를 학습하는 메타 분류기(예: 회귀 모델)를 훈련시킨다. 이후 목표 모델의 키워드 출력 빈도를 계산해 메타 분류기에 입력함으로써 속성 비율을 추론한다.

실험 결과, 공격의 효과는 미세 조정 모드와 속성 유형에 따라 뚜렷이 달랐다. 단어 빈도 공격은 Q&A 모드에서, 특히 속성이 주로 환자 질문(입력)에 명시적으로 드러날 때(예: 성별) 매우 효과적이었다. 반면, 생성 기반 공격은 채팅-완성 모드에서, 또는 속성이 질문과 답변 모두에 걸쳐 분포할 때(예: 특정 질병 진단) 더 강력한 성능을 보였다. 이는 모델의 내부 메커니즘과 데이터 기억 패턴이 공격 표면에 직접적인 영향을 미친다는 중요한 통찰을 제공한다.

이 연구는 LLM 배포 시 데이터 기밀성에 대한 실질적인 위협을 경고한다. 개별 데이터 포인트의 노출을 방지하는 차등 프라이버시와는 별개로, 데이터셋 전체의 통계적 속성이 유출될 수 있다는 점에서 새로운 보안 고려사항을 제시한다. PropInfer 벤치마크는 향후 방어 메커니즘 연구를 위한 기초를 마련했다는 점에서 의미가 크다.