대형 오디오 언어 모델의 회원 추론 공격: 교란 요인 제거와 교차‑모달 기억 분석

**배경 및 동기** 대형 오디오 언어 모델(LALM)은 음성 인식, 오디오 캡션, 음악 이해 등 다양한 멀티모달 작업을 하나의 프레임워크에서 수행한다. 웹 규모의 방대한 데이터로 사전 학습되면서 뛰어난 일반화 능력을 보이지만, 학습 데이터에 포함된 민감한 음성 정보가 모델에 기억될 위험도 커졌다. 기존 텍스트 기반 대형 언어 모델(LLM)이나 비전‑언어 모델(VLM)에서 회원 추론 공격(Membership Inference Attack, MIA)이 프라이버시 위험을 평가하는 표준 도구로 자리 잡았지만, 음성 데이터는 비언어적 특성(스피커 정체성, 녹음 환경 등)이 풍부해 단순히 텍스트와 동일한 MIA 방법을 적용하기 어렵다. 특히 학습·테스트 셋 간에 음향 분포가 크게 달라지는 경우, 모델이 아닌 데이터 자체의 차이만으로도 높은 MIA 성능을 얻을 수 있다. **연구 목표** 1. LALM에 대한 최초의 체계적 샘플‑레벨 MIA 평가를 수행한다. 2. 데이터 자체의 분포 편향을 정량화하는 ‘멀티모달 블라인드 베이스라인’을 도입해, 스푸리어스한 MIA 결과를 식별한다. 3. 블라인드 베이스라인을 통과한 데이터에 대해 실제 기억을 측정하고, 기억이 교차‑모달(스피커‑텍스트) 형태로 존재함을 입증한다. **방법론** - **3단계 프레임워크** 1. *멀티모달 블라인드 베이스라인* : 메타데이터, 텍스트 TF‑IDF, 저수준 음향 특징(MFCC, 스펙트럼, 피치, RMS, ZCR 등)을 이용해 로지스틱 회귀 분류기를 학습한다. 모델에 접근하지 않고도 학습·테스트 샘플을 구분한다면 데이터 편향이 존재한다는 신호다. 2. *MIA 감사* : 두 개의 공개 LALM, Audio‑Flamingo 3(AF3)와 Music‑Flamingo(MF)를 대상으로 7가지 confidence‑based MIA 지표(Perplexity, Shannon Entropy, Min‑k%, Max‑k%, Rényi‑Divergence, Zlib Ratio, Probability Gap)를 결합한 30차원 피처를 로지스틱 회귀로 학습한다. 10‑fold 교차 검증을 통해 샘플별 회원 점수를 산출하고, AUC‑ROC로 성능을 평가한다. 3. *모달리티 디스엔탱글먼트* : (i) 원본 오디오‑텍스트, (ii) 텍스트‑Only(무음), (iii) Noise‑Only, (iv) Acoustic Resynthesis(텍스트‑to‑Speech 혹은 텍스트‑to‑Audio) 네 조건에서 MIA 성능을 비교한다. - **데이터셋** 8개 데이터셋(ASR: LibriSpeech, GigaSpeech, TED‑Lium, VoxPopuli, SPGISpeech; Audio Captioning: Clotho, CochlScene; Music: NSynth)에서 공식 학습·테스트 분할을 사용한다. 각 데이터셋당 2,000~5,000 샘플을 균형 있게 추출했다. - **블라인드 베이스라인 결과** 대부분의 데이터셋에서 메타데이터·텍스트·음향 특징을 결합한 블라인드 분류기의 AUC가 0.9 이상, 일부는 거의 1.0에 달했다. 특히 GigaSpeech와 LibriSpeech은 AUC≈1.0이며, 이는 학습·테스트 셋이 음향적으로 거의 구분 가능함을 의미한다. - **MIA 성능과 블라인드 상관** 동일 데이터셋에 대해 MIA AUC와 블라인드 AUC 사이의 피어슨 r값이 0.4~0.8으로, 특히 GigaSpeech(r≈0.59)와 LibriSpeech(r≈0.75)에서 강한 양의 상관을 보였다. 이는 높은 MIA 점수가 실제 모델 기억이 아니라 데이터 편향에 기인할 가능성을 시사한다. - **분포‑매치된 ‘클린’ 데이터** 블라인드 AUC가 0.5에 가까운 데이터(예: 일부 VoxPopuli, CochlScene)에서는 MIA AUC가 0.6~0.8 수준으로, 모델이 실제로 일부 샘플을 기억하고 있음을 확인했다. - **모달리티 디스엔탱글먼트 실험** *Original* 조건에서 AF3와 MF 모두 AUC≈0.85~0.90을 기록했다. *Text‑Only*(무음)에서는 AUC가 0.55~0.60으로 급감했으며, *Noise‑Only*에서도 유사하게 낮았다. 가장 결정적인 결과는 *Acoustic Resynthesis*에서 나타났다. 동일 텍스트를 다른 스피커 음성으로 교체하거나 완전 합성 음성으로 대체하면 AUC가 0.50~0.55 수준으로 떨어졌다. 이는 모델이 스피커 정체성과 텍스트가 결합된 구체적인 쌍을 기억하고 있음을 명확히 보여준다. **주요 발견 및 시사점** 1. **데이터 편향이 MIA 결과를 크게 왜곡**한다. 블라인드 베이스라인 없이 진행된 기존 MIA 연구는 과대평가된 프라이버시 위험을 보고했을 가능성이 높다. 2. **분포‑매치된 데이터셋에서만 진정한 모델 기억을 평가**할 수 있다. 따라서 향후 LALM 감사에서는 블라인드 베이스라인 진단을 필수 단계로 포함해야 한다. 3. **LALM의 기억은 교차‑모달 바인딩**이다. 스피커‑텍스트 결합이 모델에 저장되는 주요 형태이며, 이는 스피커 정체성이라는 바이오메트릭 정보가 텍스트와 연결될 때 심각한 프라이버시 위험을 초래한다. 4. **프라이버시 보호를 위한 설계 가이드**: 데이터 수집 단계에서 동일 스피커가 동일 텍스트를 반복하는 경우를 최소화하고, 사전 학습 시 스피커‑텍스트 매핑을 정규화하거나, 기억을 완화하는 정규화 기법(예: 데이터 증강, 스피커 익명화)을 적용해야 한다. **결론** 본 연구는 LALM에 대한 회원 추론 공격을 최초로 체계화하고, 데이터 자체의 음향 편향을 정량화하는 블라인드 베이스라인을 제안함으로써 스푸리어스한 결과를 구분한다. 분포‑매치된 환경에서 수행된 MIA는 모델이 스피커‑텍스트 결합을 기억한다는 교차‑모달 메커니즘을 밝혀냈으며, 이는 기존 텍스트‑중심 프라이버시 연구와는 다른 새로운 위험 요인이다. 이러한 통찰은 향후 대형 오디오 모델의 설계, 데이터 관리, 그리고 프라이버시 감사 표준을 정의하는 데 핵심적인 지침을 제공한다.