LLM 기반 표 데이터 생성에서 편향 전파와 방어

초록

본 논문은 대형 언어 모델(LLM)을 이용한 표 데이터 합성 시, 인‑컨텍스트 학습에 사용되는 예시들의 통계적 편향이 합성 데이터 전체에 어떻게 전파되는지를 체계적으로 분석한다. 경미한 편향이라도 합성 데이터와 하위 모델의 공정성에 큰 왜곡을 초래함을 보이며, 악의적인 사용자가 소수의 편향된 예시만 삽입해도 목표 집단에 대한 차별을 유발할 수 있음을 입증한다. 마지막으로 인‑컨텍스트 예시 전처리 기반 완화 방안을 제시하지만, 적대적 프롬프트에 대한 근본적인 취약성은 여전히 남아 있음을 강조한다.

상세 분석

본 연구는 LLM 기반 표 데이터 생성 파이프라인을 “인‑컨텍스트 편향 전파”라는 새로운 위협 관점에서 재조명한다. 먼저, 저자들은 인‑컨텍스트 예시가 i.i.d.라는 가정이 현실에서는 깨지기 쉽고, 특히 인구통계적 불균형이 존재할 경우 모델이 해당 편향을 학습해 합성 데이터에 그대로 반영한다는 점을 실험적으로 증명한다. 이를 위해 8B70B 파라미터 규모의 네 개 오픈소스 LLM을 사용하고, Adult, COMPAS, Diabetes, Thyroid 등 네 개의 공정성 연구에 널리 쓰이는 데이터셋에 대해 다양한 컨텍스트 크기(k=20100)와 편향 비율(π)을 조절하였다.

편향 전파 메커니즘을 정량화하기 위해 저자들은 두 단계의 혼합 모델식 D_G ≈ (1‑α_k)·D_0 + α_k·Φ_M(D_P)를 제안한다. 여기서 D_0는 제로샷 생성 분포, D_P는 인‑컨텍스트 예시의 경험적 분포이며, α_k는 컨텍스트 크기에 따라 변하는 조건화 강도이다. 실험 결과, α_k는 k가 증가함에 따라 선형적으로 상승했으며, π가 5% 수준에서도 통계적 편향(예: 인종별 비율)과 하위 분류기의 공정성 지표(SPD, EOD, EO)에서 유의미한 변화를 일으켰다. 특히 교차 편향(보호 속성과 라벨의 결합)에서는 편향이 증폭되는 현상이 관찰되어, 단순히 개별 속성의 균형만 맞추는 것이 충분하지 않음을 시사한다.

보안 측면에서는 악의적 프롬프트 삽입 공격 시나리오를 정의한다. 공격자는 전체 프롬프트 중 소수(π≈0.02)의 예시만 조작해 특정 보호 그룹(예: 흑인)에게 부정적 라벨 비율을 높인다. 결과적으로 합성 데이터는 원본과 거의 동일한 유틸리티(F1≈0.78)와 분포적 유사도(TVD, JSD) 점수를 유지하면서도, 하위 모델의 SPD가 -0.18까지 악화되는 것을 확인했다. 이는 기존의 데이터 포이즈닝과 달리 모델 자체를 손상시키지 않으면서도 “프롬프트 레벨”에서 차별을 주입할 수 있음을 보여준다.

완화 방안으로는 인‑컨텍스트 예시 전처리(예: 재샘플링, 편향 교정, 민감 속성 마스킹)를 적용했으며, 대부분의 경우 SPD를 30~50% 감소시키고, 유틸리티 손실은 2% 이하에 머물렀다. 그러나 완전한 방어는 어려웠으며, 특히 교차 편향이나 희소한 서브그룹에 대한 공격은 전처리만으로는 충분히 억제되지 않았다. 이는 LLM이 프롬프트에 과도하게 민감하게 반응하는 구조적 특성 때문이며, 향후 모델 자체의 정규화 혹은 안전한 프롬프트 설계가 필요함을 암시한다.

요약하면, 인‑컨텍스트 예시의 미세한 편향도 LLM 기반 합성 데이터에 크게 증폭될 수 있으며, 악의적 프롬프트 삽입을 통한 차별 주입이 현실적인 위협이 된다. 현재 제안된 전처리 기반 완화 기법은 일정 수준의 개선을 제공하지만, 근본적인 모델‑프롬프트 상호작용의 안전성을 확보하기 위한 추가 연구가 절실히 요구된다.