민감도 인식 언어 모델 연구

초록

본 논문은 기업 데이터 관리 환경에서 대형 언어 모델(LLM)의 민감도 인식(Sensitivity Awareness, SA)을 형식화하고, 이를 차등 개인정보 보호(Differential Privacy, DP)와 연결한다. 4비트 양자화된 모델에 감독 미세조정(SFT) 방식을 적용해 SA 성능을 최대 21.7% 향상시키면서 일반적인 지시 수행, 수학·상식 추론 능력은 크게 유지한다는 실험 결과를 제시한다.

상세 분석

논문은 먼저 기존 연구에서 제시된 “민감도 인식” 개념을 정량적 프레임워크로 확장한다. 저자들은 역할 기반 접근 제어(RBAC) 모델을 기반으로 사용·역할·권한을 정의하고, 모델이 출력할 때 비인가 사용자가 민감 정보를 얻지 못하도록 하는 규칙을 수식화한다. 핵심은 ‘프라이버시 게임’이라는 형식적 게임 이론 도구를 도입해, 공격자가 비민감 컨텍스트 φ(z)를 관찰하고 민감 속성 π(z)를 추론하는 과정을 명시한다. 이 게임을 통해 SA와 속성 추론(Attribute Inference, AI) 사이에 ‘SA ⪯ AI’라는 관계를 증명하고, SA의 어드밴티지를 AI 어드밴티지의 하한 및 상한으로 각각 바인딩한다. 특히, 정리 2는 통계적 상관관계에 기반한 최소한의 정보 누출을 하한으로 제시하며, 정리 3은 (ε,δ)-DP를 만족하는 학습 알고리즘에 대해 SA 어드밴티지가 e^ε−1+2δ·e^ε+1 이하임을 보인다. 이는 DP가 학습 단계에서뿐 아니라 추론 단계에서도 민감도 인식 보장을 제공할 수 있음을 이론적으로 뒷받침한다.

실험적 기여는 4비트 양자화된 오픈소스 LLM에 저비용의 감독 미세조정(SFT)과 LoRA(저랭크 어댑테이션)를 적용한 점이다. 저자들은 Access Denied Inc(ADI) 벤치마크를 이용해 사전·사후 모델의 SA 점수를 비교했으며, 미세조정 후 모델이 동일 규모의 풀프레시전 상용 모델들을 능가함을 확인한다. 특히, SA 향상률이 21.7%에 달했으며, 일반 지시 수행, 수학 문제 해결, 상식 추론 등 기존 벤치마크에서는 성능 저하가 거의 없었다. 이는 양자화된 모델에서도 효율적인 파라미터 업데이트가 가능함을 시사한다.

또한, 논문은 DP 기반 학습과 SA 목표를 동시에 최적화하는 트레이드오프를 정량적으로 분석한다. ε 값이 작을수록 SA 어드밴티지는 감소하지만, 모델의 전반적 유용성은 유지되는 경향을 보였으며, 실용적인 기업 환경에서는 ε≈1~2 수준이 적절하다는 결론을 제시한다. 마지막으로, 코드와 데이터셋을 공개함으로써 재현 가능성을 높이고, 향후 기업용 LLM의 프라이버시 보장을 위한 연구 기반을 마련한다.