문맥 인식 PII 탐지를 통한 질문응답 시스템 프라이버시 강화

초록

CAPID는 로컬 소형 언어 모델을 미세조정해 질문‑응답 시스템에서 개인정보(PII)를 문맥에 따라 선택적으로 마스킹한다. 기존 데이터가 부족해 LLM을 활용해 다양한 도메인·PII 유형·관련성 레벨을 포함한 합성 데이터셋을 생성하고, 이를 기반으로 스팬 추출, 유형 분류, 관련성 판단을 동시에 수행한다. 실험 결과, CAPID는 기존 규칙 기반·대형 모델 대비 PII 유형·관련성 정확도가 크게 향상되고, 후속 QA 성능도 유지한다.

상세 분석

본 논문은 개인정보 보호와 질문‑응답 시스템의 응답 품질 사이의 트레이드오프를 해소하고자 한다. 기존 PII 탐지 도구들은 대부분 모든 개인정보를 무조건 삭제하거나 마스킹하는 방식을 취해, 사용자의 질문 의도와 직접 연관된 정보까지 손실시킨다. 이는 특히 의료·직업·건강 등 상황에 따라 답변에 필수적인 PII가 존재하는 경우 심각한 성능 저하를 초래한다. CAPID는 이러한 한계를 인식하고, “문맥‑인식”이라는 새로운 패러다임을 제시한다. 핵심 아이디어는 (1) 각 PII 스팬에 대해 유형(label)과 질문(Q)과의 관련성(relevance) 이진값을 동시에 예측하도록 모델을 설계하고, (2) 이를 위해 실제 사용자 데이터가 부족한 현실을 합성 데이터 생성 파이프라인으로 보완한다는 점이다.

데이터 생성 파이프라인은 크게 세 단계로 구성된다. 첫 번째 단계에서는 14개의 세분화된 PII 카테고리를 조합해 78개의 유형 쌍을 만들고, 각 쌍당 10개의 토픽·20개의 서브토픽을 생성해 총 15,600개의 토픽‑서브토픽 조합을 만든다. 중복 제거 후 11,663개의 고유 (PII‑type1, PII‑type2, 서브토픽) 삼중항을 확보한다. 두 번째 단계에서는 “상황(context)”과 “주변(context)”를 구분해, 상황 부분에 고관련성 PII를, 주변 부분에 저관련성 PII를 삽입한다. 질문은 처음에 고관련성 PII를 암시하도록 생성한 뒤, 이를 추상화해 실제 질문 텍스트와 분리한다. 이렇게 함으로써 질문 자체는 PII에 의존하지 않지만, 답변을 위해서는 해당 PII가 필요함을 모델이 학습하도록 만든다. 세 번째 단계에서는 LLM 기반 패러프레이징과 일관성 검증을 통해 텍스트 흐름을 자연스럽게 만들고, 스팬 라벨이 변형되지 않았는지 자동 검증한다.

생성된 데이터는 2,307개의 샘플(훈련 2,107, 테스트 200)로 정제되었으며, 각 샘플은 (스팬, 유형, 관련성) 3중 라벨을 포함한다. 라벨링 품질을 확보하기 위해 5명의 annotator가 상세 가이드라인과 Streamlit 툴을 활용해 수동 검증·수정을 진행했다. 통계적으로 occupation, health, demographic, location 등은 고·저 관련성 비율이 비교적 균형을 이루는 반면, name·code는 거의 전부 저관련성으로 나타나, 실제 사용 시 식별자보다는 상황·속성 정보가 더 중요함을 보여준다.

모델 측면에서는 Llama‑3.2‑3B와 Llama‑3.1‑8B를 4‑bit 양자화와 LoRA 어댑터를 적용해 미세조정했다. 입력 포맷은 Alpaca‑style instruction에 JSON 형태의 라벨을 붙여, 라벨 부분만 loss에 반영하도록 설계했다. 평가에서는 스팬 정확도(F1), 유형 정확도, 관련성 정확도 3가지 메트릭을 사용했으며, GPT‑4.1‑mini 기반 베이스라인 대비 관련성 정확도가 0.68→0.79로 크게 상승했다. 또한, “LLM‑as‑judge” 방식으로 후속 QA 응답 품질을 측정했을 때, CAPID가 적용된 경우 기존 전면 마스킹 방식보다 평균 12% 높은 응답 유용성을 기록했다.

이러한 결과는 (1) 문맥‑인식 PII 탐지가 단순 식별을 넘어 질문 의도와 직접 연결된 정보를 보존함을, (2) 합성 데이터 파이프라인이 실제 도메인 다양성을 충분히 반영해 모델 일반화에 기여함을, (3) 로컬 SLM을 활용함으로써 외부 LLM에 민감 데이터를 전송하지 않아 프라이버시 위험을 최소화함을 입증한다. 향후 연구에서는 더 큰 규모의 실제 사용자 로그와 멀티‑언어 확장을 통해 CAPID의 적용 범위를 넓히고, 자동 라벨링 품질을 향상시키는 방법을 탐색할 필요가 있다.