정책 기반 LLM 스포크스퍼슨 DAVE: 다중 문서 데이터 공유 보안

초록

DAVE는 데이터 제공자가 보유한 다중 문서 컬렉션에 대해 자연어 질의응답을 제공하면서, ODRL 형태의 사용 정책을 실시간으로 적용하는 LLM 스포크스퍼슨이다. 정책 위반 정보를 가상으로 차단(virtual redaction)하고, 목적‑인식 질의 필터링·검색‑시점 정책 필터·프롬프트 조건·생성 후 검증의 4단계 다중 레이어를 통해 문서 자체를 수정하지 않고도 민감 정보를 보호한다. 현재는 아키텍처 설계와 프로토타입 구현을 제시하고, 보안·유용성·성능 트레이드오프를 평가할 방법론을 제안한다.

상세 분석

본 논문은 산업 데이터 스페이스 환경에서 기존에 자산 수준으로만 적용되던 사용 정책을, LLM 기반 질의응답 단계까지 세밀하게 연계하려는 시도를 구체화한다. 핵심 아이디어는 “가상 레드액션(virtual redaction)”으로, 원본 문서를 물리적으로 수정하지 않고도 LLM이 생성하는 답변에 정책 위반 요소가 포함되지 않도록 차단한다. 이를 위해 저자는 네 가지 정책 집행 레이어를 설계하였다. 첫 번째 레이어는 목적‑인식 질의 스크리닝으로, 사용 계약에 정의된 목적과 일치하지 않는 질문을 사전에 차단한다. 두 번째 레이어는 검색‑시점 정책 필터링으로, 벡터 검색 엔진이 반환하는 문서 청크 중 정책에 의해 보호된 민감 구간을 제외한다. 세 번째 레이어는 정책‑조건 프롬프트 삽입으로, LLM에게 정책을 명시적으로 전달하고, “답변을 거부하거나 요약만 제공”하도록 지시한다. 마지막 레이어는 생성 후 검증 단계로, 답변을 정보 흐름 분석(예: 정규식, 민감 엔터티 탐지)과 정책 엔진에 다시 통과시켜 위반 여부를 판단한다. 이 다중 방어선은 LLM이 프롬프트 무시, 할로우시, 혹은 제이킥(jailbreak) 공격을 시도하더라도 정책 위반을 최소화하도록 설계되었다.

논문은 Eclipse Dataspace Components(EDC)와 ODRL 정책 모델을 연결하는 구체적인 아키텍처를 제시한다. 데이터 제공자는 EDC 커넥터에 DAVE 서비스를 배치하고, 계약 협상 단계에서 ODRL 기반 사용 정책을 정의한다. 사용자는 데이터 스페이스 포털을 통해 자연어 질문을 제출하고, 질문은 인증·인가 후 DAVE 파이프라인을 거쳐 답변이 반환된다. 이 과정에서 벡터 인덱스, 청크 메타데이터, 로그 등 파생 데이터도 정책 보호 대상에 포함시켜, 정보 흐름 보안 모델(예: Sabelfeld‑Myers, Rushby)과 일관되게 다룬다.

위협 모델은 “정당하지만 제한된 목적을 가진 악의적 소비자”와 “정직하지만 호기심 많은 소비자”를 가정한다. 공격자는 반복 질의, 언어 변형, 프롬프트 인젝션, 직접 인용 요구 등 다양한 기법으로 정책을 우회하려 할 수 있다. 논문은 이러한 공격을 “직접 추출”, “간접 추론”, “프롬프트 인젝션”, “정확한 인용”, “RAG‑특정 누출” 등 다섯 가지 카테고리로 정리하고, 각 카테고리에 대응하는 방어 메커니즘을 제시한다. 반면 인프라 침해, 모델 가중치 탈취, 네트워크 사이드채널 등은 범위 밖으로 설정한다.

실험적 구현은 아직 진행되지 않았으며, 저자는 향후 보안·유용성·성능을 정량화할 평가 프레임워크를 제안한다. 보안 측정은 정책 위반 비율(위반 답변 수 / 총 질의), 유용성은 정답 정확도와 커버리지(답변을 제공한 비율)로 정의한다. 성능은 응답 지연과 시스템 자원 사용량을 측정한다. 이러한 평가 설계는 정상 질의와 적대적 질의 시나리오를 모두 포함한다.

전체적으로 논문은 정책 기반 LLM 접근 제어라는 새로운 연구 영역을 정의하고, 데이터 스페이스와 연계된 실용적인 아키텍처를 제시한다. 강점은 다층 방어 설계와 기존 데이터 스페이스 표준(EDC, ODRL)과의 호환성이다. 약점은 구현 및 실증 평가가 부재해 실제 정책 위반 감소 효과를 검증하기 어렵다는 점이며, 정책 표현의 복잡성 및 정책 충돌 해결 메커니즘에 대한 논의가 부족하다. 또한 LLM 자체의 불확실성(환각, 비정형 출력)과 정책 검증 자동화 사이의 트레이드오프를 정량화하는 방법이 아직 제시되지 않았다.