LLM 저작권 위험 탐지의 새로운 탐정 Copyright Detective

초록

본 논문은 LLM 출력에서 발생할 수 있는 저작권 침해 위험을 체계적으로 탐지·분석·시각화하는 인터랙티브 포렌식 시스템 “Copyright Detective”를 제안한다. 검증 대상 텍스트를 입력하면 내용 기억 검증, 패러프레이즈 유사도 분석, 설득형 탈옥 프롬프트, 그리고 학습 후 삭제(언러닝) 효과까지 다중 모듈을 통해 증거를 수집한다. 특히 블랙박스 모델에서도 토큰 확률 분석과 다중 샘플링을 활용해 확률적 기억을 포착하고, 설득형 탈옥을 통해 안전 필터를 우회한다. 시스템은 웹 기반 UI와 오픈소스 코드로 제공되어 연구·법률·산업 현장에서 실시간 감사를 가능하게 한다.

상세 분석

Copyright Detective는 LLM 저작권 위험을 “증거 발견(evidence discovery)” 과정으로 재정의하고, 기존의 이진 분류식 검출을 넘어 다층적인 포렌식 파이프라인을 구현한다. 첫 번째 모듈인 Content Recall Detection은 텍스트 조각 혹은 전체 문서를 입력받아, 지정된 프롬프트(다음 구절 예측 또는 직접 호출)와 다중 샘플링(inference scaling)으로 모델이 원문을 그대로 재생산하는지를 검증한다. 여기서는 Jaccard, Levenshtein, ROUGE‑L 등 정량적 유사도와 시각화 도구를 결합해, 일치·누락·추가 토큰을 직관적으로 보여준다. 두 번째 모듈인 Persuasive Jailbreak Detection은 안전 필터가 차단하는 저작권 요청을 설득형 프롬프트(로고스, 에토스, 파토스 등)로 변형한다. 변형된 프롬프트는 자동 의도 보존 판단기를 통과해야 하며, 성공적인 변형에 대해 다중 샘플을 생성해 ROUGE‑L 점수 분포와 성공률을 박스플롯으로 시각화한다. 이는 모델 내부에 잠재적으로 숨겨진 기억을 외부에서 드러내는 강력한 레드팀 기법이다. 세 번째 모듈인 Knowledge Memorization Detection은 단순 문자열 일치를 넘어 의미적 기억을 평가한다. 오픈형 질문과 선택형 퀴즈를 자동 생성하고, LLM‑기반 평가자를 이용해 정답과 의미적 일치도를 측정한다. Fact Recall F1과 정확도(Accuracy)를 주요 지표로 삼아, 저작권 텍스트에 대한 사실적 지식이 모델에 내재되어 있는지를 정량화한다. 네 번째 모듈인 Unlearning Detection은 사후 미세조정이나 삭제 작업이 실제 기억을 제거했는지 검증한다. 블랙박스 상황에서는 Min‑K% Prob, 정규화 퍼플렉시티 등 토큰 확률 기반 지표를 사용하고, 화이트박스 상황에서는 PCA Shift, CKA, FIM 등 표현 레벨 메트릭을 통해 원본 모델과 언러닝된 모델 사이의 내부 표현 변화를 측정한다. 마지막 Legal Cases Display 모듈은 실제 판례와 사례를 데이터베이스화해, 기술적 증거와 법적 해석을 연결한다. 전체 시스템은 Streamlit 기반 웹 UI와 모듈형 아키텍처를 갖추어, 사용자는 탐색 모드 선택, 프롬프트 템플릿 커스터마이징, 샘플 수·온도 등 파라미터를 실시간으로 조정할 수 있다. 실험에서는 GPT‑4o‑mini에 1,000회 샘플링을 적용해 “Pathos” 전략이 ROUGE‑L 점수를 0.1에서 0.7으로 급격히 상승시키는 등, 설득형 탈옥이 저작권 누출 위험을 크게 확대함을 입증했다. 시스템은 블랙박스·화이트박스 모두를 지원하면서, 확률적 기억, 정렬 억제, 버전 간 취약성을 동시에 해결한다는 점에서 현존 포렌식 도구보다 포괄적이며 확장 가능성이 높다.