PAN 2026 다섯 가지 텍스트 포렌식 과제 종합 안내

초록

PAN 2026 워크숍에서는 생성형 AI 탐지, 텍스트 워터마킹, 다중 저자 스타일 변화 탐지, 생성형 표절 검출, 그리고 추론 경로 분석이라는 다섯 가지 핵심 과제를 제시한다. 각 과제는 실용적인 데이터셋과 TIRA·Docker 기반 재현 가능한 평가 환경을 제공하며, 기존 연구와의 연계 및 새로운 도전 과제를 통해 텍스트 포렌식 분야의 신뢰성과 견고성을 향상시키고자 한다.

상세 분석

PAN 2026은 텍스트 포렌식과 스타일 분석 분야에서 가장 최신의 연구 흐름을 반영한 다섯 개의 공유 과제를 제시한다. 첫 번째 과제인 Voight‑Kampff Generative AI Detection은 2024·2025년도의 성공적인 개최 경험을 바탕으로, LLM이 생성한 텍스트에 대한 ‘지문’ 탐지를 목표로 한다. 특히 혼합·난독화된 저자 시나리오를 포함해, 공격적인 텍스트 변형(예: 문장 재배열, 동의어 교체)에도 강인한 탐지 모델을 요구한다. 이는 기존의 저자 검증(task‑authorship‑verification)과 차별화된 ‘AI‑특정’ 특성을 포착해야 함을 의미한다.

두 번째 과제인 Text Watermarking은 LLM이 삽입하는 눈에 띄지 않는 워터마크의 내구성을 평가한다. 워터마크 삽입·검증을 별도 단계로 나누고, 중간에 무작위 텍스트 변형을 적용해 워터마크가 파괴되는 정도를 측정한다. 이 접근은 기존 워터마크 연구가 주로 LLM 출력 자체에 국한된 것과 달리, 사전 존재 텍스트에 대한 워터마크 적용 가능성을 탐색한다는 점에서 혁신적이다.

세 번째 과제인 Multi‑Author Writing Style Analysis는 2016년 도입 이후 지속적으로 진화해 온 과제로, 이번에는 팬픽션을 활용한 대규모 데이터셋을 제공한다. 팬픽션은 동일한 세계관·인물 설정을 공유하면서도 저자 교체가 빈번히 일어나기 때문에, 스타일 변화와 주제 변동을 동시에 제어할 수 있는 이상적인 시험베드다. 참가자는 문단 수준에서 스타일 변화를 정확히 식별하고, 변화 지점을 정밀히 라벨링해야 한다.

네 번째 과제인 Generative Plagiarism Detection은 기존 표절 검출이 단순 텍스트 매칭에 머물렀던 한계를 극복한다. LLM이 생성한 ‘근접‑패러프레이징’ 표절을 재현하기 위해, 다중 소스 문서를 병합·분할하는 복합 시나리오를 도입한다. 또한 PubMed·JSTOR 등 다양한 도메인(의학·인문·사회과학) 데이터를 포함해, 분야별 특성에 맞는 소스 검색·텍스트 정렬 알고리즘을 요구한다.

마지막으로 Reasoning Trajectory Detection은 LLM의 추론 과정을 단계별로 분석하고, 안전성 여부를 판단한다. 두 개의 서브태스크로 구성되는데, 첫 번째는 추론 경로와 최종 답변의 출처(인간·AI)를 식별하고, 두 번째는 위험 질의·점프잭 공격·무해 질의 등 상황별로 추론 단계와 결과의 안전성을 판별한다. 이 과제는 기존의 정답‑중심 평가를 넘어, ‘왜’ 잘못된 답이 도출됐는지를 밝히는 메타‑평가를 목표로 한다.

전반적으로 PAN 2026은 TIRA 기반 Docker 컨테이너 제출 방식을 유지하면서, 평가의 투명성·재현성을 극대화한다. 2012년 이후 1,100건 이상의 제출 경험을 바탕으로, 데이터셋 공개·베이스라인 제공·자동 채점 파이프라인을 구축해 연구 커뮤니티가 손쉽게 비교·확장할 수 있도록 설계되었다. 특히 새로운 과제(워터마킹·추론 경로)와 기존 과제의 심화(혼합 저자·표절 복합 시나리오)는 향후 텍스트 포렌식 연구가 ‘표면적 특징’이 아닌 ‘심층 구조·의도’를 탐지하도록 유도한다는 점에서 학술적·산업적 파급 효과가 클 것으로 기대된다.