최근 몇 년 동안 생성형 인공지능(AI)과 그 응용 분야에 대한 엄청난 관심이 나타났습니다. 이로 인해 ChatGPT와 같은 다양한 AI 기반 콘텐츠/텍스트 생성 도구들이 소개되었습니다. 이러한 도구들은 사용자의 질문에 따라 정확하고 문법적으로 올바른 텍스트를 생성할 수 있습니다. 예를 들어, 기사, 이메일, 소셜 미디어 게시물, 에세이, 다양한 프로그래밍 언어의 코드 등을 즉각적으로 생성할 수 있습니다. 이러한 자동 텍스트 생성 도구는 교육 분야를 포함한 여러 도메인에서 편향성이 적은 다양한 지식 출처를 제공하며 유용합니다. 그러나 비윤리적으로 사용될 경우, 이들 도구는 교육의 학습 목표와 결과에 크게 해를 끼칠 수 있습니다. 예를 들어, 학생들이 질문을 완전히 이해하거나 참여하지 않고도 과제를 수행하는 데 의존할 수 있습니다. 이러한 도구들의 부정적인 사용은 대학에서 광범위하게 논의되었으며 전 세계적으로 학술 윤리에 대한 우려가 제기되었습니다. 학생들이 이런 도구들에 지나치게 의존하면 비판적 사고, 문제 해결 능력, 의사소통 및 협업 능력 등이 크게 저하될 수 있습니다.

또한 이러한 도구들은 언론, 예술, 경찰 등 다양한 응용 분야에서 콘텐츠의 신뢰성과 진실성을 높이는 것에 대한 우려를 증가시킵니다. 이런 도구들은 거짓 정보와 가짜 뉴스의 생성 및 확산을 크게 증가시키는 역할을 합니다. 이러한 가짜 뉴스와 오보는 정책, 정부에 대한 신뢰도 저하시키고 혼란을 야기하여 공공 안전이 위협받을 수 있습니다.

긍정적인 점은 이미 AI와 자연어 처리(NLP) 기반 기술들이 이러한 도구를 통해 생성된 콘텐츠(텍스트)를 자동으로 감지할 수 있다는 것입니다. 그러나 이러한 알고리즘/도구는 약간의 인간화 작업만으로 쉽게 우회될 수 있습니다. 흥미롭게도, 머신이 생성한 텍스트에 인간적인 요소를 더하는 AI 기반 도구들도 있어 머신 생성된 텍스트 감지가 더욱 어려워집니다. 또한 학계는 저작권 검증이라는 다른 중요한 과제에도 직면해 있습니다. 즉, 과제, 에세이, 프로젝트 보고서, 논문 등이 학생 본인이 작성한 것인지 아니면 다른 인간(예: 동료나 외부 전문가)에 의해 작성된 것인지를 확인하는 것입니다.

AI 기반 콘텐츠 생성 도구가 학계에서 일으킨 떠들썩함과 교육 분야의 비윤리적이고 부정직한 관행으로 인한 결과를 고려할 때, 연구 커뮤니티의 신속한 대응이 필수적입니다.

현재 문헌에는 이러한 문제를 해결하기 위한 초기 노력들이 보고되어 있습니다. 그러나 대부분의 기존 솔루션은 머신과 인간 텍스트를 구분하는 ML 알고리즘을 학습하는데 의존하고 있어, 약간의 인간화 작업으로 쉽게 우회될 수 있습니다. 또한 이 분야에는 대규모 벤치마크 데이터셋이 부족합니다. 이러한 제한성을 극복하기 위해 우리는 스타일로미트리 기반 솔루션을 제안하고 대규모 벤치마크 데이터셋을 생성합니다.

스타일로미터리 기반의 솔루션은 학계가 학술 윤리를 확보하는 데 직면한 여러 과제를 해결하는 데 도움이 됩니다. 예를 들어, 문서가 동일한 작성자에 의해 작성되었는지 아니면 다른 작성자(인간이나 머신)가 기여했는지를 확인할 수 있습니다.

본 연구에서는 네 가지 작업을 수행합니다: (i) 머신과 인간이 생성한 텍스트를 구분하는 것, (ii) 단일 저자와 다중 저자가 작성한 문서를 분류하는 것, (iii) 다중 저자가 작성한 문서에서 저자가 바뀌는 부분(단락)을 식별하는 것, (iv) 다중 저자가 작성한 문서의 일부 텍스트에 대한 저자를 식별하는 것입니다. 이 네 가지 작업은 교육 환경에서 매우 중요합니다.

스타일 분석은 단독 또는 공동으로 작성된 문서에서 글쓰기 스타일의 고유 패턴을 식별하는 것을 포함합니다. 스타일 변화 감지(SCD)는 스타일 분석의 핵심 응용 분야 중 하나로, 내재적 표절 검출(IPD)에 활용될 수 있습니다. IPD는 외부 표절 검출과 달리 문서를 기존 출처나 참고문헌과 비교하는 것이 아니라, 입력 문서만을 통해 표절 여부를 결정합니다.

스타일 변화 분석은 새로운 것은 아닙니다. 그러나 대부분 인간 저자에 대한 탐구에 국한되어 있습니다. 우리는 이러한 상세한 분석이 이 분야의 향후 연구를 위한 기초가 될 것으로 믿습니다.

본 논문의 주요 기여는 다음과 같습니다:

• 본 논문은 생성형 AI 시대에서 학계가 직면한 주요 과제를 해결하기 위한 새로운 스타일 변화 분석 기반 NLP 프레임워크를 제안합니다. 이 작업에는 단독 저자와 다중 저자가 작성한 문서를 구분하거나, 머신과 인간이 생성한 텍스트를 분류하고, 다중 저자가 작성한 문서에서 저자가 바뀌는 부분을 식별하는 것이 포함됩니다.
• 본 논문은 현존하는 상태 최적화된 NLP 모델 기반 도구들의 성능에 미치는 정교하게 설계된 프롬프트의 영향을 분석합니다.
• 두 가지 다른 유형의 머신 텍스트를 인간이 작성한 데이터셋에 내장하여 이 분야에서 추가 연구에 귀중한 자원을 제공합니다. 데이터셋과 소스 코드는 공개되어 있습니다.
• 본 논문은 주제와 관련된 핵심 과제들을 강조하고 몇 가지 잠재적인 해결책을 제시합니다.

본 논문의 나머지 부분은 다음과 같이 구성됩니다. 섹션 2에서는 문헌을 개요로 다룹니다. 섹션 3에서는 제안된 방법론을 설명하고, 섹션 4에서는 실험 설정, 수행한 실험 및 실험 결과를 논의합니다. 섹션 5는 논문을 마무리 짓습니다.

관련 연구

생성형 AI 시대에 학술 윤리와 문서 인증에 대한 전 세계적인 관심이 증가함에 따라 최근 머신 텍스트 생성 및 분석에 대한 많은 관심이 나타났습니다. 문헌에는 도메인의 다양한 측면을 탐구하는 몇 가지 흥미로운 연구가 보고되어 있습니다. 머신 텍스트 분석의 주요 측면 중 하나는 인간과 머신 텍스트를 구분하는 것으로, 대부분의 문헌은 자동으로 인간과 머신 텍스트를 구별하는 것에 초점을 맞추고 있습니다.

이 작업은 일반적으로 이진 분류 문제로 처리되며 다양한 기술과 전략을 적용합니다. 예를 들어 Bahad et al.은 RoBERTa 모델을 미세 조정하여 AI와 인간이 생성한 텍스트를 구분하였습니다. Ji et al.은 결정되지 않은 텍스트 샘플이라는 세 번째 카테고리를 도입함으로써 이 작업을 삼항 분류 문제로 다루었습니다.

스타일로미터리 분석의 중요한 측면 중 하나인 스타일 변화 감지(SCD)는 문서 인증 및 출처 검증에서 활용될 수 있습니다. SCD는 또한 학계가 직면한 저작권 검증 문제를 해결하는 데 도움이 됩니다.

현재 문헌에는 다양한 측면과 응용 분야에 대한 몇 가지 흥미로운 연구가 보고되어 있지만, 스타일로미터리와 SCD 분석의 여러 측면은 아직 탐구되지 않았습니다. 대부분의 기존 문헌은 인간 저자만을 다루고 있습니다.

이러한 작업들은 주로 머신과 인간 텍스트를 구분하는 일에만 초점을 맞추었으며, 나머지 세 가지 작업은 인간 저자에 대한 탐구에 국한되어 있었습니다. 또한 문헌에는 인간과 머신이 작성한 문서를 포함한 벤치마크 데이터셋이 부족합니다.

따라서 본 연구에서는 두 가지 다른 프롬프트 하에서 생성된 머신 텍스트 데이터셋을 사용하여 네 가지 SCD 분석 작업을 탐구합니다.

방법론

그림 1은 제안된 방법론의 블록 다이어그램을 제공하며, 이를 크게 세 가지 구성 요소로 나눌 수 있습니다. 이는 (i) 데이터셋 생성, (ii) 데이터 전처리, 그리고 (iii) 텍스트 분류 및 분석입니다.

데이터셋 생성 단계에서는 Gemini 모델(gemini-1.5-flash-latest)을 사용하여 두 가지 다른 프롬프트 하에서 대규모 머신 텍스트 단락을 생성합니다. 새로 AI가 생성한 텍스트 단락은 기존 인간이 작성한 데이터셋의 임의 위치에 삽입되어 네 가지 작업을 위한 모델 학습 및 평가를 수행합니다.

데이터셋 생성 과정은 기존 데이터셋 구조에 따라 설계되었습니다. 이 데이터셋에는 인간 저자들로부터 텍스트 샘플이 조직되어 있습니다. 이를 통해 단일 및 다중 저자가 작성한 파일로 구성됩니다. 또한, 이 데이터셋은 네 명의 저자의 텍스트 샘플을 포함합니다.

본 연구에서는 다중 저자가 작성한 파일에 초점을 맞추고 AI/LLMs를 다섯 번째 저자로 고려하여 머신 텍스트를 생성합니다. 따라서 도표에서 보듯이, 각 샘플이 단일 저자 또는 다중 저자가 작성한 텍스트인지 확인하고 나서 다중 저자가 작성한 파일에 대해 작업을 계속합니다.

다중 저자가 작성한 문서에서는 저자의 수와 단락의 수가 다양하며, 일부는 더 적고 다른 것은 더 많습니다. 이 점을 고려하여 머신 생성된 텍스트와 인간이 생성한 텍스트 사이의 합리적인 비율을 유지하고 있습니다.