정돈된 텍스트 분석을 위한 tidy NLP 데이터 모델

이 논문은 최신 자연어 처리(NLP) 라이브러리의 강력한 주석 기능을 기존 데이터 과학에서 널리 사용되는 ‘tidy data’ 개념과 결합한 새로운 데이터 모델을 제안한다. 저자는 텍스트를 비정형 데이터에서 관계형 테이블로 변환함으로써 탐색적 데이터 분석(EDA)과 예측 모델링을 보다 직관적이고 효율적으로 수행할 수 있다고 주장한다. 이를 구현한 R 패키지인 cleanNLP는 Stanford CoreNLP와 spaCy 두 가지 최첨단 NLP 엔진을 백엔드로 지원하며, tokenizers라는 경량 백엔드도 제공한다. 패키지 사용 흐름은 먼저 init_함수로 원하는 백엔드를 초기화하고, run_annotators에 텍스트 파일 경로나 문자열 벡터를 전달해 주석을 수행한다. 결과는 ‘document’, ‘sentence’, ‘token’, ‘entity’, ‘dependency’, ‘coreference’, ‘vector’ 등 총 7개의 데이터 프레임과 하나의 매트릭스로 구성된 리스트 형태로 반환된다. 각 테이블은 문서(id), 문장(sid), 토큰(tid) 수준의 식별자를 기본 키와 외래키로 사용해 서로 연결된다. 예를 들어 token 테이블은 id, sid, tid, word, lemma, upos, pos, cid 컬럼을 포함하고, cid는 원본 텍스트 내 문자 위치를 나타낸다. dependency 테이블은 토큰 간 의존 관계를, entity 테이블은 명명된 개체의 시작·끝 토큰을, coreference 테이블은 코어퍼런스 클러스터와 멘션 정보를 저장한다. 워드 임베딩은 별도 행렬(vector)로 제공돼 대규모 희소 행렬 연산에 적합하도록 설계되었다. 스키마 설계는 제2정규형을 만족하고 대부분 제3정규형을 유지한다. 이는 데이터 중복을 최소화하고, 각 테이블이 독립적으로 관리될 수 있게 함으로써 dplyr, dbplyr 같은 tidyverse 도구와 원활히 연동된다. 또한, 정규화된 형태는 CSV와 같은 평면 파일로 저장·공유가 용이해 다른 프로그래밍 언어와의 인터페이스에서도 장점을 제공한다. cleanNLP는 기존 R 패키지인 tidytext와 비교해 더 풍부한 주석을 제공한다. tidytext는 토큰 수준의 단일 테이블과 기본적인 감성·품사 정보를 제공하지만, 개체명 인식, 의존 구문, 코어퍼런스, 워드 임베딩 등 고급 기능은 부족하다. 반면, spacyr는 spaCy 백엔드를 사용하지만 결과를 비정규화된 단일 데이터 프레임으로 반환하고 워드 임베딩을 지원하지 않는다. cleanNLP는 이러한 한계를 극복해 정규화된 다중 테이블 구조와 임베딩 지원을 동시에 제공한다. 패키지 구현은 rJava와 reticulate를 활용해 Java와 Python 엔진을 R 환경에 연결한다. CoreNLP 백엔드는 1GB 이상의 모델 파일을 필요로 하며, 사용자는 download_coreNLP() 함수를 통해 자동 다운로드할 수 있다. spaCy 백엔드는 별도 Python 환경과 spaCy 라이브러리 설치가 전제된다. tokenizers 백엔드는 외부 의존성이 없지만 고급 주석을 제공하지 않으며, 주로 테스트나 백엔드 설치가 어려운 환경에서 사용된다. 논문은 또한 cleanNLP가 다른 텍스트 분석 패키지와 어떻게 연계될 수 있는지를 설명한다. 예를 들어 tm, NLP 패키지와 결합해 문서 전처리를 수행하고, lda, topicmodels 등 토픽 모델링 패키지에 정규화된 데이터를 바로 입력할 수 있다. 또한, sqliter와 같은 데이터베이스 백엔드에 테이블을 저장해 대규모 코퍼스 관리가 가능하다. 제한점으로는 현재 지원 언어가 영어, 독일어, 프랑스어, 스페인어 네 개에 한정되어 있어 다국어 프로젝트에선 추가 모델이 필요하다. 또한, 백엔드 초기화 시 외부 의존성 설치가 번거로울 수 있다. 그럼에도 불구하고, 텍스트 주석을 관계형 데이터베이스 형태로 정규화함으로써 데이터 과학 파이프라인에 자연스럽게 통합할 수 있다는 점은 큰 장점이다. 저자는 향후 더 많은 언어와 주석 유형을 지원하고, 성능 최적화를 통해 대규모 코퍼스에도 적용 가능하도록 확장할 계획이라고 제시한다.