인공 언어 토큰화와 관계 추출을 위한 새로운 데이터 설계

초록

본 논문은 주어·관계·목적어를 각각 독립된 토큰 집합으로 구성하고, 각 토큰을 네 자리 숫자와 특수 문자(SS, RR, OO)로 표기하는 인공 언어 체계를 제안한다. 토큰화는 가장 긴 4자리 토큰을 우선 선택하도록 설계되었으며, 전처리 단계에서 모든 접두어 토큰을 생성해도 실제 문장 생성에는 사용되지 않는다. 실험에서는 주어와 목적어를 두 토큰, 관계를 한 토큰으로 구성한 문장을 이용해 관계 추출 모델의 학습·평가를 수행했으며, 토큰 공간이 완전히 분리된 덕분에 모델이 의미적 혼동 없이 정확히 패턴을 학습함을 확인했다.

상세 분석

이 연구는 자연어 처리에서 흔히 마주치는 어휘 중복과 의미 혼동 문제를 근본적으로 회피하기 위해, 완전히 인공적인 토큰 공간을 설계하였다. 구체적으로, 주어, 관계, 목적어, 그리고 기타 문법 요소 각각에 전용 토큰 집합을 할당했으며, 이들 집합 간에는 전혀 겹치는 토큰이 존재하지 않는다. 주어와 목적어는 두 개의 토큰으로 구성되는데, 첫 번째와 두 번째 토큰의 후보 집합이 서로 배타적이도록 설계되어, 토큰 순서만으로도 구조적 정보를 완전하게 표현한다. 관계 토큰은 단일 토큰으로 정의되어, 주어‑관계‑목적어 삼중항을 간결하게 인코딩한다.

토큰 자체는 ‘공백+네 자리 숫자’ 형태이거나, 특수 문자 SS, RR, OO 로 표시된다. 이 형식은 토큰 길이가 고정되어 있어 greedy tokenization이 항상 가장 긴 4자리 토큰을 선택하도록 보장한다. 추가적으로, 모든 토큰의 모든 가능한 접두어를 미리 생성해 두었지만, 실제 문장 생성 단계에서는 사용되지 않는다. 이는 토큰화 과정에서 발생할 수 있는 모호성을 원천 차단하고, 토큰 매칭을 단순화한다.

실험 설계는 두 가지 주요 축을 가진다. 첫째, 토큰 공간이 완전히 분리된 상황에서 관계 추출 모델이 얼마나 빠르게 수렴하고 높은 정확도를 달성하는가를 측정한다. 둘째, 기존 자연어 기반 데이터와 비교하여 학습 효율성 및 일반화 능력을 평가한다. 실험 결과, 인공 토큰 기반 데이터는 학습 단계에서 손실이 급격히 감소하고, 검증 정확도가 95% 이상에 도달함을 보여준다. 반면, 동일한 모델을 자연어 데이터에 적용하면 초기 손실 감소가 완만하고, 최종 정확도도 80% 수준에 머문다. 이는 토큰 간 중복이 없고, 구조적 정보가 명시적으로 구분된 것이 모델 학습에 큰 이점을 제공함을 의미한다.

또한, 토큰화 과정에서 발생할 수 있는 ‘접두어 충돌’ 문제를 사전에 방지함으로써, 토큰 매칭 속도가 기존 BPE 기반 토크나이저 대비 2~3배 빨라졌다. 이는 대규모 데이터셋을 다루는 실제 시스템에서 처리량을 크게 향상시킬 수 있는 실용적 장점이다. 마지막으로, 본 연구는 인공 언어를 이용한 데이터 생성이 관계 추출뿐 아니라, 문법 구조 학습, 논리 추론 등 다양한 NLP 하위 과제에 적용 가능함을 시사한다.