심볼 시퀀스와 규칙 기반 벤치마크를 위한 통합 프레임워크

초록

본 논문은 형식 언어 이론에 기반한 두 개의 오픈소스 도구, SymSeq와 SeqBench을 소개한다. SymSeq는 규칙 기반 심볼 시퀀스를 체계적으로 생성·분석하고, SeqBench은 이러한 시퀀스를 활용한 다양한 인지·AI 과제의 벤치마크를 제공한다. 두 도구를 결합한 SymSeqBench은 언어학, 인지심리, 행동과학, 뉴로모픽 컴퓨팅 등 여러 분야에서 순차 구조를 표준화하고 비교 연구를 가능하게 한다.

상세 분석

SymSeqBench는 형식 언어 이론(Formal Language Theory, FLT)의 개념을 실용적인 소프트웨어 구현으로 전환함으로써, 연구자들이 규칙 기반 시퀀스를 정밀하게 정의하고 자동으로 생성할 수 있는 환경을 제공한다. 핵심 모듈인 SymSeq는 정규문법, 문맥 자유문법, 문맥 의존문법 등 다양한 문법 클래스를 파라미터화하여 입력하고, 해당 문법에 따라 심볼 시퀀스를 샘플링한다. 이때 생성된 시퀀스는 길이, 복잡도, 재귀 깊이, 교차 의존성 등 여러 메트릭으로 자동 라벨링되며, 이는 후속 학습 모델의 평가 기준으로 바로 활용될 수 있다.

SymSeq는 또한 시퀀스 내부 구조를 시각화하고, 트리 형태 혹은 상태 전이 다이어그램으로 변환하는 기능을 제공한다. 이를 통해 연구자는 인간 실험 설계 시 자극의 통계적 특성을 직관적으로 파악하고, 불필요한 편향을 사전에 차단할 수 있다. 특히, 시퀀스 생성 과정에서 난수 시드와 샘플링 전략(균등, 가중, 온도 기반)을 명시적으로 제어함으로써 재현성을 보장한다는 점은 과학적 검증에 필수적인 요소다.

SeqBench는 SymSeq가 만든 시퀀스를 활용한 과제 모음이다. 현재 30여 개 이상의 규칙 기반 작업이 포함되어 있으며, 각 작업은 입력 시퀀스, 목표 출력(예측, 분류, 변환 등), 평가 메트릭(정확도, 퍼플렉시티, 학습 속도)으로 정의된다. 작업은 크게 세 범주로 나뉜다. 첫째, 언어학적 구조 학습(예: 중첩 괄호 예측, 교차 의존성 복원)；둘째, 행동 시퀀스 예측(예: 움직임 패턴 재구성, 의사결정 트리 추론)；셋째, 뉴로모픽 및 스파이킹 신경망 테스트(예: 시계열 변환, 이벤트 기반 인코딩). 각 작업은 난이도 조절 파라미터(문법 복잡도, 시퀀스 길이, 노이즈 비율)를 제공해, 동일 모델을 다양한 인지 부하 상황에서 평가할 수 있다.

벤치마크 설계 시 저자들은 기존 AI 시퀀스 학습 데이터셋(예: PTB, WikiText, Sequential MNIST)과 차별화된 점을 강조한다. 기존 데이터는 자연 언어 혹은 이미지 기반 시퀀스로, 내재된 규칙이 불명확하거나 통제하기 어렵다. 반면 SymSeqBench는 규칙을 명시적으로 정의하고, 그 규칙이 학습 모델에 얼마나 잘 일반화되는지를 직접 측정한다. 이는 인지 과학에서 “규칙 학습”과 “통계 학습”을 구분하는 실험 설계와도 일맥상통한다.

기술적인 구현 측면에서 SymSeqBench는 파이썬 기반이며, 주요 의존성은 networkx(그래프 처리), numpy(수치 연산), torch(딥러닝 인터페이스)이다. 모듈화된 설계 덕분에 사용자는 새로운 문법 클래스를 상속하거나, 기존 작업에 새로운 평가 메트릭을 플러그인 형태로 추가할 수 있다. 또한, Docker 이미지와 Conda 환경 파일을 제공해 설치와 재현성을 크게 향상시켰다.

실험 결과에서는 대표적인 트랜스포머, LSTM, 그리고 스파이킹 신경망 모델을 대상으로 여러 SeqBench 작업을 수행하였다. 결과는 모델별로 규칙 복잡도와 시퀀스 길이에 대한 민감도가 크게 다름을 보여준다. 특히, 트랜스포머는 장거리 의존성 및 중첩 구조에서 우수한 성능을 보였지만, 교차 의존성(예: A와 B가 서로 교차하는 패턴)에서는 여전히 오류율이 높았다. 스파이킹 신경망은 이벤트 기반 시퀀스에서 에너지 효율성을 입증했지만, 복잡한 문법을 학습하는 데는 추가적인 메모리 메커니즘이 필요함을 시사한다. 이러한 결과는 인지 과학에서 인간이 특정 유형의 규칙을 더 쉽게 학습한다는 심리학적 가설과도 연계해 해석될 수 있다.

마지막으로 저자들은 SymSeqBench가 학계·산업 모두에 제공하는 장점을 강조한다. 연구자는 동일한 프레임워크 내에서 인간 실험 설계, 인공지능 모델 평가, 뉴로모픽 하드웨어 테스트를 일관되게 진행할 수 있다. 또한, 오픈소스 커뮤니티를 통한 지속적인 확장과 검증이 가능하도록 GitHub 레포지토리와 상세 문서를 공개하였다. 향후 작업으로는 확률 문법, 다중 모달 시퀀스, 그리고 실시간 인터랙티브 베이스라인 구축이 제시된다.