기호와 기호 시스템은 인지 과학과 이론적 컴퓨터 과학 모두에서 중앙 개념이며, 인식과 계산 사이에 유일한 형식적인 연결을 제공합니다. 이 관계는 수학적 계산 이론의 한 분야인 형식 언어 이론(FLT)으로 나타나며, 복잡한 인지, 심리적 및 행동 과정을 체계적으로 설명하고 규칙 생성 시스템과 그것이 생성하는 구조를 기술하기 위한 용어와 관습의 집합에 근거합니다. 단순한 패턴 인식에서 언어와 순차적인 의사결정까지, 이러한 형식 시스템은 복잡한 인지의 알고리즘적 지정을 가능하게 하며 이해, 모델링 및 분석에 사용될 수 있습니다.

시퀀스 학습과 처리를 평가하는 것은 오랫동안 인공 지능과 자연 지능 모두를 이해하는데 중앙적인 역할을 해왔습니다. Lashley의 시리얼 순서와 행동 문법 연구부터 최근 대규모 신경 시퀀스 모델까지 이르기까지, 전체 범위의 시퀀스 처리를 설명하는 것은 어려운 일입니다: 특정 시스템에 대한 제약과 작업 특성 및 모델 요구사항이 다양한 차원을 따라 다르다는 점은 대부분의 작업이 문제 공간의 한정된 부분만 탐색한다는 것을 의미합니다. 표준 실험 패러다임과 원칙적인 벤치마크는 공유 작업과 평가 프로토콜을 제공하여 체계적인 비교를 가능하게 하고 학습 및 일반화에 대한 핵심 제한점을 드러내는 데 도움이 됩니다. 언어적으로 능력 있고 계산적으로 숙련된 인공 지능의 부상은 복잡한 구조화된 시퀀스를 학습하고 일반화하는 시스템의 용량을 평가할 수 있는 작업과 메트릭에 대한 새로운 관심을 불러일으켰습니다. 이상적으로, 인간 지성이 여전히 최종 참조점인 한 이러한 작업은 인지 이론에 기반하고 인간 추론, 행동 및 인식의 관련 측면을 포착해야 합니다. 우리는 단일한 접근법 또는 이산 언어 이론 클래스를 넘어 시간 처리의 유연한 이해로 나아가기 위해 이 다면적 특성과 복잡성을 포착하는 도구가 필요함을 주장합니다. 이는 연구자가 연속 구조, 생성 능력 및 그것이 계산 장비에 부과하는 요구 사항의 속성을 체계적으로 검토할 수 있게 합니다.

인간 심리언어학 연구에서 강하게 영감을 받은 우리의 도구들은 이러한 필요를 해결하기 위해 기호 시퀀스와 해당 임베딩을 지정, 생성, 조작 및 분석하는 포괄적인 프레임워크를 제공합니다. 또한 이는 인공 인지 시스템의 성능을 평가할 수 있는 벤치마크 데이터 세트와 작업 집합도 제공합니다. 실험 심리학에서 뇌형 컴퓨터, 인공 지능 등 다양한 분야에 적용되는 우리의 프레임워크는 구조화된 연속적 데이터를 조사하는 여러 과학 영역에 형식적 개념을 통합하고 채택하도록 목표로 합니다. 우리는 심리언어학 실험의 인공 문법 학습용 데이터 세트 생성, 다양한 실험 조건에서 행동 에토그램 분석 및 비교, 뉴로모픽, 인공 신경망 아키텍처 평가, 시퀀스 모델의 기계론적 해부 등과 같은 구체적인 사용 사례를 통해 범위와 적용성을 설명합니다.

이미 제안된 다른 도구들과 접근법들은 기호 시퀀스 처리, 인지 모델링 및 계산 벤치마킹의 특정 측면을 다루지만, 주로 좁은 초점을 가지고 있습니다. 예를 들어, 특수 소프트웨어는 인공 문법 학습 실험용 문자열 세트를 자동으로 생성하고 선택하는 것에서부터 대규모 언어 모델의 메타 학습 및 최소 노출에서의 일반화 평가까지 다양한 작업을 수행할 수 있습니다. 통합적이고 광범위하게 적용 가능한 도구는 더 높은 수준의 추상화와 일반화를 요구합니다. 여기서 제안하는 것처럼 FLT 개념을 채택하면 인공 신경망의 일반화 한계를 예측하거나 그 표현력을 높일 수 있는 아키텍처 증강을 제안하거나 생물학적 지능과 인공 지능 간의 계산적 유사성과 차이점을 드러내는 데 통찰력이 있습니다.

이 연구들은 순차 구조 규칙성을 처리하도록 설계된 신경 아키텍처의 알고리즘적 및 계산적 속성과 제약에 대해 강력한 도구와 가치 있는 이론적 통찰을 제공합니다. 그들은 적절한 계산 형식과 벤치마크 작업의 중요성을 입증하지만, 연구 영역 간에는 쉽게 일반화되지 않습니다. 동물 인지 및 행동에서 시간 구조의 보편성은 물론 과학 영역을 가로지르는 형식적이고 체계적인 제약 및 표기법의 강력함은 더 실질적인 통합과 다양한 실험 패러다임 및 메트릭을 동일하게 만드는 도구 개발을 요구합니다. 이는 생물학적 및 인공 지능의 다양한 측면을 해석하고 분석하기 위한 공유 개념 프레임워크를 제공합니다.

기존 전문 소프트웨어와 달리 SymSeqBench는 인간, 동물, 그리고 인공 지능을 분석하는 포괄적이고 다학제적인 접근법을 제시합니다. 심리언어학 실험 설계부터 뉴로모픽 아키텍처 평가, 행동 및 생물학적 시퀀스의 구문 구조 분석까지 다양한 영역에서 활용 가능합니다. 다음은 논문에서 제안한 접근법을 잇는 이론적 기반과 형식을 설명하며, 도구가 어떻게 구성되고 구현되는지 설명하고, 여러 문제 영역에 걸친 범위와 적용성을 보여주는 실제 사례를 제공합니다.

이론적 근거

우리는 시퀀스를 (잠재적으로 무한한) 형식 언어의 요소로 간주하며, 유한한 알파벳 위에서 생성되는 형식 문법에 의해 정의됩니다. 형식 언어 $`\mathcal{L}`$은 생성 규칙 세트인 형식 문법 $`\mathcal{G}`$를 따르면 형성할 수 있는 모든 단어 또는 문자열 $`\mathcal{S}`$의 집합을 포함합니다. 각 문자열 $`S_{i}`$는 유한한 기호 시퀀스 $`\sigma_{i}`$로 구성되며, 유한한 알파벳 $`\mathcal{A}`$에서 추출됩니다. 생성 문법 $`\mathcal{G}`$은 언어의 구문을 정의하며, 유효한 문자열 및 문자열 세트를 형성하기 위한 기호가 어떻게 결합되어야 하는지 지정합니다. 이는 정규 표현식, 컨텍스트-프리 문법 또는 컨텍스트-민감이나 제약 없는 문법과 같은 다양한 형식으로 설명될 수 있습니다.

구문의 개념은 시간 구조에 대한 모든 측면을 포착하고 양화하며 형식화하는 결정적인 기둥입니다: 요소가 어떻게 순차적으로 배열되고 결합되는지 시스템적인 패턴을 통제합니다. 생성 문법을 통해 구문을 형식화함으로써, 우리는 복잡한 시퀀스를 특징짓는 시간 종속성을 지정하고 조작하며 분석하기 위한 체계적인 프레임워크를 제공합니다.

형식 언어와 추상 자동기 사이의 깊은 관계로 인해 문법을 해당하는 자동기 $`\mathcal{A}`$로 표현할 수 있으며, 여기서 $`\mathcal{L}(\mathcal{G})=\mathcal{L}(\mathcal{A})`$, 즉 $`\mathcal{L}`$은 생성 또는 인식된 언어를 나타냅니다. 모든 문법에는 동일한 언어를 인식하거나 생성하는 해당 자동기가 있습니다. 따라서 용어를 간소화하기 위해 우리는 종종 생성 문법을 해당 자동기의 튜플 표기법으로 설명합니다. 우리는 주로 정규 문법을 다루며, 이는 $`\mathcal{G}=<\mathcal{Q}, \mathcal{A}, \mathcal{T}, q_{0}, \mathcal{F}>`$로 표현될 수 있습니다. 여기서 $`\mathcal{Q}`$는 유한 상태 집합이며, $`\mathcal{A}`$는 알파벳이고, $`\mathcal{T}`$는 상태 전이 표입니다. $`q_{0}`$과 $`\mathcal{F} \subseteq \mathcal{Q}`$는 각각 시작 및 종료 상태의 부분 집합입니다. 편리성을 위해 일반성 손실 없이 우리는 문법 구조를 방향 그래프로 간주하며, 노드는 상태를 나타내고, 엣지는 상태 간 전이를 나타내며, 엣지 라벨은 알파벳에서의 기호를 나타냅니다. 또한 이를 상태가 아닌 트랜잭션을 표시하는 Markov 체인 형식으로 교대 사용합니다; 이러한 두 가지 동등한 표현 사이의 대응 관계는 상세하게 설명됩니다.

기호 시퀀스와 그 밑바닥 이론적 개념은 다양한 과학 영역에 걸쳐 확장되며, 자연과 설계된 시스템 모두에서 구조화된 시간 패턴의 기본적인 역할을 반영합니다. 분자생물학에서는 확률적 컨텍스트-프리 문법이 RNA 2차 구조 예측 및 분석에 표준 도구로 사용됩니다. 신경과학에서는 순차적인 뉴런 활동 패턴이나 행동 상태는 형식 언어 프레임워크를 통해 캐릭터라이즈될 수 있습니다. 인지 심리학에서 계층적 구문 구조 문법은 언어와 행동 계획의 구성적 특성을 포착합니다. 이러한 도메인 일반적 적용 가능성은 형식 문법의 추상적인 성질에 기인하며, 기호의 의미 해석에 제약을 부과하지 않으므로 기호는 어떤 추상 상태나 사건을 나타낼 수 있습니다.

따라서 우리는 구문 구조의 질량 및 특성을 측정하거나 조작할 수 있는 다양한 생성 및 분석 레벨을 정의할 수 있습니다: (i) 개별 기호 또는 토큰 $`\sigma_{i} \in \mathcal{A}`$; (ii) 개별 서브시퀀스 또는 문자열 $`S_{i} \in \mathcal{S}`$; (iii) 유효한 문자열의 집합 $`[S_{i}, …, S_{T}] \in \mathcal{S}`$; (iv) 생성 문법 $`\mathcal{G}_{x}`$ 및 완전한(잠재적으로 무한한) 언어 $`\mathcal{L}`$. 우리가 제안하는 구현은 이러한 각 레벨의 속성을 독립적으로 조작하거나 분석할 수 있는 능력을 제공하며, 기호의 본질에 대한 제약이나 특정 의미를 부과하지 않기 때문에 매우 광범위한 연속 구조 데이터에 적용 가능합니다.

우리가 형식 언어 이론적 개념을 사용하는 방법에서 전통적인 해석과 차이점을 명확히 구분해야 합니다, 특히 모호성의 개념. 형식 언어 이론에서는 일반적으로 모호성이 특정 컨텍스트-프리 문법 하에 단일 문자열에 대한 여러 개의 파싱 트리를 의미하므로 그 자체의 구조적 특성을 참조합니다. 우리의 프레임워크에서 우리는 더 자유롭게 사용하여 다양한 수준의 불확실성이나 변동성을 포착합니다: 기호 수준의 모호성(예: 잡음이 있는 또는 부분적으로 관찰 가능한 토큰), 문자열 수준의 모호성(예: 동일한 표면형에 대한 여러 유효한 해석), 생성 규칙의 언급 미세화와 같은 문법 수준의 모호성. 이 일반화된 개념은 관찰, 표현 및 추론에서 불확실성이 퍼져 있는 실제 시퀀스 처리 시나리오를 모델링하는 데 필수적입니다.

다음 섹션에서는 이러한 다중 레벨 프레임워크의 구현을 설명하고 어떻게 체계적으로 다양한 규모의 시퀀스 복잡성을 탐색하도록 하며, 이는 측정학적으로 기반한 실험 패러다임 설계를 위한 이론적 통찰과 실용적인 도구를 제공합니다.

아키텍처, 설계 및 구현

SymSeqBench은 형식 언어 기반 시퀀스 생성을 통합하는 오픈 소스 모듈형 Python 프레임워크로 합성 및 실제 데이터 세트와 광범위한 구조적 및 통계적 분석을 포함합니다. 이 프레임워크는 두 개의 전문 구성 요소를 통해 책임을 나눕니다: SymSeq[^2]은 표준화된 인터페이스로 기호 시퀀스와 작업을 정의, 생성 및 분석하고, SeqBench[^3]은 기호 표현을 변환하고 임베딩하여 각 기호에 기능적 의미를 부여합니다. 이러한 계층적인 조직 구조는 합성 및 사용자 제공 데이터 모두를 지원하며, 추상적인 구조적 속성에서 머신 러닝 및 생물학적 계산 모델과 호환 가능한 분산 벡터 표현까지의 분석을 가능하게 합니다. 이 분리의 장점은 주로 기호 생성 및 분석에 관심이 있는 연구자가 추가적인 오버헤드와 의존성을 갖지 않고 가벼운 SymSeq 구성 요소를 사용할 수 있다는 것입니다. 동시에 유연하고 사용자 친화적인 아키텍처는 재현성과 맞춤형을 강조하며, 최적화 및 백엔드에 무관한 설계는 다양한 실험 및 계산 환경에서 확장성을 보장합니다.

SymSeq: 기호 시퀀스 생성 및 분석

SymSeq은 기호 시퀀스를 정의, 생성하고 분석하는 기본을 제공하며 이를 관련 컴퓨팅 작업으로 구조화하고 모든 관련 매핑을 지정합니다. 이는 문법과 시퀀스 생성에 대한 핵심 데이터 구조를 포함하며 다양한 인공 언어 생성기 라이브러리, 사용자 제공 데이터를 분석하는 인터페이스 및 다중 구조적 및 언어적 척도에서 포괄적인 분석 지표 세트를 제공합니다. 또한 SymSeq은 언어 인식과 언어 변환을 통해 작업 목표를 형식화하므로 추상 규칙 일반화와 구조에 민감한 변환이 모두 지원됩니다. 이러한 요소들은 도메인 간 기호 시퀀스 처리의 모델링 및 평가를 위한 유연하고 확장 가능한 프레임워크를 확립합니다.

모듈식 설계를 활용하여 SymSeq은 개별 구성 요소와 함수를 단독으로 사용하거나 구성 파일로부터 완전한 입력/출력 데이터 세트를 인스턴스화할 수 있습니다. 이를 통해 대부분의 실제 상황에서 시간을 크게 줄일 수 있습니다.