프리모던 일본 고문서 인식 시스템 인간 시선 움직임 모방

초록

본 논문은 프리모던 일본의 쿠즈시지(草書字) 문서를 인간의 눈 움직임을 모방한 방식으로 읽는 시스템을 제안한다. 시선 시작점 탐지 → 현재 문자 인식 → 다음 문자로 이동 → 행 종료·다음 행 탐지의 순환을 구현하기 위해 attention‑based encoder‑decoder 구조를 사용한다. DenseNet 기반 이미지 피처 추출기와 LSTM 디코더에 coverage 모델을 결합해 이전 시선 정보를 기억한다. PRMU Kuzushiji 대회 레벨 2·3에서 각각 9.87 %와 53.81 %의 Sequence Error Rate를 기록하며 기존 최고 성능을 능가한다.

상세 분석

이 연구는 전통적인 문자 분할‑인식 파이프라인이 쿠즈시지와 같이 연결되고 흐릿한 필기체에 적용되기 어려운 점을 지적하고, 인간이 텍스트를 읽을 때 눈의 급속한 이동(saccade)과 고정(fixation) 과정을 모델링함으로써 새로운 접근을 시도한다. 구체적으로, 시스템은 두 단계로 구성된다. 첫 번째 단계는 CNN 기반의 DenseNet을 이용해 입력 이미지에서 다중 스케일의 고차원 피처 맵을 추출한다. DenseNet은 각 레이어가 앞선 모든 레이어의 출력을 연결(concatenate)함으로써 정보 손실을 최소화하고, 3개의 dense block과 transition layer를 통해 메모리 사용을 최적화한다. 두 번째 단계는 LSTM 디코더와 soft‑attention 메커니즘을 결합한 구조이다. 디코더는 이전에 생성된 문자 토큰의 임베딩, 현재 LSTM 은닉 상태, 그리고 attention 가중치가 적용된 피처 맵을 입력으로 받아 다음 문자 확률 분포를 출력한다. 여기서 핵심은 coverage vector이다. coverage vector는 시간 단계 t‑1까지 누적된 attention 확률을 저장하고, 현재 단계의 attention 계산에 추가함으로써 “이미 본” 영역을 억제하고 “다음에 볼” 영역을 강조한다. 이는 인간이 이미 읽은 텍스트 위치를 기억하고 재방문을 최소화하는 눈 움직임과 유사하다. 학습은 교차 엔트로피 손실을 최소화하는 방식으로 진행되며, AdaDelta 옵티마이저와 gradient clipping을 적용해 안정적인 수렴을 도모한다. 배치 크기는 8, 학습 조기 종료 기준은 검증 셋의 오류율이 15 epoch 연속 개선되지 않을 경우이다. 실험에서는 PRMU Kuzushiji 대회에서 제공한 레벨 2(3문자 수직 배열)와 레벨 3(다중 행, 자유로운 문자 수) 데이터셋을 사용하였다. 레벨 2에서는 9.87 % SER, 레벨 3에서는 53.81 % SER를 달성했으며, 이는 같은 대회에 참가한 모든 기존 모델(CNN‑BLSTM, multi‑task 레이아웃 분석 등)을 능가한다. 특히 레벨 3에서 높은 오류율에도 불구하고, 기존 문자‑분할 기반 시스템에 비해 크게 개선된 점은 연결된 필기체를 직접 시퀀스‑투‑시퀀스 방식으로 처리함으로써 분할 오류 전파를 차단한 것이다. 한계점으로는 현재 시스템이 라인 시작점 탐지를 전역적인 attention에 의존하고 있어 복잡한 레이아웃(표, 삽화 등)이 포함된 페이지에서는 성능 저하가 예상된다. 또한, coverage vector가 단순히 누적 확률을 사용하기 때문에 장거리 의존성을 완전히 포착하지 못할 가능성이 있다. 향후 연구에서는 레이아웃 인식 모듈과의 멀티‑모달 결합, Transformer 기반 전역 컨텍스트 모델 도입, 그리고 실제 사료 보존 현장에서의 실시간 적용성을 검증하는 작업이 필요하다.