엔트로피 인식 구조 정렬 기반 제로샷 한자 인식

초록

본 논문은 한자 필기 인식에서 보지 못한 문자들을 인식하기 위해, 급진적 빈도 기반 엔트로피 정보를 활용한 위치 임베딩과 이중‑뷰 급진 트리를 결합한 구조적 정렬 네트워크를 제안한다. 엔트로피‑가중 모듈은 핵심 급진에 더 높은 주의를 부여하고, 적응형 시그모이드 게이트와 Top‑K 의미 융합을 통해 시각‑언어 간 정교한 매칭을 수행한다. ICDAR‑2013 제로샷 실험에서 55.04% 정확도를 달성했으며, 단일 샘플 지원으로 92.41%까지 성능을 끌어올렸다.

상세 분석

이 연구는 기존 급진 기반 제로샷 한자 인식이 급진을 평면 시퀀스로만 취급하고, 각 급진의 정보량 차이를 무시한다는 한계를 정확히 지적한다. 저자들은 정보 이론에서 영감을 받아 “정보 엔트로피 사전”(Information Entropy Prior)을 도입, 급진의 등장 빈도에 기반한 엔트로피 값을 계산하고 이를 위치 임베딩에 곱셈적으로 결합한다. 이 방식은 고빈도 급진(예: ‘口’, ‘日’)의 영향력을 억제하고, 저빈도 급진이 가진 구별력을 강조함으로써 시각 특징 추출 단계에서 자연스러운 ‘주의 메커니즘’을 구현한다.

구조적 표현 측면에서는 기존 트리‑LSTM이나 GCN이 단일 뷰에 머무는 문제를 ‘이중‑뷰 급진 트리(Dual‑View Radical Tree)’로 해결한다. 하나는 부모‑중심 뷰로 전역 레이아웃(좌‑우, 위‑아래, 둘러싸기 등)을 포착하고, 다른 하나는 자식‑중심 뷰로 각 급진의 로컬 위치와 관계를 상세히 모델링한다. 두 뷰에서 추출된 다섯 종류의 다중‑입체 특징을 ‘시그모이드 기반 게이트퓨전(Sigmoid‑Gate Fusion)’ 네트워크에 입력해, 각 특징의 중요도를 동적으로 조절한다. 이는 급진 간 비선형 상호작용을 학습하게 하여, 손글씨의 왜곡과 급진 구조 간 격차를 효과적으로 메운다.

또한, ‘Top‑K 의미 특징 융합(Top‑K Semantic Feature Fusion)’을 도입해 디코더 쿼리를 의미적 이웃의 중심점으로 보강한다. 이는 시각적 모호성을 완화하고, 의미 공간에서의 군집 구조를 활용해 예측을 안정화한다.

데이터 증강 부분에서는 ‘다중‑그리드 2D 탄성 변형(Multi‑grid 2D Elastic Deformation)’을 설계해, 급진 이미지 위에 정밀한 격자 제어점을 두고 가우시안 잡음을 통해 비선형 변형을 생성한다. 이는 손글씨의 복잡한 스트로크 변형을 시뮬레이션해 모델의 일반화 능력을 크게 향상시킨다.

실험 결과는 ICDAR‑2013(1500자)에서 55.04%라는 제로샷 최고 정확도를 기록하고, 1‑샷(클래스당 한 개 지원 샘플) 상황에서 92.41%까지 급격히 상승한다는 점에서 데이터 효율성이 뛰어나다는 것을 입증한다. 또한, CASIA‑HWDB 전반에 걸친 추가 실험과 다양한 ablation study를 통해 각 모듈(엔트로피 사전, 이중‑뷰 트리, 게이트퓨전, Top‑K 융합)의 기여도를 정량화한다.

하지만 몇 가지 한계도 존재한다. 첫째, 엔트로피 사전이 급진 빈도 통계에 크게 의존하므로, 훈련 데이터의 급진 분포가 테스트 환경과 크게 다를 경우 성능 저하가 우려된다. 둘째, 이중‑뷰 트리와 시그모이드 게이트는 파라미터가 다소 많아, 경량화가 필요한 모바일/임베디드 환경에 바로 적용하기엔 부담이 될 수 있다. 셋째, Top‑K 융합에서 K값 선택이 성능에 민감하게 작용할 가능성이 있으며, 자동화된 K 선택 메커니즘이 추가된다면 더욱 견고해질 것이다.

전반적으로, 정보‑엔트로피 기반 가중치와 구조‑다중‑뷰 정렬을 결합한 접근은 제로샷 한자 인식 분야에 새로운 패러다임을 제시한다. 향후 급진 외에도 스트로크‑레벨 임베딩을 통합하거나, 대규모 멀티모달 사전학습 모델과 결합한다면 더욱 일반화된 문자 인식 시스템으로 확장될 여지가 크다.