음악적 공간 오디오로 구현한 블라인드 수식 편집기 StereoMath

초록

본 논문은 시각 장애인과 저시력 사용자를 위해 수식 입력·읽기를 전적으로 청각적·촉각적 인터페이스로 재구성한 웹 기반 편집기 “StereoMath”를 제안한다. 좌우·위아래 위치를 스테레오 사운드와 피치로 전달하고, 키보드 기반 공간 네비게이션과 음향 이콘(earcon)으로 인지 부하를 감소시킨다. 시스템은 수식 트리와 2‑D 격자 두 가지 내부 모델을 사용하며, LaTeX 코드 출력도 지원한다.

상세 분석

StereoMath는 시각 장애인에게 수학 표현의 “공간 관계”를 전달하는 데 초점을 맞춘 최초의 접근 방식이다. 기존 도구가 텍스트 기반(LaTeX) 혹은 화면 리더가 선형으로 읽는 방식에 머물렀던 반면, 이 논문은 청각적 공간 메타데이터를 실시간으로 생성한다. 구체적으로는 (1) 좌우 위치를 스테레오 채널(왼쪽·오른쪽 스피커)으로, (2) 위아래 위치를 피치(높은 음‑낮은 음)로 매핑하여 사용자가 “위에” 혹은 “아래에” 있는 요소를 직관적으로 감지한다. 이는 시각적 좌표를 청각적으로 재현함으로써 작업 기억의 부담을 크게 줄인다.

디자인 목표(DG1‑DG5)는 청각·촉각·시각(고대비 UI) 세 축을 균형 있게 배치한다. 특히 DG2에서 제시한 “키보드 기반 근육 기억”은 키보드 자체를 2‑D 지도처럼 활용한다. 사용자는 키보드의 물리적 위치에 따라 수식의 행·열을 선택하고, 선택 시 짧은 멜로디와 함께 음성 피드백이 제공된다. 이는 별도의 하드웨어 없이도 공간 인지를 가능하게 한다.

DG3의 earcon 설계는 MathSpeak의 장황한 읽기를 대체한다. 예를 들어 괄호는 “열림”·“닫힘” 음향 시퀀스로 대체돼, 청각적 토큰만으로 구조적 경계를 파악한다. 이는 작업 기억에 남는 verbal filler를 최소화하고, 동시에 정보 밀도를 높인다.

구현 측면에서 시스템은 Node.js 백엔드와 Web Audio API를 활용한다. 사용자 입력이 발생하면 서버에서 Piper TTS를 호출해 텍스트를 음성으로 변환하고, Tone.js를 통해 스테레오·피치 조정을 수행한다. 클라이언트는 두 가지 내부 모델을 유지한다. 첫 번째는 연산자를 내부 노드, 피연산자를 리프 노드로 하는 트리 구조이며, 두 번째는 수식을 행·열 격자로 펼친 테이블이다. 트리 기반 전처리는 전통적인 전위 순회(pre‑order)로 선형 탐색을 구현하고, 테이블 기반 탐색은 화살표 키와 “행·열 모드” 전환을 통해 1‑차원 이동을 보장한다.

시스템은 사용자 정의 입력 필드와 LaTeX 출력 기능을 제공한다. 입력 필드는 화면 리더의 기본 동작을 오버라이드해, 커서 이동 시 스테레오 사운드가 즉시 반영되도록 설계되었다. 또한 사용자는 키보드 레이아웃을 임의로 매핑하거나, 청각 장애를 고려해 스테레오 효과를 끄는 등 설정을 조정할 수 있다.

한계점으로는 현재 사용자 연구가 초기 단계이며, 정량적 성능 평가가 부족하다는 점이다. 또한 스테레오·피치 인코딩은 청각 능력에 따라 인식 차이가 발생할 수 있어, 개인화된 프로파일링이 필요하다. 향후 연구에서는 대규모 사용자 실험과, 시각‑청각 융합 인터페이스(예: 화면 진동, 햅틱 피드백)와의 통합을 통해 인지 부하를 더욱 최소화할 여지가 있다.