촉각 언어: 진동을 텍스트로 번역하는 듀얼 브랜치 학습

본 논문은 진동 촉각(vibrotactile) 신호를 자연어 텍스트로 변환하는 새로운 과제인 ‘진동 촉각 캡셔닝(vibrotactile captioning)’을 최초로 정의하고, 이를 해결하기 위한 모델과 데이터셋을 제시한다. 배경으로는 IEEE P1918.1 작업그룹이 1차원 삼축 가속도 형태의 진동 데이터를 표준화하면서, 가상현실·인간‑컴퓨터 상호작용·임베디드 인공지능 분야에서 촉각 데이터 활용이 급증했지만, 그 의미를 언어적으로 해석하는 연구는 부족했다는 점을 들었다. 문제 정의는 “진동 신호 → 구조화된 자연어 설명”이며, 이는 기존 이미지·비디오·오디오 캡션 모델이 갖는 공간·시간·음향 구조적 전제와 달리, 촉각 신호는 공간 의미가 없고, 주기적·비주기적 패턴이 혼합된 복합적인 시간 신호라는 특성을 가진다. 이러한 특성을 반영하기 위해 저자는 세 가지 주요 기여를 제시한다. 1. **데이터셋 구축(LMT108‑CAP)**: 기존 LMT‑108 표면 재질 데이터베이스는 108개의 재질에 대해 삼축 가속도, 마찰, 소리, 이미지 등을 제공하지만 텍스트 라벨이 없었다. 저자는 GPT‑4o를 이용해 각 표면 이미지에 대해 ‘This material surface …’ 형식, 색상 배제, 15단어 이하, 결정적 서술이라는 네 가지 제약을 두고 5개의 캡션을 자동 생성하였다. 이를 통해 2,160개의 진동 샘플에 5개의 캡션을 매칭, 총 10,800개의 (신호, 텍스트) 쌍을 확보하고, 7:3 비율로 학습·테스트 셋을 나누었다. 2. **모델 설계(ViPAC)**: - **Dual‑Branch Encoder**: 신호를 주기성(Periodic)과 비주기성(Aperiodic) 두 흐름으로 분리. 주기성 브랜치는 DFT321 변환 후 Frequency Analysis Network(FAN)를 적용해 주파수 스펙트럼을 추출하고, 비주기성 브랜치는 Mel‑Spectrogram → Conv+Pool → LSTM 구조로 시간적 변동성을 모델링한다. - **Dynamic Feature Fusion**: 두 브랜치의 출력에 대해 주기성 점수를 추정하고, Softmax 가중치를 통해 동적으로 융합한다. 이때 orthogonality constraint를 적용해 두 특징이 직교하도록 강제하고, weighting regularization으로 과도한 한쪽 편향을 억제한다. - **Transformer Decoder**: 융합된 표현을 Word Embedding + Positional Encoding을 거친 Transformer 디코더에 입력해 캡션을 순차적으로 생성한다. 3. **실험 및 평가**: 기존 오디오 캡션(Audiocaps), 이미지 캡션(Show‑Tell, Transformer‑based), 그리고 멀티모달 변형 모델들을 베이스라인으로 설정하고, BLEU‑1~4, METEOR, CIDEr, SPICE 등 자동 지표와 인간 평가를 수행하였다. ViPAC은 전반적으로 모든 지표에서 베이스라인을 크게 앞섰으며, 특히 주기성·비주기성 혼합이 강한 샘플에서 의미 일관성과 어휘 정확도가 현저히 높았다. Ablation study에서는 (1) 주기성 브랜치 제거, (2) 비주기성 브랜치 제거, (3) orthogonal constraint 제거, (4) weighting regularization 제거 각각이 성능 저하를 초래함을 확인해 제안된 구조의 각 요소가 필수적임을 입증했다. **응용 시나리오**로는 (i) 언어 기반 검색·인덱싱을 통한 재질 탐색, (ii) 제조·품질 관리에서 텍스트 요약을 통한 자동 검증, (iii) 저해상도 촉각 디스플레이에서 텍스트 기반 보조 정보를 제공하는 가상현실 환경 등이 제시되었다. **한계 및 향후 연구**: 현재 데이터는 GPT‑4o가 자동 생성한 제한된 텍스트에 의존하므로, 인간 라벨링 기반의 풍부하고 다양성 있는 캡션이 필요하다. 또한 색상·시각적 특성을 배제했기 때문에, 멀티모달(시각·촉각) 통합 캡션 모델로 확장할 여지가 있다. 향후 연구에서는 압력, 전도도 등 추가 센서 데이터와 사용자 맞춤형 언어 모델을 결합해 실시간 HCI 시스템에 적용하고, 라벨링 비용을 최소화하는 반자동 라벨링 파이프라인을 개발하는 방향을 제시한다. 전반적으로 본 논문은 진동 촉각 데이터를 언어와 연결하는 새로운 패러다임을 제시하고, 데이터·모델·평가 전 과정을 체계적으로 구축함으로써 향후 촉각 인공지능 연구에 중요한 기반을 제공한다.