뇌‑시각 정렬을 위한 하이퍼볼릭 특징 보간

초록

HyFI는 뇌 신호와 이미지 특징 사이의 정보 격차와 의미‑지각 특징의 얽힘을 해소하기 위해 하이퍼볼릭 공간에서 의미와 지각 특징을 보간한다. 하이퍼볼릭 지오데시가 원점으로 굽어지는 특성을 이용해 두 특징을 압축·융합함으로써 뇌‑시각 정렬을 강화하고, THINGS‑EEG와 THINGS‑MEG 데이터셋에서 Top‑1 정확도를 각각 +17.3%와 +9.1% 향상시킨다.

상세 분석

본 논문은 뇌‑시각 정렬 문제를 “정보 용량 불균형”과 “특징 얽힘”이라는 두 가지 근본적인 한계로 규정한다. 기존 연구들은 의미(semantic)와 지각(perceptual) 특징을 각각 별도 경로로 정렬하려 했지만, 뇌 신호가 담고 있는 정보는 이미지 임베딩에 비해 현저히 적고, 두 특징이 신경 활동 내에서 동시에 인코딩된다는 점을 간과했다. HyFI는 이러한 문제를 해결하기 위해 하이퍼볼릭(음의 곡률) 공간을 선택한다. 하이퍼볼릭 공간은 반경이 커질수록 부피가 기하급수적으로 증가해 고차원 계층 구조를 효율적으로 표현할 수 있으며, 원점에 가까울수록 표현 용량이 제한된다. 이 특성을 활용해 의미 특징과 지각 특징을 하이퍼볼릭 지오데시 상에서 보간하면, 두 특징이 자연스럽게 원점 쪽으로 수축하면서 정보가 압축된다. 즉, 뇌 신호가 가질 수 있는 낮은 정보량에 맞춰 “압축된” 시각 표현을 생성한다는 점이 핵심이다.

구현 측면에서는 먼저 CLIP 기반 이미지 임베딩을 두 가지 변형(시멘틱 이미지: fovea blur, 퍼셉추얼 이미지: Gaussian blur)으로 만든 뒤, 각각 선형 변환과 스칼라 αv를 통해 하이퍼볼릭 로렌츠 모델의 원점 O에 매핑한다. 이후 로그 맵을 이용해 퍼셉추얼 특징을 의미 특징의 접공간으로 투사하고, 스칼라 t(시그모이드로 동적 결정)를 곱한 뒤 다시 지수 맵을 적용해 두 점 사이의 지오데시를 따라 보간한다. 이 과정에서 t는 이미지마다 의미와 지각의 상대적 중요도를 학습적으로 조정한다.

뇌 신호는 별도 인코더 f_b를 통해 동일한 하이퍼볼릭 공간에 매핑되며, αb 스칼라로 원점 근처에 위치시킨다. 최종 정렬은 하이퍼볼릭 대비학습(loss (7))을 사용해 보간된 시각 표현 ˆz_v와 뇌 임베딩 z_b를 서로 끌어당긴다. 대비학습은 하이퍼볼릭 거리 d_L을 이용해 양쪽 방향으로 적용되어, 양쪽 모달리티가 동일한 하이퍼볼릭 구조 안에서 상호 정렬된다.

이론적 분석에서는 하이퍼볼릭 보간이 유클리드 선형 보간보다 가중치 sinh((1‑t)β)/sinhβ, sinh(tβ)/sinhβ가 작아 원점에 더 가깝게 만든다는 점을 증명한다. 이는 곧 표현 용량이 감소함을 의미하며, 뇌 신호의 제한된 정보량에 맞는 “추상화된” 표현을 제공한다. 실험에서는 다양한 뇌‑시각 인코더 조합에 HyFI를 적용했을 때, 기존 최첨단 방법 대비 Top‑1 정확도가 THINGS‑EEG(68.2% → +17.3%)와 THINGS‑MEG(35.8% → +9.1%)에서 크게 향상됨을 보고한다. 또한, Ablation 실험을 통해 t의 동적 학습, α 스칼라, 하이퍼볼릭 대비학습 각각이 성능에 미치는 기여도를 확인한다.

전반적으로 HyFI는 하이퍼볼릭 공간의 기하학적 특성을 활용해 뇌‑시각 정렬의 근본적인 모달리티 격차와 특징 얽힘을 동시에 해결하는 새로운 패러다임을 제시한다.