고해상도 시각을 위한 인간 눈 영감형 초점 인터페이스 FOVI

초록

FOVI는 인간 망막‑V1 매핑을 수학적으로 모델링해 비균일한 망막 샘플을 균일한 센서 매니폴드로 변환한다. k‑최근접 이웃(kNN) 기반 컨볼루션과 새로운 커널 매핑 기법을 통해 이 매니폴드 위에서 일반적인 CNN·ViT 연산을 수행한다. 실험에서 FOVI‑CNN과 FOVI‑ViT는 비초점 기반 베이스라인 대비 연산량은 크게 줄이면서도 이미지 분류·전이 학습에서 경쟁력 있는 정확도를 달성한다.

상세 분석

이 논문은 인간 시각 시스템의 ‘초점(foveated)’ 특성을 딥러닝에 직접 도입하려는 시도로, 두 가지 핵심 기술을 제시한다. 첫째, 로바모·비르수(1984)의 망막‑피질 매핑 공식을 이용해 원심 거리(eccentricity)에만 의존하는 샘플링 밀도를 정의하고, 이를 적분해 ‘코르티칼 확대 함수(CMF)’를 얻는다. CMF M(r)=1/(r+a)의 파라미터 a를 조절함으로써 초점 강도를 연속적으로 변조할 수 있으며, a→∞이면 균일 샘플링에 수렴한다. 이렇게 생성된 좌표들은 3차원 센서 매니폴드에 균등하게 분포하고, 시각 공간에서는 원형 등방성(isotropy)을 유지한다. 매니폴드를 수직 자극축(시야의 수직 중간선)에서 절단·평탄화하면 인간 V1의 좌·우 반구 구조와 일치하는 2D 표현이 얻어진다.

둘째, 이 매니폴드 위에서 전통적인 컨볼루션 연산을 가능하게 하는 ‘kNN‑컨볼루션’과 ‘커널 매핑’ 기법이다. 출력 유닛을 매니폴드 상에 일정 간격으로 배치하고, 각 유닛을 중심으로 k개의 최근접 이웃을 정의한다. 각 이웃은 극좌표(r, θ)로 표현되며, 여기서 r은 매니폴드상의 기하학적 거리, θ는 시각 공간에서의 각도이다. 이 극좌표를 직교 좌표(x = r cosθ, y = r sinθ)로 변환하면, 표준 2D 격자에 존재하는 ‘참조 커널’ W와 동일한 좌표 체계가 된다. 이후 W를 고해상도(보통 s = 2√k)로 샘플링해 각 이웃에 매핑함으로써, 위치에 따라 크기와 형태가 변하지만 방향은 일관된 필터를 구현한다. 이렇게 하면 가중치 공유가 유지되면서도 초점에 따라 수용 영역이 확대·축소되는 가변‑해상도 컨볼루션이 가능해진다.

FOVI‑CNN은 위의 kNN‑컨볼루션을 여러 층에 쌓아 계층적 특징 학습을 수행한다. 각 층은 이전 층의 출력 위치를 새로운 kNN 중심으로 재정의해 해상도가 점진적으로 낮아지는 전형적인 CNN 구조와 유사하지만, 초점에 따라 수용 영역이 비선형적으로 변한다는 점이 차별점이다. 실험에서는 AlexNet‑스타일 네트워크에 적용해, 중간 정도의 초점(a ≈ 0.5)에서 비초점 모델보다 높은 Top‑1 정확도를 기록했으며, 초점이 과도하면 주변 정보 손실로 성능이 감소한다는 생물학적 현상을 재현했다.

ViT에 대한 적용은 kNN‑컨볼루션을 이용해 ‘초점 패치 임베딩’를 생성하고, 기존 DINOv3 ViT에 LoRA(저랭크 어댑테이션) 방식으로 파인튜닝한다. 이렇게 하면 기존 대규모 사전학습 가중치를 거의 그대로 유지하면서도 입력 해상도를 크게 줄일 수 있다. 실험 결과, 224×224 기준의 풀‑해상도 ViT와 비교해 FLOPs는 30 % 이하로 감소했지만, ImageNet‑1K Top‑1 정확도는 1~2 % 차이로 근접했다. 또한 동일 연산량 조건에서 비초점 ViT보다 일관되게 우수한 성능을 보였다.

전체적으로 본 연구는 (1) 인간 시각의 코르티칼 확대 원리를 수학적으로 구현한 샘플링 인터페이스, (2) 비균일 샘플을 균일 매니폴드로 변환해 기존 CNN·ViT 연산을 그대로 활용할 수 있게 하는 커널 매핑, (3) 실제 대규모 데이터셋에서 효율성과 정확도 모두를 검증한 두 가지 적용 사례를 제공한다. 제한점으로는 현재 매니폴드가 정적이며 고정된 초점 파라미터 a만을 조절한다는 점, 그리고 실시간 안구 움직임(시선 전이)과 연계된 동적 샘플링에 대한 탐구가 부족하다는 점을 들 수 있다. 향후 연구에서는 시선 추적과 연동해 동적으로 a를 업데이트하거나, 비정형 센서(예: 이벤트 카메라)와 결합해 더욱 효율적인 액티브 비전 시스템을 구축할 여지가 있다.