재귀 연결이 시차적 가림 물체 인식을 어떻게 향상시키는가

본 논문은 인간 시각 피질에서 재귀 연결이 가림된 물체 인식에 기여한다는 가설을 인공 신경망에 적용해 검증한다. 이를 위해 저자들은 기존 2차원 마스크 기반 데이터셋의 한계를 극복하고, 3차원 깊이와 양안 시차를 반영한 ‘Stereo‑Digits’ 데이터셋을 새롭게 구축하였다. 데이터는 목표 숫자를 뒤쪽에 배치하고, 앞쪽에 2~4개의 가림 숫자를 무작위 x‑좌표와 깊이 차이로 겹쳐 놓아 실제 환경에서의 가림 현상을 모사한다. 각 이미지는 512×512 해상도로 렌더링된 뒤 32×32로 다운샘플링돼 학습 효율을 유지하면서도 스테레오 정보를 보존한다. 네트워크 아키텍처는 네 가지 변형으로 구성된다. B는 순수 하향(bottom‑up) 연결만을 갖는 전통적 피드포워드 모델이며, BT는 하향·상향(top‑down) 연결을, BL은 하향·측면(lateral) 연결을, BLT는 세 가지 모두를 포함한다. 재귀 모델은 두 개의 은닉 컨볼루션 레이어와 하나의 완전 연결 레이어로 이루어지며, 시간 단계 t=0~3까지 펼쳐서 역전파한다. 파라미터 수를 공정하게 비교하기 위해 B‑F(필터 수 64)와 B‑K(커널 5×5)라는 두 개의 강화된 피드포워드 모델을 도입하였다. 실험은 모든 가림 수준(2, 3, 4개의 가림 물체)을 포함한 데이터와, 단일 가림 수준을 별도로 학습한 경우 두 가지로 진행되었다. 결과는 두 가지 차원에서 일관되게 나타난다. 첫째, 오류율 측면에서 BLT가 모든 조건에서 최저를 기록했으며, 특히 스테레오 입력에서는 재귀 모델 간 차이가 더욱 두드러졌다. 둘째, McNemar 검정과 Bonferroni 보정을 통해 재귀 모델이 피드포워드 모델보다 통계적으로 유의미하게 우수함을 확인했다. B‑K는 커널 확대가 성능 향상으로 이어지지 않음을 보여, 단순히 연결 수를 늘리는 것이 아니라 재귀적 피드백이 핵심임을 시사한다. 시간에 따른 내부 표현 변화를 분석하기 위해 마지막 은닉 레이어의 활성값을 t‑SNE로 시각화하였다. t=0에서는 가림된 입력들의 표현이 서로 뒤섞여 클러스터가 형성되지 않지만, t=1~3으로 진행될수록 각 클래스별 클러스터가 명확히 구분된다. t=3에서는 동일 클래스 내에서도 가림 물체가 왼쪽에 있는 경우와 오른쪽에 있는 경우가 두 개의 서브클러스터로 나뉘어, 네트워크가 가림 방향까지 인코딩하고 있음을 보여준다. 이러한 현상은 재귀 연결이 ‘가림 물체를 할인(discount)’하고, 목표 물체의 순수 표현에 점진적으로 수렴한다는 저자들의 가설을 뒷받침한다. 소프트맥스 출력도 시간에 따라 초기 오답을 교정하고 정답 확률을 강화하는 과정을 구체적인 예시와 평균 클래스별 확률 변화를 통해 제시한다. 이는 재귀 피드백이 신경망의 믿음(belief)을 동적으로 재조정한다는 점에서 인간 뇌의 반응 지연과 유사한 메커니즘을 암시한다. 결론적으로 이 연구는 (1) 현실적인 3D·스테레오 가림 데이터셋을 제공하고, (2) 재귀 연결이 파라미터 효율성 측면에서 피드포워드 대비 실질적 이점을 제공함을 실험적으로 입증했으며, (3) 내부 표현의 시간적 진화를 정량·시각적으로 분석함으로써 재귀 메커니즘의 작동 원리를 구체화했다는 점에서 인공 시각 시스템 설계와 인간 시각 피질의 재귀 처리 모델을 이해하는 데 중요한 단서를 제공한다.