생물학적으로 영감 받은 CNN 구조: LGN CNN

읽는 시간: 3 분
...

📝 원문 정보

  • Title: LGN-CNN: a biologically inspired CNN architecture
  • ArXiv ID: 1911.06276
  • 발행일: 2021-10-29
  • 저자: Federico Bertoni, Giovanna Citti, Alessandro Sarti

📝 초록 (Abstract)

이 논문에서는 시각계 구조에서 영감을 받은 컨볼루셔널 신경망(CNN) 아키텍처인 LGN-CNN을 소개합니다. 이 아키텍처의 첫 번째 컨볼루셔널 레이어는 Lateral Geniculate Nucleus(LGN)의 역할을 모방하는 단일 필터로 구성되어 있습니다. 신경망의 첫 번째 레이어는 회전 대칭 패턴을 보여주며, 이는 네트워크 자체의 구조에서 유래한 것으로 Laplacian of Gaussian(LoG)의 근사치입니다. LoG 함수는 다시 LGN 세포들의 수용 장 프로파일(RFPs)의 좋은 근사치를 제공합니다. 신경망 아키텍처로부터 직접 나타나는 시각계와의 유사성이 확립됩니다. 고정된 LGN-CNN 아키텍처에서 첫 번째 레이어의 회전 불변성을 증명하고 계산 결과를 보여줍니다. 또한, LGN-CNN의 대조 불변성 능력을 조사하며, 다른 이미지들에 대해 LGN-CNN의 첫 번째 레이어와 LoG의 Retinex 효과 간의 비교를 제공합니다. 두 번째 컨볼루셔널 레이어의 필터들에 대한 통계적 연구가 생물학적 데이터와 함께 수행됩니다. 결론적으로, 이 모델은 LGN과 V1의 RFPs를 잘 근사하며, LGN 세포들이 보여주는 Retinex 효과 측면에서 유사한 동작을 달성합니다.

💡 논문 핵심 해설 (Deep Analysis)

This paper introduces a novel CNN architecture called LGN-CNN, inspired by the structure of the visual system, particularly focusing on mimicking the role of the Lateral Geniculate Nucleus (LGN). The main innovation is the use of a single filter in the first convolutional layer to approximate the functions of the LGN. This filter approximates the Laplacian of Gaussian (LoG), which closely resembles the receptive field profiles (RFPs) of cells in the LGN, thus ensuring rotation-invariance. The authors also compare the Retinex effects between their model and LoG on various images to validate their approach. Additionally, a statistical study is conducted on the second convolutional layer filters compared to biological data, showing that the architecture closely mimics the behavior of both LGN and V1 cells, particularly in terms of long-range connections demonstrating Retinex effects. This work aims to bridge the gap between artificial neural networks and biological vision systems by providing a more biologically plausible model for image processing.

📄 논문 본문 발췌 (Translation)

# LGN-CNN 구조 소개

이 섹션에서는 본 논문의 주요 혁신 중 하나인 시각계 구조에서 영감을 받은 CNN 아키텍처를 소개합니다. 특히, 이 모델은 LGN 세포들을 고려한 것입니다.

retinal action은 이전 연구에서 CNN에 구현되었으며, 저자들은 retinal output의 병목 현상을 제안했습니다. 본 논문에서는 CNN의 시작 부분에 단일 필터 레이어를 추가하여 LGN의 작용을 모방하는 것을 제안합니다.

특히, 고전적인 CNN에서 첫 번째 컨볼루셔널 레이어 $`\ell^0`$를 추가할 수 있습니다. 이 레이어는 단일 필터 $\Psi^0$와 ReLU 함수로 구성됩니다. 필터의 크기는 $s^0 \times s^0$입니다. 첫 번째 레이어 $`\ell^0`$ 이후에는 pooling을 적용하지 않습니다. 이렇게 하면 고전적인 CNN에 $`\ell^0`$를 추가해도 신경망 구조는 바뀌지 않으며, 파라미터 수는 단순히 $s^0 \times s^0$만큼 증가합니다.

또한, $\Psi^0$은 입력 이미지를 필터링하면서 그 차원을 변화시키지 않습니다. 이 동작은 LGN이 시각 자극을 전처리함으로써 V1로 보내는 방식을 모방하여 신경망의 구조를 시각계와 더 가깝게 만듭니다. 에 보여진 바와 같이, 첫 번째 두 레이어 $`\ell^0`$와 $`\ell^1`$은 LGN과 V1 사이의 첫 단계를 병렬로 나타냅니다.

이 구조의 이론적 배경은 간단한 회전 대칭 컨벡스 함수에 대한 결과에서 찾을 수 있습니다. 특히, 회전 대칭 컨벡스 함수 $F$는 유일한 최소값 $\omega$를 가집니다. $F$가 회전 대칭이므로, 어떤 회전 $g$에 대해 $F(\omega \circ g) = F(\omega)$입니다. 따라서 최소값이 유일하므로 $\omega = \omega \circ g$, 즉 $\omega$의 회전 대칭성을 알 수 있습니다.

우리의 목표는 이러한 결과를 CNN에서, 특히 제안한 Lateral Geniculate Nucleus Convolutional Neural Network (LGN-CNN) 아키텍처에서 확장하는 것입니다. 또한 두 번째 컨볼루셔널 레이어에 있는 Gabor-like 필터들이 Ringach가 도입하고 언급했던 $(n_x, n_y)$ 평면으로 재투영되었을 때 V1 단순 세포들의 RFPs와 같은 늘어남 특성을 만족한다는 분석도 제시합니다. 이 분석은 우리의 아키텍처와 시각계 구조 사이의 연결성을 강화하는데 도움이 됩니다.

Reference

이 글은 ArXiv의 공개 자료를 바탕으로 AI가 자동 번역 및 요약한 내용입니다. 저작권은 원저자에게 있으며, 인류 지식 발전에 기여한 연구자분들께 감사드립니다.

검색 시작

검색어를 입력하세요

↑↓
ESC
⌘K 단축키