The detector principle of constructing artificial neural networks as an alternative to the connectionist paradigm

📝 Abstract

Artificial neural networks (ANN) are inadequate to biological neural networks. This inadequacy is manifested in the use of the obsolete model of the neuron and the connectionist paradigm of constructing ANN. The result of this inadequacy is the existence of many shortcomings of the ANN and the problems of their practical implementation. The alternative principle of ANN construction is proposed in the article. This principle was called the detector principle. The basis of the detector principle is the consideration of the binding property of the input signals of a neuron. A new model of the neuron-detector, a new approach to teaching ANN - counter training and a new approach to the formation of the ANN architecture are used in this principle.

💡 Analysis

Artificial neural networks (ANN) are inadequate to biological neural networks. This inadequacy is manifested in the use of the obsolete model of the neuron and the connectionist paradigm of constructing ANN. The result of this inadequacy is the existence of many shortcomings of the ANN and the problems of their practical implementation. The alternative principle of ANN construction is proposed in the article. This principle was called the detector principle. The basis of the detector principle is the consideration of the binding property of the input signals of a neuron. A new model of the neuron-detector, a new approach to teaching ANN - counter training and a new approach to the formation of the ANN architecture are used in this principle.

📄 Content

Системи управління, навігації та зв’язку, 2017, випуск 4(44) ISSN 2073-7394 80 УДК 004.93

Ю.В. Паржин

Национальный технический университет «ХПИ», Харьков

ДЕТЕКТОРНЫЙ ПРИНЦИП ПОСТРОЕНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ КАК АЛЬТЕРНАТИВА КОННЕКЦИОНИСТСКОЙ ПАРАДИГМЕ

Искусственные нейронные сети (ИНС) являются неадекватными биологическим нейронным сетям. Эта неадекватность проявляется в использовании устаревшей модели нейрона и коннекционистской пара- дигмы построения ИНС. Результатом данной неадекватности является существование множества не- достатков ИНС и проблем их практической реализации. В статье предлагается альтернативный принцип построения ИНС. Этот принцип получил название детекторного принципа. Основой детекторного прин- ципа является рассмотрение свойства связности входных сигналов нейрона. В данном принципе использу- ется новая модель нейрона-детектора, новый подход к обучению ИНС – встречное обучение и новый под- ход к формированию архитектуры ИНС.

Ключевые слова: искусственные нейронные сети, модель нейрона, детекторный принцип, связность.

Введение Коннекционистская парадигма в настоящее время является единственной моделью построения искусст- венных нейронных сетей (ИНС), которая имеет прак- тическое применение. Данная парадигма объединяет взгляды исследователей на: принципы формирования и модели архитектуры сетей, модели нейроэлементов, роль весовых коэффициентов синаптических связей, принципы формирования реакции нейроэлементов, процедуры обучения ИНС. Однако коннекционист- ские ИНС являются неадекватными биологическим нейросетям. Это определяет множество известных проблем данных ИНС [1, 2], среди которых:

• проблемы построения эффективных алгорит- мов обучения;
• проблема “переобучение” сети (overfitting);
• неуправляемое выделение только локальных признаков распознавания (что особенно ярко прояв- ляется в сверточных ИНС (convolutional neural network (CNN));
• проблема стабильности-пластичности памяти;
• проблема классификации-идентификации в процессе распознавания;
• проблема размерности сети и объема памяти;
• проблема реализации ассоциативного распо- знавания;
• проблема инвариантности к аффинным пре- образованиям и деформационным искажениям рас- познаваемых образов;
• отсутствие универсальности (ограниченность круга решаемых задач каждой отдельной ИНС);
• отсутствие связи коннекционистского и сим- вольного подходов, что делает невозможным гене- рирование (вывод) в ИНС новых знаний, т.е. их ис- пользование для интеллектуального анализа и при- нятия решений и др. Большинство из этих проблем имеют концеп- туальный характер, с некоторыми проблемами бо- рются с помощью специальных архитектурных ре- шений и алгоритмов обучения [3], однако в рамках коннекционистской парадигмы не существует обще- го подхода, устраняющего все проблемы. В этих условиях проектирование нейросети для решения практической задачи является в большой степени искусством.
  Неадекватность коннекционистских ИНС био- логическим прототипам проявляется:

1. В неадекватности используемых моделей нейронов. Современные коннекционистские ИНС в практических приложениях, как правило, использу- ют формальную модель нейрона - модель МакКал- лока-Питтса (МКП) либо ее модификации и разно- видности: сигмоидальный нейрон; нейрон типа “Адалайн”; Паде-нейрон; нейрон с квадратичным сумматором; сигма-пи нейрон; нейроны Гроссберга: “instar”, “outstar”, слоя распознавания сети АРТ; ра- диальный нейрон; нейрон Хебба; нейрон Фукуши- мы; стохастические нейроны; векторные нейроны; импульсные (спайковые) нейроны и др. [2, 3]. Мо- дель МКП была создана еще в 1943 году, и она не отражает современные взгляды нейрофизиологии и нейропсихологии: на роль дендритного дерева и его отдельных структур, в том числе и синапсов, в про- цессе интеграции возбуждающих постсинаптиче- ских потенциалов (ВПСП) [4]; на значение и много- образие форм реакций биологического нейрона [5]; на процесс интеграции ВПСП и формирование ре- акции биологического нейрона [6].
2. В неадекватности применяемых моделей обучения: “с учителем” (supervised learning), “без учителя” (unsupervised learning); с подкреплением (reinforcement learning); а также большинства при- меняемых методов (процедур) обучения ИНС, на- пример, широко используемого метода обратного распространения ошибки (error back propagation) и др. Биологическая неправдоподобность данных мо- делей и методов обучения, кроме их вычислитель- © Ю.В. Паржин Інформаційні технології

81 ной сложности, прежде всего, заключается в том, что процесс обучения отдельных нейронов в мозге не ведет к переобучению других нейронов или всей сети в целом. Биологический нейрон (очевидно, что в данном случае имеет смысл говорить только кор- ковых, например, пирамидальных нейронах) может обучиться только на одном единичном примере и, уж во всяком случае, ему не нужно множество эпох обучения, необходимых для обучения больш

This content is AI-processed based on ArXiv data.