ИМПУЛЬСНЫЙ НЕЙРОН, БЛИЗКИЙ К РЕАЛЬНОМУ Российский патент 2016 года по МПК G06N3/06 G06G7/60 

Изобретение относится к моделированию нейронов в качестве элемента нейронных сетей, к нейрокибернетике и может найти применение при разработке нейрокомпьютеров, технических систем на основе нейронных сетей, для распознания образов, анализа и обработки изображений и многих других приложений. Целью изобретения является расширение области применения нейронных сетей, основным элементом которых является нейрон, нейросетевых технологий, создания искусственного интеллекта.

История искусственных и математических моделей нейронов началась с изобретения искусственного нейрона МакКаллока-Питса, который явился исторической вехой в нейроинформатике [10]. Нейрон МакКаллока-Питса или формальный нейрон -базовый элемент искусственных нейронных сетей, применение которых привело к бурному развитию нового направления в нейроинформатике, созданию нейрокомпьютеров, позволило значительно продвинуться к пониманию и познанию процессов в головном мозге.

Нейрон МакКаллока - это абстрактный логический элемент, в котором отражены лишь те свойства реального, живого нейрона, которые связаны с простой переработкой информации, блок-схема которого показана на фиг. 1.

Фиг. 1. Блок-схема нейрона МакКаллока-Питса

На фиг. 1 приняты обозначения: x_l, x₂, …, x_N - входные сигналы, заданные в виде бинарных кодов; w_l, w₂, …, w_N - весовые коэффициенты; Σ - сумматор; F - пороговый возбудимый элемент; Y - выходной сигнал. В дальнейшем мы будем использовать блок-схему нейрона МакКаллока-Питса в виде, показанном на фиг. 2.

Фиг. 2. Блок-схема нейрона МакКаллока-Питса и функции, выполняемые нейроном.

На фиг. 2 приняты обозначения: W - устройства памяти, где сохраняются весовые коэффициенты, П - перемножители входных сигналов на весовые коэффициенты; Σ - сумматор; F - пороговый возбудимый элемент; Y - выходной сигнал.

Рассмотрим математическую теорию искусственного нейрона МакКаллока-Питса. Математически искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента - линейной комбинации всех входных сигналов. Полученный результат подается на пороговую функцию или функцию активации, обеспечивающую единственный выход нейрона. На входе сумматора получаем сигнал S

,

где х=(x_l, …, x_N), w=(w₁, …, w_N), (w, x) - скалярное произведение векторов w, x; N - число входов нейрона. После прохождения порогового устройства и преобразования пороговой функцией F(S) получаем выходной ответ, равный

.

Взвешенную сумму иногда берут в виде , где θ - смещение. К основным компонентам искусственного нейрона относятся перемножители, сумматоры, пороговые устройства, реализующие функцию активации нейрона, которая может иметь различную форму [1, 2, 4, 10].

Известны недостатки искусственного нейрона МакКаллока-Питса [1, 2, 4, 10]: 1) искусственный нейрон МакКаллока-Питса не адекватен реальному биологическому нейрону; 2) входными и выходными сигналами реального биологического нейрона являются некодовые комбинации в бинарном представлении, а импульсные потоки; 3) в реальном биологическом нейроне весовой градации входных сигналов не производится; 4) нейросетевые алгоритмы с нейроном МакКаллока-Питса при большом количестве входных сигналов неустойчивы и ненадежны, увеличение входных сигналов даже на один требует полного перерасчета процессов в системе, такое недопустимо в реальной биологической системе. Список недостатков можно продолжить.

Более адекватным реальному биологическому нейрону является использованный в последнее время импульсный, или как его называют, спайковый нейрон, блок-схема которого показана на фиг. 3 [1, 2, 4, 6-8, 11-14, 16-19].

Фиг. 3. Блок-схема известного импульсного (спайкового) нейрона.

На фиг. 3 приняты обозначения: x₁, x₂, …, x_N - входные сигналы, заданные в виде импульсных потоков; w₁, w₂, …, w_N - весовые коэффициенты; Σ - синаптическое устройство для суммирования входных воздействий с весовыми коэффициентами; F - пороговый возбудимый элемент, генерирующий выходную импульсную последовательность или одиночный импульс при превышении сигналом на выходе сумматора порогового значения; Y - выходной сигнал. Механизм синаптического суммирования условно отражается общепринятым в нейробиологии символом для отображения синапса под знаком суммы Σ. В дальнейшем мы будем использовать блок-схему импульсного нейрона в виде, показанном на фиг. 4.

Фиг. 4. Блок-схема известного импульсного (спайкового) нейрона и выполняемые им функции.

На фиг. 4 приняты обозначения: W - устройства памяти, где сохраняются весовые коэффициенты, П - перемножители входных сигналов на весовые коэффициенты; Σ - сумматор - синаптическое устройство для суммирования входных воздействий с весовыми коэффициентами; F - пороговый возбудимый элемент, генерирующий выходную импульсную последовательность или одиночный импульс при превышении сигналом на выходе сумматора порогового значения; Y - выходной сигнал.

Основные требования к математическим моделям импульсного нейрона

На данный момент разработано большое количество моделей единичных нейронов: от пороговых моделей до биолого-правдоподобных моделей [1, 2, 4, 6, 8, 9, 11-28]. Для изучения феноменов, наблюдаемых в нейронных сетях, необходимо понимание принципов нейронов. Нейроны являются с точки зрения реализации сложными генераторами импульсных сигналов, механизмы работы которых к настоящему моменту в определенной степени изучены.

Импульсный нейрон как элемент нейронной сети должен отвечать ряду требований [1, 2]. Основные из них: 1) способность генерирования потенциала действия, близкого по

форме к потенциалу действия реального биологического нейрона; 2) способность генерирования пачек нейронов, близких по характеристикам (частоте, структуре и т.д.) пачкам реального биологического нейрона; 3) должен обладать пороговыми свойствами, свойством рефрактерности как у реального биологического нейрона; 4) должен суммировать приходящие на вход импульсы от других нейронов, т.е. нейрон должен включать в себя устройство, называемое синапсом; 5) сами синапсы могут быть возбуждающими и тормозными и могут заметно отличаться по другим свойствам; 6) обладать способностью к адаптации по отношению к внешним воздействиям или пластичностью; 7) обладать рядом других свойств, менее значимых в первом приближении, но могущих быть существенными в приложениях.

Обычно выполнением указанных требований не задаются, а сразу используют математическую модель нейрона, подходящую с точки зрения пользователя. Например, математические модели нейрона Ходжкина-Хаксли, Ван дер Поля-Фитцхью, Хиндемарша-Розе и т.д. [18-28]. Второй немаловажный критерий - преодолимая сложность вычислений при использовании выбранной модели. Краткий список используемых в настоящее время математических моделей нейронов приведен в таблице [1, 2, 3, 6, 11-14, 18-28].

Ограниченность вычислительного ресурса породила множество упрощенных моделей, позволяющих, с одной стороны, удовлетворительно моделировать динамику единичных элементов, а с другой, эффективно использовать вычислительный ресурс. Эти модели стали называть феноменологическими.

Общая характеристика моделей синаптической передачи

Известно, что нейрон с отходящим от него аксоном контактирует с другими нейронами с помощью синапсов, вызывающих возбуждение или торможение. Модель нейрона является многополюсником, имеющим много входов и один выход. Возбуждению выхода нейрона в какой-либо момент времени должен предшествовать латентный (скрытый) период накопления возбуждений определенного числа входов. Активность какого-либо одного тормозящего синапса исключает возбуждение нейрона в рассматриваемый момент времени. Сигналы через синапс могут проходить только в одном направлении. Единственным существенным запаздыванием сигнала считают его задержку в синапсе, которую измеряют промежутком времени от момента возбуждения входа до возбуждения выхода нейрона.

Известные модели синапсов представляют собой довольно простые функциональные узлы, основанные на упрощенных представлениях о том, что функции синапсов сводятся к накоплению того или иного веса, величина которого влияет на возбудимость нейрона. Предполагают, что в синапсах сохраняются следы предыдущих воздействий, определивших перестройку работы нейрона. Обычные модельные представления синапса ограничиваются управляемой перестройкой весовой величины по некоторому закону.

Моделей синаптической передачи (как химической, так и электрической) значительно меньше, чем моделей нейронов [1, 2]. Их также можно разделить на феноменологические и детальные.

Синаптическая пластичность

Известно, что при передаче сигнала между нейронами синапс расходует молекулы нейротрансмиттера. Этими явлениями обусловлена синаптическая пластичность. Синаптическую пластичность разделяют на кратковременную и долговременную. Под кратковременной синаптической пластичностью обычно понимают явления, вызванные влиянием переходных процессов, связанных с передачей одного сигнала через синапс, на способность синапса передавать заданную временную последовательность сигналов. Другими словами, в этих явлениях синапс выступает в роли частотного фильтра. Синаптическую пластичность, зависящую от задержки между спайками пресинаптического и постсинаптического нейронов и приводящую к долговременным изменениям связи между нейронами, называют долговременной.

Одной из характерных особенностей нейронной сети является способность к обучению, проявляющаяся в модификации параметров элементов или связей в ответ на внешнюю стимуляцию. Пластичными связями обладает большинство клеток нервной системы. Таким образом, ясно, что синаптический контакт - это не просто место соединения нейронов между собой, а самостоятельная динамическая система с зачастую более сложными механизмами функционирования, чем у самих нейронов.

Синаптическая пластичность впервые была предложена Хеббом в качестве механизма для обучения и памяти на основе теоретического анализа. Правило пластичности утверждает, что, когда один нейрон активирует другой, связь между этими нейронами усиливается.

С учетом изложенного выше рассмотрим раскрытие предлагаемого импульсного нейрона.

Раскрытие изобретения

Наиболее близким техническим решением к заявляемой модели является импульсный нейрон, включающий входные каналы, внутренние каналы связи от входов до перемножителей, осуществляющих умножение входных сигналов на весовые коэффициенты и их передачу на интегральный синаптический сумматор, связанный с пороговым возбудимым элементом, генерирующим выходную импульсную последовательность или одиночный импульс при превышении сигналом на выходе сумматора порогового значения возбудимого элемента.

Предлагаемый в данной работе импульсный нейрон, близкий по своим свойствам к реальному нейрону, обладает преимуществами перед известным импульсным нейроном. Предлагаемый нейрон основан на использовании управляемой кластеризации входных каналов связи нейрона. Экспериментально установлено, что в реальном биологическом нейроне решение основных информационных задач достигается изменением конфигурации - кластеризации числа входных возбуждающих и тормозных дендритов. Решение основной задачи нейрона: сжатие сенсорной или промежуточной информации, распознавание стимулов, распределительные функции, такие как кодирование информации номером канала и др., достигается за счет изменения конфигурации -кластеризации и числа дендритов на входе нейрона. Надобность в регулировании весовых функций дендритов отсутствует.

Рассмотрим более детально процессы суммирования входных импульсных потоков, приходящих по дендритам. Можно выделить два типа дендритов как каналов связи.

Первый тип - дендриты, распределенные в пространстве, претерпевающие конвергенцию - слияние в более толстые и соединяющиеся с сомой мембранами и сомы нейрона. Импульсные потоки поступают в нейрон непосредственно от дендритов за счет соединения их биологических мембран, то есть возникает общая биологическая мембрана для дендритов и сомы нейрона [5].

Второй тип - это дендриты, соединяющиеся с сомой нейрона или другими дендритами с помощью синапсов возбуждающих (положительных) или тормозных (отрицательных). Значимость дендритов зависит от положения синапсов. Если синапсы расположены ближе к триггерной зоне на теле нейрона, которая лежит вблизи аксонного холмика, то они и могут оказывать более эффективное влияние на возбуждение нейрона. Однако из исследований нейробиологов известно об эффективности синапсов, расположенных на участках дендритов, близких к соме нейрона. Также известно об эффективности синапсов, расположенных на удаленных участках дендритов - их окончаниях, где входное сопротивление является более высоким, а возникающие вызванные постсинаптические потенциалы - более высокими [15, 16].

В настоящее время открыты дендриты, обладающие свойствами активной среды и возможность распространения импульса по дендриту [5]. Такие дендриты, обладающие свойствами нервных волокон, обладают большей эффективностью при суммировании импульсных последовательностей.

Суммирование импульсных потоков на дендритах первого типа

Вариабельность организации входных каналов связи нейрона - дендритов с сомой широко представлена для различных типов биологических нейронов. Сравнительное пространственное распределение дендритов для нейронов различных типов также может быть различным.

Суммирование импульсных потоков выходящих из каналов связи в реальном нейроне происходит специфическим образом, а именно как пространственно временное суммирование. Оно принципиальным образом отличается от интегрального синаптического суммирования в известном импульсном спайковом нейроне. Специфика следует из реального экспериментально известного устройства дендритов. Дендриты в виде тонких волокон по мере сближения с телом нейрона объединяются путем присоединения к более толстому волокну или друг с другом. В результате тонкие множественные волокна дендритов эволюционируют в меньшее количество (вплоть до одного) более толстых дендритов [15, 16]. Схематически это показано на фиг. 5.

Фиг. 5. Конвергенция 2-х, 3-х и 5-ти дендритов в одно электрически более мощное волокно.

Более толстые волокна могут опять объединяться в еще более толстые, образуя электрически мощные проводники токов от импульсных потоков.

При объединении дендритов происходит суммирование токов импульсных потоков в исходных волокнах дендритов. Таким образом, происходит безынерционное суммирование токов всех исходных импульсных потоков.

Анализ функциональных свойств дендритов в связи с их структурой был изучен в основополагающей работе [15]. В работе изучены: входное сопротивление дендритов, возникающие на них потенциалы при протекании в них импульсных потоков электрического тока, конвергенция дендритов. Конвергенция дендритов особенно представлена в нейронах головного мозга человека и животных

Конвергенция огромного количества дендритов в мозге характерна как для волокон Пуркинье человека, так и для волокон Пуркинье животных.

Следовательно, способ связанности между нейронами является одним из наиболее фундаментальных свойств их разносторонних морфологий [5, 15], и именно поэтому дендриты, которые формируют одно из звеньев этих связей, определяют многообразие функций и сложность конкретного нейрона.

Впрочем, морфология дендритов определяет не только количество и тип контактов, которые может образовать данный нейрон с другими нейронами, но и его вычислительные операции. Как моделирование, так и электрофизиологические исследования поведения нейронов in vitro и in vivo показали, что нейроны с более сложной морфологией (большие и разветвленные дендритные деревья, больше веток и шипиков) характеризуются пачечной пульсацией, тогда как нейроны с более простой морфологией имеют тенденцию к тоническим спайкам [1, 2]. Также морфология дендритов имеет существенное влияние на распространение потенциала действия, выявление дендритами совпадений во входных синаптических импульсах [5].

Трехмерное распределение дендритных ветвей также имеет важное значение для определения типа информации, которая поступает к нейрону. Тогда как нейроны с дендритными деревьями, локализованными только в данном слое коры, могут получить очень ограниченное количество и разнообразие контактов, то нейроны с расширенными дендритными ветвями, простирающимися в другие слои (например, как большие

пирамидальные нейроны) способны получать значительно более разнообразные и сложные входные импульсы [15].

На основании изложенного о последних исследованиях свойств дендритов в первом приближении относительно суммирования импульсных последовательностей можно сделать вывод о линейном пространственно-временном суммировании импульсных последовательностей как об одном из основных видов суммирования импульсных последовательностей. Рассмотрим более детально суммирование импульсных последовательностей для дендритов, оканчивающихся синапсами.

Роль синапсов в суммировании импульсных потоков

Импульсные потоки поступают в нейрон непосредственно от дендритов за счет соединения их биологических мембран, то есть возникает общая биологическая мембрана для дендритов и сомы нейрона [1, 2]. Другая часть импульсных потоков поступает в сому нейрона через синапсы, соединяющие дендрит с сомом нейрона. Синапс служит преобразователем электрического потенциала дендрита в химический медиатор и далее снова в электрический потенциал [1, 2]. Суммирование электрических потенциалов импульсных потоков после преобразования их синапсами происходит в соме нейрона. Таким образом, сами синапсы фактически не участвуют в суммировании импульсных потоков. Синапсы осуществляют одностороннюю проводимость от дендритов к соме. Таким образом, они защищают слабые электрические потенциалы дендритов от воздействия потенциала, возникающего в триггерной зоне вблизи аксона. Есть аргументированная гипотеза, что импульсные потоки, попадающие через химические синапсы, играют тонкую управляющую роль в генерации импульсного ответа нейрона.

В реальном биологическом нейроне количество синапсов на соме нейрона, как правило, значительно меньше, чем число дендритов, оканчивающихся на соме за счет общих мембран. Синапсы бывают химическими и электрическими [1, 2, 4].

Замечательной особенностью химических синапсов является их односторонняя проводимость. Они могут проводить электрический ток от дендрита к телу нейрона только в одном направлении. В обратном направлении электрический ток и потенциал не проводятся.

Количество синапсов на теле нейрона варьирует от единиц до многих тысяч. Они присоединены к соме наряду с основаниями дендритов. Нейробиологические исследования свойств синапсов показывают, что в общей картине пространственно-временного суммирования импульсных последовательностей синапсы играют роль практически безынерционных преобразователей электрических импульсных последовательностей в химические и затем снова в электрические.

Фундаментальным свойством и предназначением синапсов является, по-видимому, их односторонняя проводимость по отношению к приходящим импульсным последовательностям. Временная константа синапсов при воздействии прямоугольных импульсов при их преобразовании заднего фронта по закону

u=A(1-e^-τt) 0<t<τ

u=Ae^-τt t≥τ

имеет порядок 10 (1/мсек). Поэтому такие импульсы при суммировании можно считать безынерционными односторонними преобразователями.

Зачастую синапсы расположены не только на соме нейрона, но и на самих дендритах и импульсные потоки от них поступают к телу нейрона вместе с импульсными последовательностями дендритов.

Общие выводы по методам суммирования импульсных потоков в нейроне

Изложенное выше позволяет утверждать, что в большинстве случаев импульсные потоки суммируются безынерционным образом:

1) В самих дендритах в зонах их конвергенции или в соме нейрона при естественном слиянии дендрита с сомой при общей мембране. Это суммирование происходит последовательно путем конвергенции за счет все большего утолщения дендритов в распределенной области, где расположено дендритное дерево. Поскольку суммирование происходит на самих дендритах, представляющих из себя электрически проводящие резистивные каналы, то это суммирование является безынерционным практически мгновенным суммированием на резистивной нагрузке. Это свойство является принципиально необходимым для выделения максимальных значений импульсных потоков, подходящих к соме нейрона.

2) Часть импульсных потоков поступает в сому нейрона через синапсы, соединяющие дендрит с сомом нейрона. Синапс служит преобразователем электрического потенциала дендрита в химический медиатор и далее снова в электрический потенциал [1, 2]. Суммирование электрических потенциалов импульсных потоков после преобразования их синапсами происходит в соме нейрона. Таким образом, сами синапсы фактически не участвуют в суммировании импульсных потоков. Синапсы осуществляют одностороннюю проводимость от дендритов к соме. Таким образом, они защищают слабые электрические потенциалы дендритов от воздействия потенциала, возникающего в триггерной зоне вблизи аксона.

Схематически преобразование импульсных потоков на входе нейрона в импульсный поток на выходе нейрона иллюстрируется фиг. 6.

Фиг. 6. Схематическое изображение прохождения импульсных потоков через нейрон.

Биологическая пластичность дендритов

Может ли система дендритов на входе нейрона быть столь пластичной и лабильной, чтобы адекватным образом отражать входную информацию за счет изменения числа возбуждающих и тормозных дендритов. Ранее этот вопрос был изучен недостаточно. Однако в последнее время были сделаны ряд открытий, показавших наличие у дендритов совершенно необычных возможностей их роста, изменения количества и качества с помощью специальной системы шипиков [5]. Установлено также наличие у дендритов активных свойств, похожих на свойства аксонов [5]. Все это вместе взятое доказывает возможность адаптации к отражению любой входной информации не за счет весовых функций дендритов, а за счет кластеризации дендритов, изменения их количества и качества. Под различным качеством дендритов понимаются их свойства: дендриты возбуждающие и тормозные, различные по диаметру и электрической мощности и т.д.; возможность самоорганизации путем роста и гибели отдельных дендритов. В реальных условиях в организме человека или животного формирование эффективных связей в кластере происходит естественным образом за счет подкармливания работающих дендритов и уничтожения неработающих дендритов путем прекращения питания. Подкармливание дендритов происходит при прохождении по ним электрических импульсов. При этом в дендрит поступают строительные материалы в виде белков, АТФ, обеспечивающих дендриты энергетическими ресурсами, и других органелл. Регулирование питания происходит за счет снабжения АТФ и белковыми компонентами при прохождении электрических нервных импульсов. Если электрические нервные импульсы не проходят по дендриту, то питание не подается, и он отмирает.

В связи со всем сказанным выше предлагается модель нейрона, представляющая устройство, более адекватно отражающее устройство и функции реального нейрона, блок-схема которого показана на фиг. 7.

Фиг. 7. Блок-схема предлагаемого импульсного нейрона, близкого к реальному биологическому.

В связи с вышеизложенным предлагается следующая формула изобретения.

Импульсный нейрон, включающий входы для импульсных потоков, внутренние каналы связи, где входные сигналы умножают на весовые коэффициенты, и подают на сумматор, связанный с пороговым возбудимым элементом, который генерирует выходную импульсную последовательность или одиночный импульс при превышении сигналом на выходе сумматора порогового значения возбудимого элемента; сигнал с выхода порогового возбудимого элемента используют в качестве выходного, отличающийся кластером из части входных каналов связи; кластер формируют из входных каналов связи в зависимости от структуры периодов и локализации парциальных импульсных потоков на входе нейрона, что реализует существование для суммарного импульсного потока на выходе кластера ε-почти-периодов с максимальной суммой амплитуд всех парциальных импульсных потоков; импульсный поток с выхода кластера подают на сумматор, который связывают с пороговым возбудимым элементом, который генерирует выходную импульсную последовательность или одиночный импульс при превышении максимальной суммой амплитуд импульсных потоков на выходе сумматора порогового значения возбудимого элемента; сигнал с выхода порогового возбудимого элемента используют в качестве выходного.

Технические результаты, на достижение которых направлено изобретение, следующие:

1. достижение избирательного распознавания входных объектов без использования весового взвешивания входных сигналов;

2. достижение возможности кодирования предлагаемым импульсным нейроном входного объекта определенного типа номером канала или номером регистрирующего нейрона;

3. сжатие входной информации благодаря сохранению только той информации об объектах, которая попадает в заданный канал или регистрирующий нейрон;

4. повышение быстродействия работы предлагаемого импульсного нейрона;

5. повышение надежности распознавания объектов при их большом количестве;

6. достижение значительно большей адекватности предлагаемого импульсного нейрона к реальному биологическому нейрону.

Совокупность достигаемых технических результатов, указанных в пп. 1-6, достигается за счет следующей совокупности признаков, содержащихся в независимом пункте формулы:

1. индивидуальным кластером из каналов связи, кластер формируют из части входных каналов связи; 2. формирование кластеров осуществляют в соответствии с кодовыми комбинациями входных сигналов; 3. получение максимальной амплитуды импульсных потоков реализуется автоматически благодаря фундаментальным свойствам ε-почти-периодических функций; 4. кластеры из части каналов связи связывают с сумматором; 5. сумматор связывают с пороговым возбудимым элементом, который генерирует выходную импульсную последовательность или одиночный импульс при превышении максимальной суммой амплитуд импульсных потоков на выходе сумматора порогового значения возбудимого элемента; сигнал с выхода порогового возбудимого элемента используют в качестве выходного.

Эффективность предлагаемого импульсного нейрона реально доказана в разработанных нами нейросетевых системах для распознавания:

1. Распознавание цифр.

2. Распознавание букв русского алфавита.

3. Распознавание текстов художественных произведений.

4. Распознавание автомобильных номеров.

5. Распознавание электрокардиограмм (ЭКГ).

6. Распознавание черно-белых портретов известных русских писателей и поэтов. Системы, указанные в пп. 3, 5, 6 разработаны впервые и не имеют аналогов.

Раскрытие математической теории изобретения. Первая математическая теория изобретения

x_l=(x_l1, …, x_ln); …; x_m=(x_m1, …, x_mn).

Рассмотрим математическую теорию предлагаемого импульсного нейрона. Обозначим возможные характеристические кодовые комбинации объектов на входе нейрона в виде векторов, где n - число элементов кодовой комбинации; m -исло возможных объектов. Таким образом, имеется m векторов x_i=(x_i1, …, x_in) с размерностью n. В предлагаемом нейроне кластер связей представляет собой одну из этих кодовых комбинаций. Вообще говоря, все возможные кодовые комбинации образуют матрицу А, которую можно представить в виде

Пусть конкретный рассматриваемый нами нейрон содержит кластер связей, характеризуемый кодовой комбинацией в виде x_i=(x_i1, …, x_in).

При подаче на вход данного нейрона с номером i кодовой комбинации x_k=(x_k1, …, x_kn) (из совокупности возможных объектов на входе нейрона) получаем сумму

Всего мы получим m сумм S_ik k=(1, …, m). Наибольшей будет сумма S_ii

где N_i - число единиц в кодовой комбинации x_i=(x_i1, …, x_in). Отметим следующее свойство сумм S_ik S_ik<S_ii.

Это строгое неравенство справедливо, поскольку сумма S_ik содержит в своем составе большее количество слагаемых, равных произведениям 1·0, чем сумма S_ii. Это свойство можно качественно сравнить со свойством ортогональных векторов или ортогональных функций. Оно не является строгой ортогональностью, ее можно считать ортогональностью в качественном смысле. Свойство может быть полезным при использовании предлагаемого динамического нейрона для распознавания объектов, кодировании номером канала и ряде других приложений. Вообще все возможные значения сумм S_ij равны элементам матрицы В, равной

В=А*А^Т,

где A^T - транспонированная матрица к А.

Принципиальным отличием предлагаемого импульсного нейрона от искусственного нейрона МакКаллока-Питса и от динамического нейрона на основе математических моделей возбуждения, например Ходжкина-Хаксли, Ижикевича и других моделей подобного рода является полное отсутствие весовых коэффициентов для входных воздействий и отсутствие всех недостатков нейронных сетей, связанных с наличием весового суммирования.

Раскрытие второй математической теории изобретения в части математической теории преобразования импульсных потоков нейроном с помощью фундаментальных свойств почти-периодических функций.

Импульсная электрическая активность нейронов создает в нервной системе импульсные потоки. В первом приближении эти потоки представляют суммы периодических импульсных функций. Периодическая импульсная функция задана на интервале [0, ∞), имеет период T_i, то есть ∀t u_i(t)=u_i(t+T). Импульсные последовательности нейронов для исследования процессов суммации в первом приближении можно аппроксимировать последовательностями прямоугольных импульсов u(t) с периодом Т=1/ƒ (ƒ - частота). На интервале периода

импульсный поток равен сумме периодических импульсных функций

где u_i(t) - отдельные парциальные импульсные потоки (i=1, …, N). Результирующий импульсный поток является равномерной почти-периодической функцией [7-9]. Основным свойством равномерных почти-периодических функций является существование для любого сколь угодно малого числа ε, соответствующего ε - почти-периода T_ε, обладающих свойством

|u(t)-u(t+T_ε)|<ε.

Другое фундаментальное свойство почти-периодической функции: ε-почти-периоды лежат на оси времени [0, ∞) всюду плотно. Множество Е действительных чисел называется относительно плотным, если существует такое число l>0, что в каждом интервале действительной оси длины l(α<х<α+l) найдется хотя бы одно число множества Е [7-9]. Рассмотрим теорему Кронекера, являющуюся следствием базовой теоремы для теории почти-периодической функции [7-9].

Теорема. Пусть T₁, T₂, …, T_N - произвольные действительные числа. Каково бы ни было число положительное число ε, можно указать такое положительное число L=L(ε), что в каждом интервале длины L найдется, по крайней мере, одно число τ, удовлетворяющее системе неравенств

где n_i - натуральные числа. Согласно теореме Кронекера существует ε-почти-период почти-периодической функции, удовлетворяющей соотношению (1). Согласно фундаментальному свойству почти-периодических функций существует t, такое что

|t-T_in_i|<ε;

где T=(T₁, …, T_N); n_i∈N,

то ; t-<t<t+.

При этом существует ε-почти-период функции

такой, что |ƒ (t+T)-ƒ(t)|<ε. После прохождения нелинейного преобразователя с характеристикой F получим на его выходе импульсную последовательность

при этом |u_ε(t+T_ε)-u_ε(t)|<ε.

Сумма нескольких импульсных последовательностей представляет собой равномерную почти-периодическую функцию [7-9]. Согласно теореме Кронекера такая функция имеет сгущения и разряжения импульсов, следующие с интервалами ε-почти-периодов. Рассмотрим иллюстрацию ε-почти-периодов. Сигналы на входах и на выходах нейронов можно представить в виде суммы почти-периодических функций.

Взаимодействие импульсных последовательностей с периодами T₁=0.8 и Т₂=1.2 иллюстрируется фиг. 8.

Фиг. 8. Взаимодействие импульсных последовательностей с периодами T₁=0.8 и Т₂=1.2 и амплитудами, равными 0.5. В результате взаимодействия ε-почти-период равен 2.4, максимальная амплитуда суммы импульсов равна 1.0.

Итак, в результате взаимодействия получаем импульсную последовательность, следующую с ε-почти-периодом, равным 2.4, и амплитудой, равной 1, показанной на фиг. 8 справа.

Следствие из теоремы аппроксимации показывает возможность использования почти-периодических функций в задачах нейроинформатики. Известно, что для возбуждения нейрона необходимо, чтобы сумма импульсов, пришедших по дендритам, превышала порог возбуждения. Специфическое свойство почти-периодических функций - существование ε-почти-периодов - позволяет осуществить избирательную обработку информации, закодированной в импульсных потоках, сократить избыточность входной информации.

Раскрытие изобретения в вычислительном эксперименте

Рассмотрим процесс формирования кластера в предлагаемом нейроне в вычислительном эксперименте. Рассмотрим 10 цифр: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9. На телевизионном экране с растром 4×6 располагаются цифры. Для цифр взята система Euclid. Система Euclid позволяет получить приемлемое кодирование цифр с помощью символов 0 и 1. Кодировка цифр, то есть значения входных сигналов - векторов х₁=(x_l1, …, x_ln); …; x_m=(x_m1, …, x_mn), приведена в таблице 2. В дальнейшем полагаем, что значению единица соответствует период импульсной последовательности T₁=0.8, значению ноль - Т₂=1.2

Таблица кодовых комбинаций при распознавании цифр 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 при их расположении в двумерном поле 4×6.

Рассмотрим два примера нейронов, у которых сформированы кластеры, настроенные на цифры 2 и 8. Нейроны со сформированными кластерами показаны на фиг. 9. С левой стороны от изображения нейронов приведены бинарные кодовые комбинации цифр 2 и 8, в соответствии с которыми и формируется кластер каналов связи каждого нейрона.

Фиг. 9. Пример предлагаемых импульсных нейронов, имеющих сформированные кластеры по кодовым комбинациям цифры 2 - сверху, по кодовым комбинациям цифры 8 - снизу. Черному цвету на кодовой комбинации соответствует период 0.8, а белому цвету - период 1.2. Периоды заданы в мсек.

Заключение

Предлагаемый импульсный нейрон обладает рядом существенных преимуществ перед искусственным импульсным нейроном, показанным на фиг. 4. Ввиду отсутствия необходимости взвешивания входных сигналов достигается значительное повышение эффективности нейронных сетей, где предлагаемый нейрон может быть использован. Предлагаемый нейрон дает эффективные возможности в приложениях: 1) повышение эффективности распознавания объектов; 2) возможность кодирования номером канала; 3) сжатие входной информации; 4) повышение быстродействия нейронных сетей и др.

Предлагаемый нейрон в значительно большей степени адекватен реальному нейрону по сравнению с искусственным импульсным нейроном. Это достигается благодаря использованию кластеризации входных каналов связи вместо их весового взвешивания, что является фундаментальным свойством дендритной системы связи входов нейрона с его телом (сомой).

СПИСОК ЛИТЕРАТУРЫ

1. Александров Ю.И., Анохин К.В., Соколов Е.Н., Греченко Т.Н. и др. Нейрон. Обработка сигналов. Пластичность. Моделирование. Фундаментальное руководство // Изд-во Тюменского государственного университета. 2008. 548 с.

2. Анохин К.В., Бурцев М.С., Ильин В.А., Киселев И.И., Кукин К.А., Лахман К.В., Параскевов А.В., Рыбка Р.Б., Сбоев А.Г., Твердохлебов Н.В. Современные подходы к моделированию активности культур нейронов in vitro/ Математическая биология и биоинформатика. 2012. Т. 7. №2. С. 372-397.

3. Борисов В.В. Модель нейрона. Патент RU 2034332. G06G 7/60, 1995.

4. Вассерман Ф. Нейрокомпьютерная техника: Теория и практика. // М.: «Мир», 1992.

5. Гутман А. Дендриты нервных клеток: теория электрофизиология, функция. 1984.

6. Казанцев В.Б., Некоркин, В.И., Велардэ М.Г. Модель нейрона с осцилляторной активностью ниже порога возбуждения // Известия вузов. Радиофизика. 1998. №. 41. С. 1623-1635.

7. Левитан Б.М. Почти-периодические функции. // ГИТТЛ. 1953. 396 с.

8. Мазуров М.Е. Решение диофантовых неравенств в задачах о синхронизации релаксационных колебаний // ЖВМ и МФ АН СССР. 1991. Т. 31. №11. С. 1619-1636.

9. Мазуров М.Е. Идентификация математических моделей нелинейных динамических систем // М.: - Ижевск. РХД. 2008. 284 с.

10. Мак-Каллок У., Питтс В. Логическое исчисление идей, относящихся к нервной активности // Нейрокомпьютер. 1992. №3/4. С. 40-50.

11. Маркин В.С, Пастушенко В.Ф., Чизмаджев Ю.А. Теория возбудимых сред. // М.: Наука. 1981. 276 с.

12. Некоркин, В.И., Дмитричев, А.С., Щапин, Д.С., Казанцев В.Б. Динамика модели нейрона со сложно-пороговым возбуждением//Математическое моделирование 2005. №6. С. 75-91.

13. Прокин И.С., Казанцев В.Б. Анализ передачи импульсных сигналов в системе взаимодействующих нейронных генераторов с частотно-зависимыми связями // Известия ВУЗов. Радиофизика. 2011. V. 54, №11. Р. 848-858.

14. Самойлин Е.А. Способ моделирования нейрона. Патент RU 2402813. G06N 3/06. 2010.

15. Смолянинов В.В. О некоторых особенностях организации коры мозжечка. Статья в сборнике «Модели структурно-функциональной организации некоторых биологических систем» // М.: Наука, 1966, с. 203-262.

16. Смолянинов В.В. Математические модели биологических тканей. // М.: Наука, 1980, 368 с.

17. Субботин С.А. Аналитический обзор изобретений и патентов. Нейрокибернетика в СССР-СНГ. Запорожский национальный технический университет.

18. Тикиджи-Хамбурьян Р.А. Анализ влияния генератора спайков на динамические свойства модифицированного импульсного нейрона // Тезисы докладов 5-й Всероссийской научно-технической конференции «Нейроинформатика». 2003, М.: МИФИ, 2003, с. 134-141.

19. Тикиджи-Хамбурьян Р.А. Модифицированный импульсный нейрон как базовая модель для реалистичных нейронных сетей // Нейрокомпьютеры: разработка и применение, №7, 2002.

20. Хайкин Саймон. Нейронные сети: полный курс = Neural Networks: A Comprehensive Foundation. - 2-е изд. - М.: «Вильямс», 2006. С. 1104. - ISBN 0-13-273350-1.

21. Шепард Г. Нейробиология. В 2-х т. Т.1. Пер. с англ. // М.: Мир, 1987. 454 с.

22. Fitzhugh R. Impulses and Physiological States in Theoretical Models of Nerve Membrane. // Biophysical journal. 1961. V. 1, №6. P. 445-466.

23. Hindmarsh J.L., Rose R.M. A model of the nerve impulse using two first-order differential equations. //Nature. Nature Publishing Group, 1982. V. 296, №5853. P. 162-164.

24. Hodgkin A.L., IIuxley A.F. A quantitative description of membrane current and its application to conduction and excitation in nerve // The J. of physiology. 1952. V. 117, №4. P. 500-544.

25. Izhikevich E.M. Simple model of spiking neurons. // IEEE transactions on neural networks / a publication of the IEEE Neural Networks Council. 2003. V. 14, №6. P. 1569-1572.

26. Izhikevich E.M., FitzHugh R. FitzHugh-Nagumo model // Scholarpedia, 3193, 2006.

27. Lapicque M.L. Recherches quantitatives sur l'excitation Electrique des Nerfs Traitee comme une Polarisation [Quantitative studies on electric excitation of nerves treated as polarization] // Journal de Physiologie et Pathologie General. 1907. V. 9. P. 620-635.

28. Morris C, Lecar H. Voltage oscillations in the barnacle giant muscle fiber. // Biophysical journal. 1981. V. 35, №1. P. 193-213.

Изобретение относится к моделированию нейронов и может быть использовано в нейрокомпьютерах, технических системах на основе нейронных сетей для распознания образов, анализа и обработки изображений. Техническим результатом является обеспечение возможности достижения избирательного распознавания входных объектов без использования весового взвешивания входных сигналов, возможности кодирования входного объекта определенного типа номером канала или номером регистрирующего нейрона, сжатие входной информации, повышение быстродействия, повышение надежности распознавания объектов. Устройство содержит входы для импульсных потоков, внутренние каналы связи, кластер из части входных каналов связи; кластер формируют из входных каналов связи в зависимости от структуры периодов и локализации парциальных импульсных потоков на входе нейрона, что реализует существование для суммарного импульсного потока на выходе кластера ε-почти-периодов с максимальной суммой амплитуд всех парциальных импульсных потоков; импульсный поток с выхода кластера подают на сумматор, который связывают с пороговым возбудимым элементом, который генерирует выходную импульсную последовательность или одиночный импульс при превышении максимальной суммой амплитуд импульсных потоков на выходе сумматора порогового значения возбудимого элемента; сигнал с выхода порогового возбудимого элемента используют в качестве выходного. 9 ил., 2 табл.

Импульсный нейрон, включающий входы для импульсных потоков, внутренние каналы связи, где входные сигналы умножают на весовые коэффициенты, и подают на сумматор, связанный с пороговым возбудимым элементом, который генерирует выходную импульсную последовательность или одиночный импульс при превышении сигналом на выходе сумматора порогового значения возбудимого элемента; сигнал с выхода порогового возбудимого элемента используют в качестве выходного, отличающийся кластером из части входных каналов связи; кластер формируют из входных каналов связи в зависимости от структуры периодов и локализации парциальных импульсных потоков на входе нейрона, что реализует существование для суммарного импульсного потока на выходе кластера ε-почти-периодов с максимальной суммой амплитуд всех парциальных импульсных потоков; импульсный поток с выхода кластера подают на сумматор, который связывают с пороговым возбудимым элементом, который генерирует выходную импульсную последовательность или одиночный импульс при превышении максимальной суммой амплитуд импульсных потоков на выходе сумматора порогового значения возбудимого элемента; сигнал с выхода порогового возбудимого элемента используют в качестве выходного.