Устройство для моделирования нейрона Советский патент 1989 года по МПК G06G7/60 

4

СО

со

4- 4

Изобретение относится к бионике и вычислительной технике и может быть использовано в качестве элемента нейроноподобных сетей для моделирования биологических процессов, в устройствах обработки,анализа и распознавания образов, а также в качестве элемента параллельных вычислительных структур.

Целью изобретения является упрощение устройства, а также расширение его функциональных возможностей за счет обеспечения переключения на различные режимы функционирования.

Устройство содержит п блоков изменения синаптических весов, первые и вторые входы которых являются информационными входами устройства, а третьи входы являются установочными входами, сумматор, первые п входов к которого соединены соответственно с выходами п блоков изменения синаптических весов, первый регистр, выхо которого соединен с п+1 входом сумматора, первый элемент И, выход которого подключен к входу первого регистра, а первый вход соединен с выходом сумматора, второй элемент И, первый вход которого подключен к выходу сумматора, второй регистр, вход которого соединен с выходом второго элемента И, логический блок, первый вход которого соединен с выходом второго элемента И, а второй вход подключен к выходу второго регистра, вторые входы первого и второго элементов И,, а также третий, четвертый, пятый и шестой входы логического блока являются управляющими входами устройства, а выходы сумматора второго элемента И, второго регистра и логического блока являются информационными выходами устройства.

Для реализации устройства требуется п+1 сумматоров, п+2 регистров, п множительных устройств, два триггера, шесть элементов И и один элемент ИЛИ, что существенно упрощает его в сравнении с известным устройством.

Кроме того, введение первого регистра, выход которого соединен с (п+1)-м входом сумматора, первого элемента И, выход которого соединен с входом первого регистра, первый вход подключен к выходу сумматора,, второго элемента И, первый вход которого соединен с выходом сумматора, второго регистра, вход которого соединен с выходом второго элемента И, логического блока, первый и второй входы которого подсоединены соответственно к выходу второго элемента И и выходу второго регистра, управляющих входов, подключенных соответственно к второму входу первого элемента И, второму входу второго элемента И, третьему, четвертому, пятому и шестому входам логического блока, а также информационных выходов, подключенных соответственно к выходам сумматора, второго элемента И, второго регистра и логического блока, позволяет осуществлять перестройку устройства для моделирования нейрона на различные

режимы функционирования. Так, при задании на пятом и шестом входах логического блока соответственно сигналов 0 и 1, являющихся кодом ,операции, и при подаче на управляющие входы (соединенные с вторыми входами первого и второго элементов И третьим и четвертым входами логического блока) соответствующих управляющих сигналов, на выходе логического блока реализуется функция

п

Wi sisn ( ZI x,,j Ci,j 0)

J

которая является алгоритмом функционирования формального нейрона.

При задании на пятом и шестом входах логического блока кода операции 1 и 0 и при подаче на указанные выше управляющие входы соответствующих управляющих сигналов на выходе логического блока реализуется функция

v

вык,1

max

о, ciXiii.i -б))

которая является алгоритмом функционирования градуального суммирующего нейрона.

Задавая на пятом и шестом входах

логического блока код операции 0 и О и подавая на указанные выше управляющие входы соответствующие управляющие сигналы, устройство настраивается на выполнение функции цифрового интегратора, реализующего формулу прямоугольников. При этом же коде, операции устройство путем задания единичных значений синаптических ве3147

сов у j , , . .., Ј настраивается на выполнение функции сумматора входных сигналов х ( ,х ,Г|.

Наряду d этим устройство обеспечивает выполнение операции скалярного произведения векторов, компонентами одного из которых являются значения синаптических весов X1, , ...,Jfn, а компонентами другого вектора являются значения входных сигналов. При этом на информационном выходе устройства, соединенном с выходом второго элемента И, формируются m старших разрядов скалярного произведепния У к ; . X1.. ; , а на информа

j

X.

ционном выходе, подключенном к выходу сумматора, можно получить значение указанного произведения, представленного 2т-разрядным двоичным кодом, т.е. это произведение с удвоенной точностью. При необходимости m старших разрядов скалярного произведения могут запоминаться во втором регистре и выдаваться в требуемый момент времени на информационный выход устройства, подключенный

к выходу этого регистра. Отмеченные обстоятельства обеспечивают расширения функциональных возможностей устройства по сравнению с известным устройством.

Таким образом, указанные отличительные признаки позволяют реализовать все основные функции, выполняемые известным устройством (формальный нейрон, градуальный суммирующий нейрон, цифровой интегратор, сумма- тор, элемент памяти), и, кроме того, обеспечивают возможность выполнения операции скалярного произведения векторов, что существенно расширяет функциональные возможности и одновре менно упрощает устройство.

На фиг.1 приведена структурная схема устройства; на фиг.2 - структурная схема блока изменения синаптических весов; на фиг.З - структурная схема логического блока;на фиг.4 - временная диаграмма работы устройства в режиме градуального и формального нейронов; на фиг.З - временная диаграмма работы устройства в режиме интегратора.

Устройство содержит информационные входы 1,,..., 1 п и 2,,...,2 п,

п блоков 3,,...,3М изменения синаптических ВРСОВ, установочные входы 4(,...,4п, сумматор 5, первый элемент И 6„ второй элемент И 7, первый регистр 8, второй регистр 9, логический блок 10, управляющие входы 11-16, информационные выходы 17-20. Информационные входы 14,...,1П и 2,,...,2П подключены соответственно к первым входам блоков 3„,...,Зп изменения синаптических весов, третьи входы которых соединены соответственно с установочными входами 4,,...,4h устройства. Выходы п блоков 3 ,,...,Зп изменения синаптических весов подключены к п входам сумматора 5, выход которого соединен с первыми входами первого элемента И 6 и второго элемента И 7. Выход первого элемента И 6 подсоединен к входу первого регистра 8, выход ко- торого соединен с п+1 входом сумматора 5. Выход второго элемента И 7 подключен к входу второго регистра 9 и к первому входу логического блока 10, второй вход которого соединен с выходом второго регистра 9. Вторые входы первого 6 и второго 7 элементов И, третий, четвертый, пятый и шестой входы логического блока являются управляющими входами 11-16 устройства. Выходы сумматора 5, второго элемента И 7, второго регистра 9 и логического блока 10 являются ин- формационными выходами 17-20 устройства

0 5

0

5

Каждый j-и, j 1,п блок изменения синаптических весов содержит информационные входы 1 2 , установочный вход 4j, множительные элемент 21, выход 22, сумматор 23 и регистр 24.

Логический блок содержит вход 25, который является первым входом этого блока и подключается к выходу второго элемента И 7, триггер 26, элемент И 27, вход 28, который является вторым входом логического блока и подсоединяется к выходу второго регистра 9, элемент И 29, триггер 30, элемент И 31, элемент И 32, элемент ИЛИ 33, выход 20 которого является выходом логического Стока и устройства, входы 13-16 которого являются соответственно третьим, четвертым, пятым и шестым входами логического блока.

Регистры 24п блоков 3,,...,3„ изменения синаптических весов, а также первый 8 и второй 9 регистры выполнены в виде стандартных га-разрядных сдвиговых регистров. Триггер 26 логического блока 10 является стандартным RS-триггером, а триггер 30 представляет собой стандартный тактируемый D-триггер. В качестве множительного элемента 21п блоков 3j,...,3n изменения синаптических весов используется стандартный множительный элемент последовательно-параллельного действия.

Устройство работает следующим образом.

Перед началом работы п регистров множительных элементов 21, служа- щих для приема входных сигналов

х ;, , ...,х;)М , и п регистров

У 0.1

Ув,п24, служащих для записи начальных и хране- ния текущих значений синаптических весов j, ,...,У;)У,, n блоков 3,,...,3П изменения синаптических весов, а также первый регистр 8, второй регистр 9, триггеры 26 и 30 логического блока 10 устанавливают в нулевое состояние. После этого осуществляют настройку устройства на требуемый режим функционирования. Для настройки устройства на режим функционирования градуального суммирующего нейрона необходимо на управляющий вход 15 подать единичный. потенциал, а на управляющий вход 16 - нулевой потенциал. Иными словами, на управляющие входы 15 и 16 подается код операции 10. Затем через установочные входы 4,,...,4„ч в регистры 24 блоков 3,,...,3ПЧ изменения синаптических весов задают в виде га-разрядных двоичных кодов начальные значения синаптических весов

а в регистр 24 блок,а Зп изменения синаптических весов задают требуемое га-разрядное двоичное значение порога нейрона (б). При этом в регистр множительного элемента 21 (предназначенный для приема входного сигнала) блока 3 изменения синаптических весов записывается m-разрядное двоичное значение 1, которое там постоянно хранится. После этого устройство готово к приему m-разряднък двоичных кодов входных сигналов х ;, , х,1|П. и сигналов приращений V у,1,, У, п-4 синаптических весов, которые могут поступать соответственно

на информационные входы 1

и 2 ,..., 2

n-i

им

устройства. Временная

5

диаграмма работы устройства в рас- матриваемом режиме изображена на фиг.4. В течение первых га тактов осуществляют прием m-разрядных двоичных кодов входных сигналов х , ...,x;in, HVjf- ,. ..,(.V Jf ,-)ПИ и одновременно выдачу га-разрядного двоичного кода выходного сигнала уьыхЬ -0 (полученного на предыдущем i-1 шаге) на информационном выходе 20 устройства. При этом в течение первых га тактов времени в блоках

3 3

- ,..., J

П-1

изменения синаптических

весов происходит суммирование (в сумматорах 23) поступающих сигналов

0 приращений V Щ, ,..., V у;ih, с хранящимися в регистрах 24 значениями синаптических весов у.,4- f t-,«-i полученными на предыдущем i-1 шаге. В результате в ре5 гистрах 24 блоков 3,,...,3 изменения синаптических весов в данном i шаге формируются текущие значения синаптических весов

,(+ lfi ,i)i)Oi,n-i |fi-i1M-i ,n-i В течение последующих 2га тактов времени в блоках 3 (,..., 3 п изменения синаптических весов происходит умножение (в множительных элементах 21, см. фиг.2) поступивших

входных сигналов х

1,

Х,П-1

на

текущие значения синаптических весов у.и ,..., у;|П, и умножение величины порога (-0) на 1, и затем пблученные 2га-разрядные произведения суммируются в сумматоре 5. Иными словами, в течение указанных 2га тактов времени на выходе сумматора 5 формируется 2т-разрядный двоП-1

ичный код числа Р 2ИХ i ; -J;;- 6.

Как видно из временной диаграммы (фиг.4), под действием управляющих сигналов fw (поступающих через управляющий вход 12) на второй вход второго элемента И 7, старшие разряды числа Р- записываются во второй регистр 9. При этом в момент поступления самого старшего (знакового) разряда числа PJ на управляющий вход 14 подается управляющий сигнал

ГО

(фиг.4),под действием которо- триггер 30 (фиг.З) логического блока 10 записывается значение знакового разряда числа Р; . Таким образом, триггер 30 логического блока 10 под действием управляющег сигнала f переходит в состояние 1, если число

если число Р:

- О,

, ь о.

(т.е. триггер 30

и состояние 0 Если число Р находится в единичном состоянии), то элемент И 27 (фиг.З) будет закрыт и, следовательно, в течение m последующих тактов времени на информационном вы- .ходе 20 устройства (фиг.1) будет сформирован выходной сигнал У8ь1Х ; 0. Если Р; 0 (т.е триггер 30 находится в нулевом состоянии), то элемент И 27 будет открыт и на выходе 20 в течение га следующих тактов появится Если Р; О

число Уеыу ; Р; 0. I - (т.е. триггер 30 находится в нулевом состоянии), то элемент И 29 будет открыт и через него (посредством входа 28, подключенного к выходу второго регистра 9, фиг.1 и 3) в течение m тактов времени на выход 20 поступит

число У

ВЫХ.

Р; . Одновременно с

выдачей числа Увых. ; в течение этих же тактов времени на входы 1 ,... ...,„, и 21,...,2П.{ устройства поступают новые значения входных сигналов и приращений синаптических весов и весь процесс обработки информации повторяется. Таким образом, в каждом шаге при данном режиме работы устройство реализует функцию

п-

Р; - 1,,.уч-в,

8Ы, 1

max

(о; Р,-,

где х

J

- значения входных сигнаifi - б

шаге на j-й вход устройства;

синаптический вес j-ro входа; порог нейрона;

-мембранный потенциал нейрона;

-выходной сигнат нейрона, которая является алгоритмом функционирования градуального суммирующего нейрона.

Настройка устройства на режим функционирования формального нейроBblX.t

10

15

20

25

30

35

40

45

50

на осуществляется так же, как и в предыдущем случае, только теперь на управляющий вход 15 подается нулевой потенциал, а на управляющий вход 16 - единичный потенциал. Иными словами, код операции для этого режима будет 01. Временная диаграмма работы устройства такая же, как и в предыдущем случае (фиг.4). В течение первых m тактов времени осуществляется прием входных сигналов х )и ,...„ ...,х. (в регистры множительных элементов 21), формирование текущих значений синаптических весов

tfi.i У ;,п-1 (в Регистрах 24) и выдача выходного сигнала YBb(X ;,)

(на выходе 20), полученного на предыдущем i-1 шаге. При этом в m такте времени на каждом m шаге под действием управляющего сигнала f15 происходит сброс триггера 26 в 0. В течение следующих 2т тактоэ времени во втором регистре 9 формируются m In-i

старших разрядов числа Р,

21х.,1х J-1 J

У;(1 -0 . При этом, если Р О (т.е. среди т-1 значащих разрядов числа Р; имеется хоть одна 1, а знаковый m разряд равен 0), то триггер 26 будет находиться в единичном состоянии, а триггер 30 - в нулевом. Выходные сигналы триггеров 26 и 30 открывают элементы И 31 и 32 (фиг.1 и 3), и на выходе 20 устройства в течение последующих тактов времени сформируется единичный YSbir ; 1 сигнал. Если Р 0, то триггер 26 будет находиться в нулевом состоянии к закроет элемент И 32, если Р с. О, то триггер 30 перейдет в единичное состояние и закроет элемент И 31, т.е. при Р Ј 0 на выходе 20 устройства в течение m последующих тактов времени будет сформирован нулевой сигнал Y 0„.. ; 0. В следующем

00 . 1

1+1 шаге описанная процедура обработки информации полностью повторяется. Таким образом, при описанном режиме работы в каждом -i шаге устройство реализует функцию

h-l

55

выя ,t

sign ( Гх;. -у ;.j 0

г

,что соответствует алгоритму формального нейрона.

Из приведенного выше описания работы устройства видно, что при его

функционировании в режимах градуального (динамического) или формального нейронов, входные сигналы х; ,...,-x.fn могут поступать на входы 1 ,,. ., , 1 „, только с интервалом не менее 2т тактов (где m - разрядность двоичных чисел х ,..., . ..,х;т) (фиг.4). Отмеченное обстоятельство позволяет естественным образом моделировать период рефрак- терности нервной клетки. При этом, меняя разрядность т, оказывается возможным менять и период рефрактер- ности.

Операцию скалярного произведе- , ния векторов можно реализовать, если в качестве компонента одного вектора взять значения синаптических весов J, ,...,};,„ , .а в качестве компонент другого вектора - входные

сигналы

хм

, . . , л

При этом на

управляющие входы 15 и 16 подаются нулевые потенциалы (т.е. код операции 00), при которых логический блок 10 отключается(см.фиг.3). Тогд в течение 2т тактов времени (следующих после первых m тактов, в течение которых осуществляется прием компонент X ,...,Х |М второго вектора) на выходе сумматора 5 формируется 2т разрядный код числа

х- .V- , являющегося скалярным

произведением исходных векторов х;, и у; , которое поступает на информационный .выход 17 устройства. Если на управляющий вход 12 поступают управляющие сигналы f ,г в соответствии с временной диаграммой, представленной на фиг.4, то на информационном выходе 18 устройства будет формироваться только m старших разрдов полученного скалярного произведения. Эти же m старших разрядов скалярного произведения записываются на второй регистр 9, где в случае необходимости они могут храниться и в требуемые моменты времени выдаваться на информационном выходе 19 устройства. Возможность получения и выдачи скалярного произведе-) ния в виде 2т-разрядного и т-раз- рядного двоичного кода позволяет реализовать указанную операцию с трбуемой точностью.

При настройке устройства на режим работы цифрового интегратора.

5

работающего по формуле прямоугольников, используется только один j блок изменения синаптических весов, а на управляющие входы 15 и 16 подается код операции 00, при котором логический блок 10 отключается. Перед началом работы в регистр 24 j блока изменения синаптических весов 3j записывается начальное значение подынтегральной функции V0 . Временная диаграмма работы устройства в режиме цифрового интегратора представлена на фиг.5. В течение первых m тактов времени

0

на вход 1: поступает значение независимой переменной At, которое записывается в регистр множительного элемента 21, на вход 2j - значение приращения подынтегральной функции VY;- , которое суммируется в сумматоре 23 с начальным значением подынтегральной функции У0; и полученное текущее значение этой функции

0

5 Y(,j Y- +UY.VJ

записывается в

регистр 24, а на выходе 18 устройства формируется приращение интеграла v i-i,j, полученное на предыдущем шаге. В течение следующих 2т о тактов времени на выходе сумматора 5 формируется 2т-разрядное значение приращения интеграла VP}J AtfY,: + + yY;: . При этом под действием управляющих сигналов f,, и f1u (фиг.5) младших m разрядов величины VP . записываются в первый регистр 8, который является регистром остатка, а старшие m разрядов указанной величины поступают на информационный выход 18 или записываются во второй регистр 9, из которого они могут быть считаны на информационный выход 19 устройства в любой требуемый момент времени. При поступлении новых значений входных сигналов описанная выше процедура полностью повторяется .

Наряду с описанными режимами функционирования устройство может выполнять функции сумматора входных сигналов х- ,...,х,

0

5

4,1 Л1,«

достаточно задать все тических весов

5

, для чего значения синапУм Равными единице и использовать информационный выход 17 устройства (см.фиг.1).

Преимущества устройства заключаются в значительном упрощении при од-- новременном расширении его функциональных возможностей, поскольку для

реализации устройства требуется более чем в 2 раза меньшее число сумматоров и регистров, в п раз меньшее число квантователей, на 5 сокращается число множительных элементов, что упрощает его в сравнении с известным устройством на 30-80% в зависимости от величины п. При этом данное устройство позволяет не только реализовать все функции известного устройства, но и существенно их расширить, включив в их число весьма распространенную операцию скалярного произведения векторов с заданной.точностью. Формула изобретения

Устройство для моделирования нейрона, содержащее п блоков изменения синаптических весов, первые и вторые входы которых являются информационными входами устройства, а

5

0

третьи - установочными, сумматор, первые п входов которого соединены соответственно с выходами п блоков изменения синаптических весов, о т- личающееся тем, что, с целью упрощения устройства и расширения функциональных возможностей за счет обеспечения переключения на различные режимы работы, оно оснащено первым и вторым регистрами, первым и вторым элементами И и логическим блоком, при этом выход первого регистра соединен с (п+1) входом сумматора, а вход - через первый вход первого элемента И подключен к выходу сумматора, связанному через первый вход второго элемента И с входом второго регистра и первым входом логического блока, к второму входу последнего подсоединен выход второго регистра.

Изобретение относится к области бионики и вычислительной техники и может быть использовано в качестве элемента нейроноподобных сетей для моделирования биологических процессов в устройствах обработки, анализа и распознования образов, а также в качестве элемента параллельных вычислительных структур для решения задач цифровой обработки сигналов, систем алгебраических уравнений, краевых задач теории поля. Цель - упрощение устройства и расширение его функциональных возможностей за счет обеспечения перестройки на различные режимы. Устройство содержит информационные входы 1₁,..., 1_N и 2₁,...,2_N, N блоков 3₁,....,3_N изменения синаптических весов, установочные входы 4₁,...,4_N, сумматор 5, первый 6 и второй 7 элементы И, первый 8 и второй 9 регистры, логический блок 10, управляющие входы 11,12,13,14,15,16 и информационные выходы 17,18,19,20 с соответствующими связями. При существенном упрощении конструкции устройства изобретение позволяет реализовать режимы функционирования формального и градуального нейронов с рефрактерностью, сумматора, цифрового интегратора, а также обеспечить возможность выполнения операции скалярного производения векторов с требуемой точностью. 5 ил.

T-J

33

20

Фие.З

Фил. Ч

п п - п п-п - п п п - п

/ г

т т+1 т+2 2т 2т+1 lm+Z Зт

П П П

П П - П