Устройство для моделирования нейронных сетей Советский патент 1987 года по МПК G06G7/60 

1

Изобретение относится к области моделирования нейронных сетей и к области ассоциативных запоминающих устройств и может быть использовано в устройствах распознавания образов, в частности для распознавания речи.

Цель изобретения повьшение точности воспроизведения запомненной в устройстве для моделирования нейронный сетей информации, что достигается за счет учета ширины следа образа и, тем самым, статистических характеристик обучающей выборки. : Устройство позволяет выровнять физические веса информационней одинаково значимых О и 1, а также учесть при воспроизведении информацию с аналогичных устройств ;хля моделирования нейронных сетей других уровней, если устройство работает в иерархической структуре.

На чертеже приведена блок-схема устройства для моделирования нейрон ных сетей.

Устройство для моделирования ней- pOHHbix сетей содержит блок 1 нейро- подобных элементов, который состоит из первой и второй групп 2 и 3 нейроподобных элементов, первая групШ

13057322

В режиме обучения размыкаются ключи 6 , за счет чего устраняется влияние обратной связи с выходов нейроподобных элементов 4 и 5. На текущем

, 5 цикле на вход 1I устройства поступает сигнал - потенциал высокого RHH О - низкого уровней, 1 проходит на вход счетчика 7, а О инвертируется в инверторе 10 и проходит на вход счетчика 8. 1 с входа счетчика 7 или 8 проходит на его выход и поступает на один из входов схемы 9 сравнения. После сравнения на выходе схемы 9 сравнения генерируется потенциал высокого или низкого уровней соответственно. Этот потенциал поступает на информационные входы нейроподобных элементов 4 и 5, примером реализации которых может служить устройство для моделирования нейрона при условии замены в нем внутренней синхронизации на внешнюю.

В момент прихода на синхронизирую-- щие входы нейроподобных элементов 4 и 5 синхронизирующего импульса потенциал с информационного входа ней- роподобного элемента. 4 (5) пройдет на вход модели обобп1енного дендрита. Таким образом, на вход блока 1 нейро15

20

25

па

ъ

2 нейроподобных элементов содержит 30 подобных элементов подается входная

2 И-нейроподобных элементов 4, отличающихся комбинацией тормозных и возбуждающих связей - адресом нейроподоб- ного элемента, вторая группа 3 нейрообучающая последовательность, п пре- дьщушлх символов об ™ ающей последовательности, где п -- длина модели обобщенного дендрита нейроподобных

подобных элементов содержит 2 НЕ-ней-33 элементов - адреса нейроподобных зле- роподобных элементов 5, также отличаю- ментов, осуществляют адресацию соот- щихся в адресных комбинациях, ключи ветствующих нейроподобных элементов 6, первый и второй счетчики 7 и 8 числа единиц, схему 9 сравнения, инвертор 10, вход 1 данных устройства;,

4 и 5. В завис1-шости от типа нейро- подобного элемента 4 или 5, а также

40

от значения следующего (п+1)-го символа входной (обучаюшей) последовательности, изменяются состояния нейроподобных элементов 4 и 5, одних - в сторону обучения (И-элементов 4, И-нейроподобные элементы, 4 45 если следующий символ 1 и НЕ-элевыход 12 устройства, вход 13 выбора режима устройства и вход 14 синхронизации устройства.

ются от НЕ-нейроподобных элементов 5 избирательной реакцией на свой тип входного сигнала: И-нейроподобные элементы меняют свое состояние при наличии во входной последовательности после текущего и разрядного адреса 1, а НЕ-нейроподобные элементы при наличии в последовательности после текущего и разрядного гшреса О.

Устройство для моделирования нейронных сетей работает следующим образом.

ментов 5 если О), других - в сторону забывания. На следующем цикле осуществляется аналогичный процесс , где адресация происходит по 50 п С г1мволов - (п-1) предыдущих символов и следующий символ последовательности,

В режиме воспроизведения замыкают- 55 ся ключи 6. Для зануска воспроизведения необходимо подавать на вход 11 символы входной последовательности в течение п циклов. Подавая входную последовательность, мы заполняем мообучающая последовательность, п пре- дьщушлх символов об ™ ающей последовательности, где п -- длина модели обобщенного дендрита нейроподобных

элементов - адреса нейроподобных зле- ментов, осуществляют адресацию соот- ветствующих нейроподобных элементов

4 и 5. В завис1-шости от типа нейро- подобного элемента 4 или 5, а также

ентов 5 если О), других - в сторону забывания. На следующем цикле осуществляется аналогичный процесс , где адресация происходит по п С г1мволов - (п-1) предыдущих символов и следующий символ последовательности,

В режиме воспроизведения замыкают- ся ключи 6. Для зануска воспроизведения необходимо подавать на вход 11 символы входной последовательности в течение п циклов. Подавая входную последовательность, мы заполняем моШ

дели обобщенных дендритов нейроподоб- ных элементов 4 и 5 п-членным отрезком последовательности, тем самым осуществляя адресацию нейроподобных элементов. Затем по этим адресам очи- тьгоается записанная ранее информация, которая осуществляет дальнейшую адресацию по линии обратной связи, что позволяет воспроизвести ВСЮ, запом ненную ранее, последовательность.

Таким образом в течение п циклов работы устройства для моделирования нейронных сетей в моделях обобщенных дендритов нейроподобных элементов 4 и 5 накопится п-членный отрезок вход-)5 ной последовательности, адресующий один или больше И-нейроподобных элементов 4 и (или) НЕ-нейроподобных элементов 5. В (п+)-м цикле на вход 11 устройства можно не подавать информации (технические средства для этого режима на чертеже не показаны) При этом адресованные И-элементы 4 и НЕ-элементы 5 в зависимости от того, обучены они или нет, ответят единицей, если они обучены, и промолчат в противном случае. Их ответ пройдет на счетчики 7 и 8. Первый счетчик 7, таким образом, суммирует число И-нейроподобных элементов 4, запомнивщих 30 переход из данного адреса в 1, а второй счетчик 8 суммирует число НЕ- нейроподобных элементов 5, запомнивших переход в О. Накопленные ответы поступают с выходов счетчиков 7 и 8, 35 подсчитьшающих число единиц, на входы схемы 9 сравнения.

По результату на выходе схемы 9 сравнения можно судить о том, ка20

25

появляется возможность контролировать процесс воспроизведения извне.

В результате использования в устройстве нейроподобных элементов с временной суммацией входного сигнала и включения в устройство второго счетчика числа единиц и схемы сравне ния, выравниваются физические веса информационно - равнозначных ответов элементов 4 и 5, что позволяет учест ширину следа, траектории запомненной послелювательности (число ответивших И-элементоБ 4 и НЕ-элементов 5) . и тем самым увеличить точность воспрои ведения запомненной последовательнос ти.

Формула изобретения Устройство для моделирования нейронных сетей, содержащее две группы по 2 нейроподобных элементов, где п - длина адресного слова, характеризующая распределение возбуждающих и тормозящих связей в модели обобщенного дендрита каждого нейроподобного элемента, две группы по 2 ключей и первьш счетчик числа единиц, выход устройства соединен с информационными входами нейроподобных элементов, синхронизирующие входы которых подклю чены к синхронизирующему входу устрой ства , вход выбора режима которого соединен с управляющими входами ключей первой и второй групп, информационные входы которых подключены к соответствующим выходам нейроподобных элементов, выходы ключей первой группы соединены соответственно с первыми 2 информационными входами первого счетчика числа единиц, (2 +1)-й

кой символ запомненной последователь-40 информационный вход которого подклю- ности следующий. В момент поступления импульса на вход 14 этот символ поступает на входы моделей обобщенных дендритов нейроподобных элементов 4 и 5. На (п+2)-м цикле указанный сим- 45 вол и (п-1) предыдущих символов заполняют обобщенные дендриты нейроподобных элементов 4 и 5, формируя новый адрес, и все повторяется. Таким образом, удается воспроизвести всю запомненную последовательность.

50

чен к входу данных устройства, отличающееся тем, что, с целью повьш1ения точности моделирования, в него введены инвертор, второй счетчик числа единиц и схема сравнения, выход которой подключен к выходу устройства, выходы ключей второй группы соединены соответственно с первыми 2 информационными входами второго счетчика числа единиц, ()-й инАормационный вход которого через инвертор подключен к входу данных устройства, выходы первого и второго счетчиков числа единиц

На вход 11 в режиме воспроизведения может подаваться некоторая информация. При этом она взаимодейству-55 соединены с входами первой и второй ет с внутренней информацией, облег- групп схемы сравнения соответствен- чая или ухудшая воспроизведение, т.е. но.

5 0 5

0

5

появляется возможность контролировать процесс воспроизведения извне.

В результате использования в устройстве нейроподобных элементов с временной суммацией входного сигнала и включения в устройство второго счетчика числа единиц и схемы сравнения, выравниваются физические веса информационно - равнозначных ответов элементов 4 и 5, что позволяет учесть ширину следа, траектории запомненной послелювательности (число ответивших И-элементоБ 4 и НЕ-элементов 5) . и тем самым увеличить точность воспроизведения запомненной последовательности.

Формула изобретения Устройство для моделирования нейронных сетей, содержащее две группы по 2 нейроподобных элементов, где п - длина адресного слова, характеризующая распределение возбуждающих и тормозящих связей в модели обобщенного дендрита каждого нейроподобного элемента, две группы по 2 ключей и первьш счетчик числа единиц, выход устройства соединен с информационными входами нейроподобных элементов, синхронизирующие входы которых подключены к синхронизирующему входу устройства , вход выбора режима которого соединен с управляющими входами ключей первой и второй групп, информационные входы которых подключены к соответствующим выходам нейроподобных элементов, выходы ключей первой группы соединены соответственно с первыми 2 информационными входами первого счетчика числа единиц, (2 +1)-й

информационный вход которого подклю-

чен к входу данных устройства, отличающееся тем, что, с целью повьш1ения точности моделирования, в него введены инвертор, второй счетчик числа единиц и схема сравнения, выход которой подключен к выходу устройства, выходы ключей второй группы соединены соответственно с первыми 2 информационными входами второго счетчика числа единиц, ()-й инАормационный вход которого через инвертор подключен к входу данных устройства, выходы первого и второго счетчиков числа единиц

/J.

Редактор В.Данко

Составитель А.Яицков Техред Л.Сердюкова

Заказ 1455/49 Тираж 673Подписное

ВНИИПИ Государственного комитета СССР

по делам изобретений и открытий 113035,.Москва, Ж-35, Раушская наб,, д. 4/5

Производственно-полиграфическое предприятие, г. Ужгород, ул. Проектная, 4

12

Корректор А. Обручар

Изобретение относится к устройствам для моделирования локальных сетей из нейронов и может быть использовано в системах распознавания образов и управления, в частности в системах распознавания и синтеза речи. Цель изобретения - повьппение точности воспроизведения. В устройство, содержащее две группы нейроподобных элементов с временной суммацией входного сигнала, ключи и счетчик, подсчитывающий число единиц, введены дополнительный счетчик, подсчитывающий число единиц, и схема сравнения. Благодаря чему выравниваются физические веса информационно равнозначных ответов нейроподобных зле- ментов каждой группы, что позволяет учесть ширину следа траектории запомненной последовательности. I ил. i (Л СО о ел и