Устройство для моделирования классифицирующей нейронной сети Советский патент 1982 года по МПК G06G7/60 

1

Изобретение относится к устройствам для моделирования нейронных сетей, распознающих речевые сигналы, и может .быть использовано в устройствах автоматического :распознавания речи различных киб нетических систем.

Известна модель нейронной сети, содержащая блок кратковременной памяти слогов, матрицу двувходовых не онов и блок возбуждения столбцов матрицььщ Выходы блока кратновремешюй памяти соединены с соответствующими г изонтальнымй цепями возбуждения матрицы, вььходы блока возбуждения с соответствующими вертикальными цепями возбуждения MaT-jj ришы 11

Когда из блока памяти поступает сигнал о новом слоге, он расщзостраняется вдоль некоторой строки матрицы. Одно- еменно возбуждается очередной стол- 20 бец матрицы и происходит возбуждение соответствующего нейрона матрицы. Таким образом, в матрице образуется некоторый след памяти, соединяющий

точки, возбужденные в настоящий и предыдущий моменты времени.

Недостатком данной модели является Невысокая надежность, Ьбусловленная жесткой зависимостью результатов рас- , познавания от работы блока воЕ уждеаия. В случае щюпадания сигналов возбуждения ИЛЕЙ вьщачи ложных сигналов происходит ложный сдвиг всей последующей части следа памяти , что резко ухудшает сходство с эталоном.

Наиболее близким техническим решением является многослойная нейронная сеть, состоящая из . не{фоиов, образующих ( Vi-l) слойную пирамвдалыную сеть, каждый j -и слой которой содержит ( М - j ) нейронов, каждый « -и вход сети соединен с первым входом 1 -го первого слоя и с втсфы1 { входом ( i-l)-ro не{фона первого слоя, выход каждого 4-го нейрона j-ro слоя подключен.к первому входу -го не1фона ( j И)-го зшоя и к второму входу ( )-ro нейрона ( +1)-го слоя, вы39ход нейрона (и -1)-го слоя является вы ходом устройства 2. Недостатком известного технического решения является неспособность многослойной нейронной сети решать задачу распознавания слов по входной последовательности фонем. Цель изобретения - повышение надежности классификации временных последовательностей сигналов. Поставленная цель достигается тем, что в устройстве для моделирования нейронной сети, состоящей из нейронов, образующих ( К) - I )-слойную И -вход вую пирамидальную сеть, каждый -и слой которой содержит (П -j ) нейронов, каждый i -вход сети соединен с первым входом i -го нейрона первого слоя и с вторым входом ( -1)-го нейрона первого слоя, выход каждого -i -го нейрона j -го слоя подключен к первому входу -1 -го нейрона { -| + l)-ro слоя и к второму входу ( - l)-ro нейрона ( Ч слоя, с выход не%)Она(И-1)-го слоя является выходом устройства, каждый нейрон сети выполнен в виде двувходового нейрона с задерживающим и прямым входами и содержит детектор начала сигнала, два детектора конца сигнала, две линии задерж ки, два элемента ИЛИ, триггер, ячейка аналоговой памяти и сумматор, выход которого является выходом нейрона, задерживающий вход Korqporo подключен к инфорьТационному входу записи ячейки ана логовой памяти и через первый детектор конца сигнала - к входу первого элемента задержки, выход которого соединен с первым входом первого элемента ИЛИ и через второй элемент задержки - с первым входом второго элемента ИЛИ, выход которого подключен к входу сброс .ячейки аналоговой памяти и-к нулевому входу триггера, единичный выход которого соединен с управляющим входом чтения ячейки аналоговой памяти, выход которой подключен к первому входу сумм тора, прямой вход нейрона соединен с вторым входом сумматора, через второй детектор конца сигнала - с входом вто- рого элемента ИЛИ и через детектор начала сигнала - с вторымвходом первого элемента ИЛИ, выход которого подключе к единичному входу триггера, задерживающий вход нейронасети является пер вым входом, прямой вход - вторым входом нейрона сети. На фиг. 1 представлена структура нейронной распознаюи1ей сети; иа фиг. 2 модель нейрона. 64 На фиг. 1 показана нейронная сеть, распознающая слова ц фонем, поступающих на входы X , ),...| X, Сеть имеет пирамидальную структуру. Первый входной слой содержит ( n-l) нейронов, второй - ( И-2) и т.д., всего сеть имеет (h -l) слоев, а общее число нейронов равно . На фиг. 2 показана модель нейрона, где соответственно обозначены зяцерживающкй и прямой входы 1 и 2, детектор 3 начала сигнала, детекторы 4 и 5 конца сигналов, элементы задержки 6 и 7, элементы ИЛИ 8 и 9, триггер 1О, ячейка 11 аналоговой памяти со входами записи 12, чтения 13 и сброса 14, выход 16 .модели нейрона. Устррйство работает следующим образом, При подаче на входы Х , Хи временной последовательности сигналов сеть на выходе первого слоя вырабатывает сигналы о наличии 2-фонемных фрагментов, на Выходах втсрого слоя - о наличии 3-фонемнь1х фрагментов и т.д. На последнем уровне формируется суммарный сигнал о степени соответствия входного набора эталону. В частном случае, когда на входе присутствует собственный обр аз, на кото- рый настроена данная сеть, отклик сети равен сумме амплитуд входных сигналов, взятых с некоторыми весовыми коэффициентами. В случае неразборчивого звучания или зашумленности отдельных фонем сигналы на соответствующих входах сети могут щэопадать, что приводит к у уменьшению степени сходства с эталоном, причем сходство монотонно убывает с возрас.танием числа ошибок, тем самым обеспечивается определенная устойчивость сети к ощибкам щэедьщущего уровня обработки сигналов. Отклик сети на щзоизвольную последовательность можно определить в терминах линейной алгебры с помощью весовых коэффициентов и операторов задержки как произведение транспонированной матрицы входных сигналов на матрицу передаточных отношений сети. Например, для И 4 имеем. Передаточное отнсаиение сети где D: - задержка на i шагов, - коэффициент передачи вход i выход. Входное слово (если нет искажений) где р 1 К, и К - коэффициенты, 1ф порциональные а плитудам сигнало о фонемах на вхо дах сети. Отклик сети ),,tK P-iVKaPi K,,Po) Если Р К 1, Ч 4D В случае произвольной входной последовательности реакция сети представлена лолиномом, который можно трактовать .как временную последовательность импул ров, причем амплитуда 1-го импульса соответствует коэффициенту при D , а длительность - реальной длительности входной фонемы. Наличие в выходном полиноме члена с коэффициентом превышающим порог ср батывания выходного нейрона, соответствует распознаванию входного образа. Настройка сети состоит в предварительном подключении входов сети к соот . ветствующим шинам фонем, в выборе вее сов входов и выборе порога срабатьша- кия выходного нейрона. В данной сети функция кратковременной памяти нейрона может быть выполнена с целью устранения влияния разброса длительностей элементгов слова на результат распознавания сети на модели нейрона (фиг. 2) с запоминанием предыдущего сигнала с синхронизацией выходного cyMiviapHoro сигнала от текущего входного сигнала. При нормальной ситуации сигнал по входу 1 запоминается в ячейке .1,1. Сигнал по входу 2 через детектср 3 и элемент ИЛИ 8, воздействуя на триггер IP производит чтение из ячейки 11, при это на входы сумматора 15 поступают полно стью совмещенные во времени сигнальи На выходе 16 сумматора 15 образуется суммарный сигнал. По окончании действия импульса на входе 2 через детектор 4 и элемент ИЛИ 9 производится сброс ячейки 11, и одновременно на выходе . схемы устанавливается О. В случае отсутствия.сигнала по входу 2 управление чтением и сбросом ячейки 11 производят выходные сигналы элементов задержки 6 и 7 (величины задержек несколько больше ожидаемых задержек в распознаваемом слове). В случае отсутствия сигнала по входу 1 выходным сигналом схемы является значение сигнала на входе 2. В данную схему линии задержки включены для того, чтобы выходной сигнал формировался во всех случаях, в том числе и при отсутствии сигнала на входе 2. В нормальной ситуации (при наличии обоих входных сигналов, следующих в ожидаемой последовательности) сигналы с выходов элементов задержки не оказывают влияния на работу схемы. Использование двувходовых нейронов с кратковременной памятью, соединенных в виде пирамиды, повышает надежность распознавания за счет устойчивости сети к входным ошибкам и упрощает устройство. Формула изобретения Устройство для моделирования классифицирующей нейронной сети, состоящей из 211 нейронов, образующих (И-l)слойную И -входовую пирамидальную сеть, каждьй j -и спой которой содержит ( V - i) нейронов, каждый i -и вход сети соединен с первым входом 4 -го нейрона первого слоя и с вторым входом ( -) -1)го нейрона первого слоя, выход каждого i -го нейрона j -го слоя подключен к первому ВХОДУ -го нейрона ( j +l)-ro слоя и к второму входу ( ч-l)-го нейрона ( j-H)-ro слоя, выход нейрона (и-1)-го СЛОЯявляется выходом устройства, отличающееся тем, что, с целью повышения надежности, классификации временных последовательностей сигналов каждый нейрон сети выполнен двувходовым с задерживающим и прямым входами и содержит дeтeктqp начала сигнала, два детектора конца сигнала, две линии задержки, два элемента ИЛИ, триггер, ячейку аналоговой памяти и суммат 451 вьосод которого является выходом нейрона, задерживающий вход которого подключен к информационному входу записи яче11иси аналоговой памяти и через первый детектор конца сигнала к входу первого элемента задержки, выход которого соединен с первым входом первого элемента ИЛИ и через второй элемекгг задержки - с первым входом второго элемента ИЛИ, выход которого подключен к входу сброса ячейки аналоговой памяти и к первому входу триггера, единичный выход которого соединен с управляющим входом чтения ячейки аналоговой памяти, вьисод которой подключен к первому входу сумматора, прямой вход нейрона соединен с вторым входом сумматора, через втqpOй детектс конца сигнала - с вторым входом элемента ИЛИ и через детектор начала сигнала - с вторым входом пер&

Фиг.1 е8 вого элемента ИЛИ, выход KOTtqjoro подключен к единичному входу триггера, задерживающий вход нейрона сети является первым входом, прямой вход - вторым входом нейрона сети. Источники информации, 1финятые во внимание при экспертизе 1. Дейч С. Модели нервной системы. М., Наука , 197О, с. 45. 2. Позин Н. В. Моделирование нейронных структур. М., Наука, 197О, с. 116 (прототип).