Изобретение относится к бионике, моделированию функциональных аспектов человека и может найти применение в вычислительной технике при построении интеллектуальных машин и систем.
В настоящее время известны способы интеллектуальной обработки информации в нейронной сети, применяемые для аппроксимации, классификации, распознавания образов, обработки речи, прогнозирования, идентификации, оценивания производственных процессов, ассоциативного управления и для решения других творческих задач (Хайкин С. Нейронные сети: полный курс, 2-е издание. Пер. с англ. М.: Издательский дом «Вильямс», 2006. - 1104 с.; Галушкин А.И. Теория нейронных сетей. Кн. 1: Учебное пособие для вузов / Общая ред. А.И.Галушкина. - М.: ИПРЖР, 2000. - 416 с.).
Однако этим способам характерны узкие возможности по запоминанию структурно сложных изменяющихся во времени сигналов, их распознаванию, ассоциированию с другими сигналами, извлечению из памяти сети и воспроизведению в исходной форме. Эти способы не позволяют при обработке информации решать широкий спектр задач одной и той же нейронной сетью.
Наиболее близким аналогом изобретения является способ интеллектуальной обработки информации в двухслойной нейронной сети с обратными связями, замыкающими двухслойные контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения. Согласно ему сигнал подают в сеть после разложения на составляющие в базисе, согласованном с входным слоем сети. При этом каждую составляющую перед подачей в сеть преобразуют в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей. Сигнал представляют в сети в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания. При передаче совокупностей единичных образов от слоя к слою их сдвигают вдоль слоев с учетом текущих состояний последних. Результаты распознавания запоминают на элементах сети. В качестве результатов обработки используют последовательные совокупности единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы (Осипов В.Ю. Ассоциативная интеллектуальная машина / Информационные технологии и вычислительные системы. №2, 2010, с.59-67).
Недостатком этого способа является то, что сдвиги совокупностей единичных образов вдоль слоев осуществляют с постоянными параметрами сдвигов на всем пространстве слоев. Не учитывается возможность достижения максимума ассоциативного взаимодействия между единичными образами в сети. Это ограничивает функциональные возможности способа по интеллектуальной обработке информации.
Задачей изобретения является расширение функциональных возможностей по интеллектуальной обработке информации в нейронной сети.
Технический результат от использования изобретения заключается в повышении интеллектуальности обработки информации в нейронной сети, улучшении запоминания, распознавания сигналов и извлечения их из сети.
Поставленная задача решается тем, что в известном способе интеллектуальной обработки информации в нейронной сети, заключающемся в подаче в двухслойную сеть с обратными связями, замыкающими двухслойные контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с учетом их текущих состояний, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, согласно изобретению сдвиги совокупностей единичных образов вдоль слоев осуществляют с изменяемыми параметрами сдвигов и продвигают совокупности единичных образов вдоль слоев по спирали с изменяемым диаметром.
Новым существенным признаком изобретения является то, что сдвиги совокупностей единичных образов вдоль слоев предлагается осуществлять с изменяемыми параметрами сдвигов и продвигать совокупности единичных образов вдоль слоев по спирали с изменяемым диаметром. Это позволяет повысить ассоциативное взаимодействие единичных образов в нейронной сети и расширить функциональные возможности по интеллектуальной обработке информации в ней.
Сущность изобретения поясняется фиг.1÷6.
На фиг.1 приведена структурная схема двухслойной рекуррентной нейронной сети, реализующей предложенный способ, где 1, 5 - первый, второй слои нейронов; 2, 6 - первый, второй блоки единичных задержек; 3, 4 - первый, второй блоки динамических синапсов; 7 - блок управления синапсами.
На фиг.2 а, б представлена линейная схема продвижения совокупностей единичных образов вдоль слоев в двухслойной рекуррентной сети. Эту схему продвижения в дальнейшем будем называть «Бегущая строка».
На фиг.3 приведена схема продвижения в двухслойной рекуррентной сети совокупностей единичных образов по спирали с постоянным диаметром.
На фиг.4 приведен пример схемы продвижения в двухслойной рекуррентной сети совокупностей единичных образов по спирали с изменяемым диаметром.
На фиг.5 приведены результаты оценки эффективности двухслойных рекуррентных сетей со схемой продвижения совокупностей единичных образов «Бегущая строка» и схемой «Спираль 30».
На фиг.6 показана зависимость эффективности двухслойных рекуррентных нейронных сетей со спиральными схемами продвижения совокупностей единичных образов от числа нейронов в слоях сети.
Способ осуществляется следующим образом.
Рассмотрим его на примере нейронной сети, структурная схема которой представлена на фиг.1.
Входной сигнал, разложенный на составляющие в базисе, согласованном с первым слоем 1 сети, при этом каждая его составляющая преобразована в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, подают на этот слой.
После подачи на первый вход первого слоя нейронов такого сигнала на его выходе имеют место последовательные совокупности единичных образов, несущие всю информацию о входном сигнале.
После задержки в первом блоке единичных задержек 2 последовательные совокупности единичных образов поступают на первый блок динамических синапсов 3. Каждый единичный образ из текущей совокупности подается одновременно в первом блоке динамических синапсов 3 на совокупность своих динамических синапсов, обеспечивающих связь каждого нейрона, породившего единичный образ, в общем случае со всеми нейронами второго слоя нейронов 5.
Особенность динамических синапсов сети в следующем. Амплитуда единичного образа на выходе каждого синапса равна амплитуде входного единичного образа, умноженной на вес wij(t) синапса. Веса wij(t) синапсов определяются через произведение их весовых коэффициентов kij(t) и функций ослабления β(rij(t)),
Весовые коэффициенты, kij(t), изменяются в зависимости от воздействий на синапсы единичных образов и выступают в качестве элементов долговременной памяти сети. При прохождении единичных образов через синапсы они снимают с них информацию о предыдущих воздействиях и оставляют информацию о своем появлении через изменения весовых коэффициентов. Значения весовых коэффициентов могут быть определены по известным правилам (Осипов В.Ю. Ассоциативная интеллектуальная машина / Информационные технологии и вычислительные системы. №2, 2010, с.59-67).
Каждая из связей (синапсов) имеет свое значение функции ослабления βij(rij) единичных образов, зависящее от rij - удаленности связываемых через синапсы нейронов (расстояний между ними на плоскости X, Y). Полагается, что расстояние между взаимодействующими слоями нейронной сети стремится к нулю.
Функция β(rij) может определяться как:
где h - степень корня, чем она выше, тем шире ассоциативное пространственное взаимодействие в сети; α - положительный постоянный коэффициент; N - число нейронов в каждом слое сети.
Входящую в (1) величину rij в единицах нейронов с учетом возможных пространственных сдвигов совокупностей единичных образов вдоль слоев сети можно выразить в виде:
Δхij, Δуij - проекции связи j-го нейрона с i-м на оси X, Y без учета пространственных сдвигов; d, q - величины единичных сдвигов соответственно по координатам X, Y; L, М - число соответственно столбцов и строк, на которые разбивается каждый слой нейронной сети за счет сдвигов.
Изменяя Δхij, Δуij на соответствующие значения nij·d и mij·q, можно менять rij и направление потока совокупностей единичных образов вдоль слоев сети.
Такие сдвиги совокупностей единичных образов вдоль слоев реализуются через управление динамическими синапсами с блока управления синапсами 7.
Для принятия решения в блоке управления синапсами о сдвиге очередной совокупности единичных образов в нем сначала анализируются состояния первого и второго слоев. В случае когда на выходе первого или второго слоя имеет место совокупность единичных образов, которую нельзя передать на другой слой по коротким связям (синапсам с минимальными функциями β(rij(0)) ослабления единичных образов) из-за нахождения соответствующих нейронов этого слоя в состояниях невосприимчивости, осуществляют сдвиг этой совокупности. В случае когда нет препятствий для передачи совокупности единичных образов по коротким связям, сдвиг ее не осуществляют.
В общем случае смещенные совокупности единичных образов с выхода первого блока динамических синапсов 3 поступают на вход второго слоя нейронов 5.
Заметим, что все единичные образы, поступившие на один и тот же нейрон по различным синапсам, суммируются. При превышении этой суммы заданного порога возбуждения нейрона он возбуждается и на его выходе формируется единичный образ. Затем имеемая сумма обнуляется, а сам нейрон затем переходит в состояние невосприимчивости входных сигналов. В нем он находится заданное время, одинаковое для всех нейронов сети, которое больше суммарной задержки единичных образов в блоках 1, 2, 3, 5, 6, 4, входящих в двухслойный многопучковый контур нейронной сети.
Последовательные совокупности единичных образов с выхода второго слоя 5, после задержки в блоке 6, поступают на второй блок динамических синапсов 4. В блоке 4 они аналогичным образом, как и в блоке 3, обрабатываются и, сдвинутые вдоль первого слоя в зависимости от состояний первого и второго слоев, поступают на второй вход первого слоя нейронов 1.
С учетом этого поступающие на первый слой нейронов 1 прямые и обратные совокупности единичных образов в нем корректно связываются, распознаются и порождают на его выходе новые совокупности единичных образов, несущие в себе информацию как о текущих, так и ранее запомненных сетью сигналах, связанных с первыми. При этом за счет соответствующих сдвигов совокупностей единичных образов вдоль слоев исключается наложение обратных результатов распознавания на прямые совокупности.
За счет приоритетности коротких связей в нейронной сети между входом и выходом сети, реализующей предлагаемый способ, легко устанавливается однозначное соответствие между составляющими входных и выходных сигналов.
С учетом этого соответствия по номерам нейронов, формируемых последовательности единичных образов на выходе устройства, определяют частотные и пространственные характеристики составляющих исходного сигнала. По частотам следования и относительным задержкам единичных образов соответственно устанавливают амплитуды и фазы составляющих исходного сигнала. Затем воспроизводят составляющие исходных сигналов и путем их сложения восстанавливают исходные, например речевые, зрительные и другие сигналы. Для определения амплитуд составляющих исходного сигнала определяют текущее число единичных образов, попадающих в предварительно заданный интервал времени. Для воспроизведения составляющих исходных сигналов применим, например их цифровой синтез по известным параметрам.
Согласно изобретению сдвиги совокупностей единичных образов вдоль слоев предлагается осуществлять с изменяемыми параметрами nij·d и mij·q сдвигов и продвигать совокупности единичных образов вдоль слоев по спирали с изменяемым диаметром. Для пояснения этого решения рассмотрим сначала схему продвижения совокупностей единичных образов в двухслойной рекуррентной сети с их однонаправленными постоянными сдвигами d вдоль слоев. На фиг.2а показан путь продвижения совокупностей единичных образов между слоями для этого случая.
За счет цикличности обмена информацией первого слоя со вторым все пространство слоев (фиг.2а, б) разбивается на L полей. На фиг.2б большой стрелкой показано продвижение совокупностей единичных образов вдоль первого и второго слоев. В соответствии с фиг.2 входные сигналы в виде последовательных совокупностей единичных образов подаются на первое поле первого слоя, продвигаются по сети в указанных направлениях, ассоциируются друг с другом. При этом входные последовательные совокупности единичных образов преобразуются в параллельные, а снимаются с сети после ассоциаций снова как последовательные. Имеет место схема продвижения этих совокупностей в виде «Бегущей строки». За счет сдвигов совокупностей единичных образов вдоль слоев по двум координатам можно реализовать продвижение их по спирали (фиг.3) с постоянным диаметром. Недостатком всех этих путей продвижения совокупностей единичных образов в двухслойной нейронной сети выступает то, что они не обеспечивают максимального ассоциативного взаимодействия единичных образов в сети. Это ограничивает возможности по запоминанию, распознаванию и извлечению сигналов из нейронной сети.
Осуществление сдвигов совокупностей единичных образов вдоль слоев с изменяемыми параметрами сдвигов и продвижения совокупностей единичных образов вдоль слоев по спирали с изменяемым диаметром позволяет устранить этот недостаток. Пример схемы продвижения в двухслойной рекуррентной сети совокупностей единичных образов по спирали с изменяемым диаметром приведен на фиг.4.
Для доказательства преимущества предлагаемого способа по сравнению с известными решениями исследовались ассоциативные возможности нейронных сетей со схемами Sz продвижения совокупностей единичных образов вдоль слоев в виде «Бегущей строки» (фиг.2) и спиралей с постоянными диаметрами 12, 30, 60, 120 нейронов. Спиральные схемы с такими диаметрами будем называть в дальнейшем «Спираль 12», «Спираль 30», «Спираль 60», «Спираль 120». Все размеры исследуемых нейронных сетей приведены в таблице. В числителях дробей таблицы дано произведение длины слоя на его ширину в единицах нейронов, а в знаменателях - произведение длины строки (диаметра спирали) в единицах столбцов размером d=6 на число строк (витков) шириной q=6.
Оценка эффективности нейронных сетей осуществлялась по показателю
пространственно-временной связи между единичными образами в сети, где
βij(rij(Sz) - функция ослабления единичного образа при передаче его от i-го до j-го нейрона при Sz схеме;
tij - время, равное сумме отдельных тактов работы сети, за которые единичный образ от i-го нейрона дойдет до j-го нейрона в плоскости одного и того же слоя.
Время tij в зависимости от структуры сети при одном и том же расстоянии rij может существенно отличаться. Например, кратчайшие расстояния между нейронами первого и L+1 полей слоев сети на фиг.3 незначительны, однако время преодоления их единичными образами велико. Единичные образы продвигаются вдоль сети не по кратчайшим путям, а в соответствии с указанным направлением. Учитывая, что функция βij(rij) безразмерна и принимает значения только от нуля до единицы, с физической точки зрения используемый показатель можно трактовать также как время активного взаимодействия между единичными образами в плоскостях нейронной сети. Чем меньше ослабление и чем на большем интервале времени осуществляется взаимодействие единичных образов, тем шире ассоциативные возможности сети.
В интересах оценки принятого показателя эффективности (3) этих структур была разработана программная модель двухслойной рекуррентной нейронной сети с управляемыми синапсами. Полученные зависимости 
(N) - среднего времени активного взаимодействия между единичными образами в плоскостях слоев сетей с исследуемыми структурами от числа N нейронов в каждом слое - приведены на фиг.5, 6. Время на этих чертежах приведено в условных единицах.
Из анализа фиг.5 видно, что наилучшими ассоциативными возможностями обладает сеть со спиральной схемой продвижения совокупностей единичных образов вдоль слоев. Для функции (1) с h=4, α=40 структура «Спираль 30» с диаметром спирали D=30 нейронов при десяти витках, каждый шириной по 6 нейронов, с N=1800 и d=q=6, обеспечивает выигрыш по сравнению с «Бегущей строкой» длиной 300 и шириной 6 нейронов на 29%.
Сравнение спиральных структур с диаметрами 12, 30, 60, 120 с шириной витков по 6 нейронов при d×q=36 позволило установить следующую особенность. С ростом размеров сети спиральные структуры с меньшим D начинают уступать по эффективности структурам, у которых диаметр больше. На фиг.6 видно, что спиральная структура с D=30 имеет преимущество над структурой с D=60 только для слоев сети с N меньше 1440 нейронов. Затем она проигрывает позиции. Структура с D=12 при N=144 лучше всех. Однако для РНС с N=360 ее эффективность уже ниже, чем у структуры с D=30.
Учитывая, что поступающие в нейронную сеть сигналы заполняют ее и покидают постепенно, только схема продвижения совокупностей единичных образов вдоль ее слоев по спирали с изменяемым диаметром может обеспечить наилучшие ассоциативные возможности сети. Наличие же повышенных ассоциативных возможностей у нейронной сети расширяет в целом ее функциональные возможности по запоминанию, распознаванию и извлечению сигналов из сети. Преимущества интеллектуальной обработки сигналов в рекуррентных нейронных сетях со спиральными структурами с изменяемым диаметром спирали, по сравнению с сетями с постоянными параметрами сдвигов совокупностей единичных образов вдоль слоев, также были подтверждены фактическими результатами их обработки на исследуемых сетях после обучения на одних и тех же примерах.
Способ интеллектуальной обработки информации в нейронной сети может быть реализован с использованием известной элементной базы. В качестве нейронов слоев и элементов единичных задержек в блоках единичных задержек нейронной сети, реализующей способ, применимы ждущие мультивибраторы. При этом ждущие мультивибраторы в блоках единичных задержек следует запускать не по переднему, а заднему фронту входного импульса. Блоки динамических синапсов и блок управления ими могут быть реализованы специализированными процессорами, программируемыми интегральными схемами, функционирующими в соответствии с рассмотренными выше правилами.
Способ можно реализовать также путем эмулирования двухслойной рекуррентной нейронной сети с управляемыми синапсами на современных вычислительных машинах.
Изобретение относится к вычислительной технике. Технический результат заключается в повышении интеллектуальности обработки информации, улучшении запоминания, распознавания и извлечения сигналов из сети. Способ интеллектуальной обработки информации в нейронной сети заключается в подаче в двухслойную сеть с обратными связями сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с учетом их текущих состояний, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, причем сдвиги совокупностей единичных образов вдоль слоев осуществляют с изменяемыми параметрами сдвигов и продвигают совокупности единичных образов вдоль слоев по спирали с изменяемым диаметром. 7 ил., 1 табл.
Способ интеллектуальной обработки информации в нейронной сети, заключающийся в подаче в двухслойную сеть с обратными связями, замыкающими двухслойные контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с учетом их текущих состояний, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, отличающийся тем, что сдвиги совокупностей единичных образов вдоль слоев осуществляют с изменяемыми параметрами сдвигов и продвигают совокупности единичных образов вдоль слоев по спирали с изменяемым диаметром.
| RU 2000111888 A, 27.03.2002 | |||
| US 6363369 B1, 26.03.2002 | |||
| УСТРОЙСТВО ДЛЯ МОДЕЛИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ | 1990 |
|
RU2045778C1 |
| US 7092923 B2, 15.08.2006. | |||
