СПОСОБ ИНТЕЛЛЕКТУАЛЬНОЙ ОБРАБОТКИ ИНФОРМАЦИИ В НЕЙРОННОЙ СЕТИ Российский патент 2013 года по МПК G06N3/02 

Изобретение относится к бионике, моделированию функциональных аспектов человека и может найти применение в вычислительной технике при построении интеллектуальных машин и систем.

В настоящее время известны способы интеллектуальной обработки информации в нейронной сети, применяемые для аппроксимации, классификации, распознавания образов, обработки речи, прогнозирования, идентификации, оценивания производственных процессов, ассоциативного управления и для решения других творческих задач (Хайкин С. Нейронные сети: полный курс, 2-е издание.: Пер. с англ. - М.: Издательский дом «Вильяме», 2006. - 1104 с.; Галушкин А.И. Теория нейронных сетей. Кн.1: Учебное пособие для вузов / Общая ред. А.И.Галушкина. - М.: ИПРЖР, 2000. - 416 с.).

Однако этим способам характерны узкие возможности по запоминанию структурно-сложных изменяющихся во времени сигналов, их распознаванию, ассоциированию с другими сигналами, извлечению из памяти сети и воспроизведению в исходной форме. Эти способы не позволяют при обработке информации решать широкий спектр задач одной и той же нейронной сетью.

Наиболее близким аналогом изобретения является способ интеллектуальной обработки информации в двухслойной нейронной сети с обратными связями, замыкающими двухслойные контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения. Согласно ему сигнал подают в сеть после разложения на составляющие в базисе, согласованном с входным слоем сети. При этом каждую составляющую перед подачей в сеть преобразуют в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей. Сигнал представляют в сети в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания. При передаче совокупностей единичных образов от слоя к слою их сдвигают вдоль слоев с учетом текущих состояний последних. Результаты распознавания запоминают на элементах сети. В качестве результатов обработки используют последовательные совокупности единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы (Осипов В.Ю. Ассоциативная интеллектуальная машина / Информационные технологии и вычислительные системы. №2, 2010, С.59 -67).

Недостатком этого способа является то, что совокупности единичных образов передают от слоя к слою без изменения ориентации распределения плотности мощности в поперечных сечениях расходящихся единичных образов. Это не позволяет изменять направления ассоциативного взаимодействия совокупностей единичных образов при фиксированных сдвигах совокупностей единичных образов вдоль слоев. Не предоставляются возможности: варьирования глубиной обращения к памяти сети, усиления и ослабления циклического вызова одних сигналов другими. Нет возможности изменять уровень вызова из памяти сети предшествующих сигналов.

Под ориентацией распределения плотности мощности в поперечном сечении расходящегося единичного образа понимается угол между осью Х системы координат X, Y и главной осью распределения плотности мощности, ближайшей к оси X. К главным осям распределения плотности мощности относятся оси максимальной и минимальной протяженности распределения плотности мощности в поперечном сечении расходящегося единичного образа (своеобразного пучка).

Задачей изобретения является расширение функциональных возможностей по интеллектуальной обработке информации в нейронной сети.

Технический результат от использования изобретения заключается в повышении интеллектуальности обработки информации в нейронной сети, улучшении избирательности по запоминанию, распознаванию сигналов и извлечению их из памяти сети.

Поставленная задача решается тем, что в известном способе интеллектуальной обработки информации в нейронной сети, заключающемся в подаче в двухслойную сеть с обратными связями, замыкающими двухслойные контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с учетом их текущих состояний, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, согласно изобретению при передаче совокупностей единичных образов от слоя к слою единичные образы поворачивают вокруг направлений их передачи с учетом текущих состояний слоев.

Новым существенным признаком изобретения является то, что при передаче совокупностей единичных образов от слоя к слою предлагается поворачивать единичные образы вокруг направлений их передачи с учетом текущих состояний слоев.

Это позволяет изменять направления ассоциативного взаимодействия совокупностей единичных образов в сети и с элементами самой сети, варьировать глубиной обращения к памяти сети, усиливать и ослаблять циклический вызов одних сигналов другими, изменять уровень вызова из памяти сети предшествующих сигналов.

В целом это расширяет функциональные возможности по интеллектуальной обработке информации в нейронной сети.

Сущность изобретения поясняется фиг.1÷5.

На фиг.1 приведена структурная схема двухслойной рекуррентной нейронной сети, реализующей предложенный способ, где 1, 5 - первый, второй слои нейронов; 2, 6 - первый, второй блоки единичных задержек; 3, 4 - первый, второй блоки динамических синапсов; 7 - блок управления синапсами.

На фиг.2 представлена схема, поясняющая особенности управления динамическими синапсами нейронов в этой нейронной сети (фиг.1) для осуществления сдвигов совокупностей единичных образов вдоль слоев нейронов и поворачивания единичных образов вокруг направлений их передачи с учетом текущих состояний слоев, где 1.1÷1.n, 5.1÷5.n - нейроны, соответственно, первого и второго слоев; 2.1÷2.n, 6.1÷6.n - элементы единичных задержек, соответственно, первого и второго блоков единичных задержек; 3.1÷3.m, 4.1÷4.m - динамические синапсы соответственно первого и второго блоков динамических синапсов; 7 - блок управления синапсами.

На фиг.3, а, б показан пример логической структуры нейронной сети с продвижением совокупностей единичных образов вдоль ее слоев, где 1 - эллиптическая форма поперечных сечений расходящихся единичных образов с отражением ориентации 2 распределения плотности мощности; 3 - стрелки, показывающие направления продвижения совокупностей единичных образов вдоль слоев. За счет сдвигов совокупностей единичных образов вдоль слоев последние разбиваются на логические поля. Вид спереди на эту структуру нейронной сети приведен на фиг.3, а. Вид сверху на первый слой нейронной сети с отражением на нем ее логической структуры показан на фиг.3, б. На фиг.3, б показано, что единичные образы, принадлежащие совокупностям первой, второй и третьей строкам при передаче от первого ко второму слою и наоборот расходятся и их поперечные формы (сечения) имеют эллиптический вид. Однако этим формам присуща своя ориентация распределения плотности мощности в поперечных сечениях расходящихся единичных образов.

Фиг.4 поясняет влияние поворотов единичных образов вокруг направлений их передачи на ассоциативное связывание совокупностей единичных образов друг с другом и элементами сети, где 1 - нейроны передающего слоя; 2 - направления передачи единичных образов по синапсам с наименьшим ослаблением; 3 - векторы ориентации распределения плотности мощности в поперечных сечениях расходящихся единичных образов; 4 - стрелки, показывающие возможность поворота этих векторов ориентации, что эквивалентно поворотам единичных образов вокруг направлений их передачи; 5 - нейроны принимающего слоя, в направлении которых от соответствующих нейронов передающего слоя передаются расходящиеся единичные образы; 6 - сглаженные эллиптические формы, свойственные поперечным сечениям на предварительно заданном уровне расходящихся единичных образов, принадлежащих их одной совокупности. Полагается, что каждый нейрон одного слоя связан в общем случае со всеми нейронами другого слоя. Величина этой связи с увеличением расстояния между нейронами убывает.

На фиг.5 поясняется угол χ, характеризующий направление, которому присуще значение коэффициента направленности G(χ) принятой формы поперечного сечения расходящегося единичного образа; 1 - точка, через которую проходит направление единичного образа.

Способ осуществляется следующим образом.

Рассмотрим его на примере нейронной сети, структурная схема которой представлена на фиг.1.

Входной сигнал, разложенный на составляющие в базисе, согласованном с первым слоем 1 сети, при этом каждая его составляющая преобразована в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, подают на этот слой.

После подачи на первый вход первого слоя нейронов такого сигнала на его выходе имеют место последовательные совокупности единичных образов, несущие всю информацию о входном сигнале.

После задержки в первом блоке единичных задержек 2 последовательные совокупности единичных образов поступают на первый блок динамических синапсов 3. Каждый единичный образ из текущей совокупности подается одновременно в первом блоке динамических синапсов 3 на совокупность своих динамических синапсов, обеспечивающих связь каждого нейрона, породившего единичный образ в общем случае со всеми нейронами второго слоя нейронов 5. За счет такого разветвления каждый единичный образ преобразуется в расходящийся пучек.

Особенность динамических синапсов сети в следующем. Амплитуда единичного образа на выходе каждого синапса равна амплитуде входного единичного образа, умноженной на вес w_ij(t) синапса. Веса w_ij(t) синапсов определяются через произведение их весовых коэффициентов k_ij(t) и функций ослабления β(r_ij(t)),

w_ij(t)=k_ij(t)·β(r_ij(t)).

Весовые коэффициенты, k_ij(t), изменяются в зависимости от воздействий на синапсы единичных образов и выступают в качестве элементов долговременной памяти сети. При прохождении единичных образов через синапсы они снимают с них информацию о предыдущих воздействиях и оставляют информацию о своем появлении через изменения весовых коэффициентов. Значения весовых коэффициентов могут быть определены по известным правилам (Осипов В.Ю. Ассоциативная интеллектуальная машина / Информационные технологии и вычислительные системы. №2, 2010, С.59-67; Осипов В.Ю. Стирание устаревшей информации в ассоциативных интеллектуальных системах / Мехатроника, автоматизация, управление. №3, 2012, С.16-20).

Каждая из связей (синапсов) имеет свое значение функции ослабления β_ij(t) единичных образов, зависящее от r_ij(t) - удаленности связываемых через синапсы нейронов (расстояний между ними на плоскости X, Y). Полагая, что расстояние между взаимодействующими слоями нейронной сети стремится к нулю, функция β_ij(r_ij) может определяться как:

где h - степень корня, чем она выше, тем шире ассоциативное пространственное взаимодействие в сети; α - положительный коэффициент; N - число нейронов в каждом слое сети.

Входящую в (1) величину r_ij в единицах нейронов с учетом возможных пространственных сдвигов совокупностей единичных образов вдоль слоев сети можно выразить в виде:

n_ij=±0, 1, …, L-1; m_ij=±0, 1, …, M-1;

Δx_ij, Δy_ij - проекции связи j-го нейрона с i-м на оси X, Y без учета пространственных сдвигов; d, q - величины единичных сдвигов, соответственно, по координатам X, Y; L, М - число, соответственно, столбцов и строк, на которые разбивается каждый слой нейронной сети за счет сдвигов.

Изменяя Δх_ij, Δy_ij на соответствующие значения n_ij·d и m_ij·q, можно менять r_ij и направление потока совокупностей единичных образов вдоль слоев сети.

Такие сдвиги совокупностей единичных образов вдоль слоев реализуются через управление динамическими синапсами с блока управления синапсами 7.

Для принятия решения в блоке управления синапсами о сдвиге очередной совокупности единичных образов в нем сначала анализируются состояния первого и второго слоев. В случае, когда на выходе первого или второго слоя имеет место совокупность единичных образов, которую нельзя передать на другой слой по коротким связям (синапсам с минимальными функциями β(r_ij(0)) ослабления единичных образов) из-за нахождения соответствующих нейронов этого слоя в состояниях невосприимчивости, осуществляют сдвиг этой совокупности. В случае, когда нет препятствий для передачи совокупности единичных образов по коротким связям, сдвиг ее не осуществляют.

В общем случае смещенные совокупности единичных образов с выхода первого блока динамических синапсов 3 поступают на вход второго слоя нейронов 5.

Заметим, что все единичные образы, поступившие на один и тот же нейрон по различным синапсам, суммируются. При превышении этой суммы заданного порога возбуждения нейрона он возбуждается и на его выходе формируется единичный образ. Затем указанная сумма обнуляется, а сам нейрон затем переходит в состояние невосприимчивости входных сигналов. В нем он находится заданное время, одинаковое для всех нейронов сети, которое больше суммарной задержки единичных образов в блоках 1, 2, 3, 5, 6, 4, входящих в двухслойный многопучковый контур нейронной сети.

Последовательные совокупности единичных образов с выхода второго слоя 5, после задержки в блоке 6, поступают на второй блок динамических синапсов 4. В блоке 4 они аналогичным образом, как и в блоке 3, обрабатываются и, сдвинутые вдоль первого слоя в зависимости от состояний первого и второго слоев, поступают на второй вход первого слоя нейронов 1.

С учетом этого поступающие на первый слой нейронов 1 прямые и обратные совокупности единичных образов в нем корректно связываются, распознаются и порождают на его выходе новые совокупности единичных образов, несущие в себе информацию как о текущих, так и ранее запомненных сетью сигналах, связанных с первыми. При этом за счет соответствующих сдвигов совокупностей единичных образов вдоль слоев исключается наложение обратных результатов распознавания на прямые совокупности.

За счет приоритетности коротких связей в нейронной сети между входом и выходом сети легко устанавливается однозначное соответствие между составляющими входных и выходных сигналов.

С учетом этого соответствия по номерам нейронов, формируемых последовательности единичных образов на выходе устройства, определяют частотные и пространственные характеристики составляющих исходного сигнала. По частотам следования и относительным задержкам единичных образов, соответственно, устанавливают амплитуды и фазы составляющих исходного сигнала. Затем воспроизводят составляющие исходных сигналов и путем их сложения восстанавливают исходные, например речевые, зрительные и другие сигналы. Для определения амплитуд составляющих исходного сигнала определяют текущее число единичных образов, попадающих в предварительно заданный интервал времени. Для воспроизведения составляющих исходных сигналов применим, например, их цифровой синтез по известным параметрам.

Согласно изобретению при передаче совокупностей единичных образов от слоя к слою предлагается поворачивать единичные образы вокруг направлений их передачи с учетом текущих состояний слоев. Повороты единичных образов сводятся к изменению ориентации распределения плотности мощности в поперечных сечениях расходящихся единичных образов (фиг.4). Из анализа фиг.4 видно, что для различных поворотов единичных образов вокруг направлений их передачи характерны свои области ассоциативного взаимодействия с другими сигналами и элементами сети. Например, если осуществить повороты двух единичных образов вокруг направлений их передачи на 90° (фиг.4), то и приоритетным направлением ассоциативного взаимодействия единичных образов и соответственно их совокупностей будет направление 90°.

С технической точки зрения эти повороты осуществимы за счет специального изменения параметров ослабления единичных образов на синапсах в блоках 3 и 4 нейронной сети (фиг.1) по командам с блока управления синапсами.

С формальной точки зрения это достижимо путем изменения коэффициента α, входящего в функцию ослабления (1), в зависимости от текущих состояний слоев. Для изменения этого коэффициента предлагается учитывать направления от нейронов передающего слоя к нейронам принимающего слоя.

Эти направления могут быть определены через соответствующие углы. Например, зная координаты i-го нейрона передающего слоя, а также пространственный сдвиг, можно найти координаты нейрона принимающего слоя, в направлении которого передается расходящийся единичный образ, а также координаты нейронов этого слоя, в направлении которых этот образ расходится. По этим координатам в плоскости X, Y можно найти углы, соответствующие направлениям на нейроны принимающего слоя от нейрона этого слоя, в направлении которого передается расходящийся единичный образ. Обозначим этот угол через φ_ij. Принимая во внимание, что сдвиг не влияет на значение φ_ij, этот угол с учетом (2) может быть определен как

где Δx_ij, Δy_ij - расстояния между соответствующими нейронами в плоскости X, Y принимающего слоя.

Для реализации предлагаемого способа можно задаться одной или несколькими видами форм поперечных сечений расходящихся единичных образов с явно выраженными направленными свойствами, с присущими главными осями максимальной и минимальной протяженности распределения плотности мощности. Пусть для примера это будет одна эллиптическая форма, приведенная на фиг.5. Поставим каждому значению угла χ на фиг.5, например, через каждые 10 градусов свое значение коэффициента G(χ) по модулю. Эти данные могут выступать в качестве базовых для определения значения коэффициента α в (1). Если все поперечные сечения расходящихся единичных образов ориентированы по оси Y, то α можно рассчитать по формуле

в которой угол χ принимается равным φ_ij; ϑ - постоянная положительная величина. Угол φ_ij определяется согласно (3). При необходимости осуществления поворота по часовой стрелке, изменения ориентации распределения плотности мощности в поперечных сечениях расходящихся единичных образов на угол ψ, угол χ принимается равным φ_ij+ψ.

В итоге изменяя определенным образом функции ослабления синапсов наряду со сдвигами совокупностей единичных образов вдоль слоев можно осуществлять повороты единичных образов вокруг направлений их передачи.

Поворачивать единичные образы вокруг направлений их передачи в зависимости от текущих состояний слоев можно в соответствии с предварительно заданными правилами. Например, это могут быть жесткие правила, согласно которым повороты единичных образов в совокупностях при передаче их от слоя к слою осуществляются на предварительно заданные углы только тогда, когда они формируются заданными полями, строками или столбцами нейронов в слоях сети.

Осуществимо также управление поворотами единичных образов вокруг направлений их передачи в зависимости от числа ассоциативно вызываемых из памяти сети единичных образов из стремления максимизировать это число.

Если ориентировать распределения плотности мощности в поперечных сечениях расходящихся единичных образов, которые в ближайшее время могут покинуть сеть, в направлении центра сети, то можно усилить циклический вызов одних сигналов другими из ее памяти. Если повернуть эти расходящиеся единичные образы так, что распределения плотности мощности в их поперечных сечениях будут ориентированы на выход сети, циклический вызов будет сведен к минимуму.

Таким образом, предлагаемый способ по сравнению с аналогами обладает более широкими функциональными возможностями по интеллектуальной обработке информации в нейронной сети. Он позволяет повысить интеллектуальность обработки информации в нейронной сети, улучшить избирательность по запоминанию, распознаванию сигналов и извлечению их из памяти сети.

Для доказательства преимущества предлагаемого способа по сравнению с известными решениями исследовались ассоциативные возможности нейронной сети (фиг.1) с поворотами единичных образов вокруг направлений их передачи с учетом текущих состояний слоев при передаче совокупностей единичных образов от слоя к слою.

Была разработана программная модель нейронной сети, реализующей предлагаемый способ. Для разработки этой модели использовалась среда MatLab. Каждый слой нейронной сети состоял из 2100 нейронов. За счет пространственных сдвигов передаваемых совокупностей единичных образов от слоя к слою каждый слой разбивался на 50 логических полей по 42 нейрона в каждом. Последовательные совокупности единичных образов вводились в сеть через первое логическое поле, а снимались с последнего поля. Совокупности единичных образов продвигались вдоль слоев по спирали, как на фиг.3, б. Каждый слой сети содержал две строки по 25 полей нейронов. Исследование сводилось к оценке влияния поворота единичных образов вокруг направлений их передачи на возможности ассоциативного вызова из памяти сети запомненных сигналов. Такие повороты осуществлялись на 90° для единичных образов, формируемых нейронами второй строки первого и второго слоев. Результаты моделирования подтвердили, что повороты единичных образов вокруг направлений их передачи позволяют изменять ассоциативные свойства сети, улучшить избирательность по запоминанию, распознаванию сигналов и извлечению их из памяти, расширить возможности по интеллектуальной обработке информации.

Способ интеллектуальной обработки информации в нейронной сети может быть реализован с использованием известной элементной базы. В качестве нейронов слоев и элементов единичных задержек в блоках единичных задержек нейронной сети, реализующей способ, применимы ждущие мультивибраторы. При этом ждущие мультивибраторы в блоках единичных задержек следует запускать не по переднему, а заднему фронту входного импульса. Блоки динамических синапсов могут быть реализованы с применением управляемых аттенюаторов и мемристоров (резисторов с памятью). Блок управления синапсами может быть реализован специализированным процессором, программируемыми интегральными схемами, функционирующими в соответствии с рассмотренными выше правилами.

Способ можно реализовать также путем эмулирования двухслойной рекуррентной нейронной сети с управляемыми синапсами на современных вычислительных машинах.

Изобретение относится к бионике, моделированию функциональных аспектов человека и может найти применение в вычислительной технике при построении интеллектуальных машин и систем. Техническим результатом является повышение интеллектуальности обработки информации, улучшение избирательности по запоминанию, распознаванию сигналов и извлечению их из памяти сети. Сущность способа в том, что при интеллектуальной обработке информации в двухслойной рекуррентной нейронной сети с управляемыми синапсами при передаче совокупностей единичных образов от слоя к слою единичные образы поворачивают вокруг направлений их передачи с учетом текущих состояний слоев. 5 ил.

Способ интеллектуальной обработки информации в нейронной сети, заключающийся в подаче в двухслойную сеть с обратными связями, замыкающими двухслойные контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с учетом их текущих состояний, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, отличающийся тем, что при передаче совокупностей единичных образов от слоя к слою единичные образы поворачивают вокруг направлений их передачи с учетом текущих состояний слоев.