СПОСОБ ИНТЕЛЛЕКТУАЛЬНОЙ ОБРАБОТКИ ИНФОРМАЦИИ В НЕЙРОННОЙ СЕТИ Российский патент 2015 года по МПК G06N3/02 

Изобретение относится к моделированию функциональных аспектов человека и может найти применение в вычислительной технике при построении интеллектуальных машин и систем.

Известны способы интеллектуальной обработки информации в нейронной сети, применяемые для распознавания образов, обработки речи, прогнозирования, ассоциативного управления и решения других творческих задач (Хайкин С. Нейронные сети: полный курс, 2-е издание.: Пер. с англ. М.: Издательский дом «Вильямс», 2006. - 1104 с.; Галушкин А.И. Теория нейронных сетей. Кн. 1: Учебное пособие для вузов / Общая ред. А.И. Галушкина. - М.: ИПРЖР, 2000. - 416 с.).

Однако для этих способов характерны узкие возможности по запоминанию структурно сложных изменяющихся во времени сигналов, их распознаванию, ассоциированию с другими сигналами, извлечению из памяти сети и воспроизведению в исходной форме.

Наиболее близким аналогом изобретения является способ интеллектуальной обработки информации в двухслойной нейронной сети с обратными связями, замыкающими двухслойные контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения. Согласно ему сигнал подают в сеть после разложения на составляющие в базисе, согласованном с входным слоем сети. При этом каждую составляющую перед подачей в сеть преобразуют в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей. Сигнал представляют в сети в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания. При передаче совокупностей единичных образов от слоя к слою их сдвигают вдоль слоев с изменяемыми параметрами сдвигов с учетом текущих состояний слоев. Продвигают совокупности единичных образов вдоль слоев по спирали с изменяемым диаметром. Результаты распознавания запоминают на элементах сети. В качестве результатов обработки используют последовательные совокупности единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы (Патент RU 2427914 С1, 27.08.2011; Осипов В.Ю. Рекуррентная нейронная сеть со спиральной структурой слоев // Информационно-управляющие системы. 2012. №6. С.28-32).

За счет спиральной схемы продвижения совокупностей единичных образов вдоль слоев, присущей этому способу, удается реализовать встречное продвижение совокупностей по смежным полувиткам спирали и обеспечить между встречными совокупностями выраженное по пространству и времени ассоциативное взаимодействие.

Однако согласно этому способу между единичными образами в пределах отдельных совокупностей и между совокупностями, продвигающимися в одном направлении в пределах одного полувитка спирали, ассоциативное взаимодействие остается слабо выраженным. Присутствует высокая избыточность запоминания одних и тех же результатов распознавания сигналов на элементах сети.

Эти недостатки ограничивают возможности сети по объему запоминания различных сигналов, их распознаванию, ассоциативному вызову их из памяти. В целом это ограничивает функциональные возможности способа по интеллектуальной обработке информации.

Задачей изобретения является расширение функциональных возможностей по интеллектуальной обработке информации в нейронной сети.

Технический результат от использования изобретения заключается в повышении интеллектуальности обработки информации в нейронной сети, улучшении распознавания, запоминания сигналов и извлечения их из сети.

Поставленная задача решается тем, что в известном способе интеллектуальной обработки информации в нейронной сети, заключающемся в подаче в двухслойную сеть с обратными связями, замыкающими двухслойные контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с изменяемыми параметрами сдвигов с учетом текущих состояний слоев, продвижении совокупностей единичных образов вдоль слоев по спирали с изменяемым диаметром, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, согласно изобретению представляют сигнал в виде последовательных совокупностей единичных образов, разделенных на пары частных совокупностей этих образов, частные совокупности единичных образов из каждой такой пары продвигают вдоль слоев сети по двойной спирали с изменяемым диаметром и скручивают попарно последовательности частных совокупностей единичных образов.

Новым существенным признаком изобретения является то, что сигнал представляют в виде последовательных совокупностей единичных образов, разделенных на пары частных совокупностей этих образов.

Другим новым существенным признаком изобретения выступает то, что частные совокупности единичных образов из каждой пары этих совокупностей продвигают вдоль слоев сети по двойной спирали с изменяемым диаметром и скручивают попарно последовательности частных совокупностей единичных образов.

За счет этого увеличивается уровень ассоциативного взаимодействия сигналов и их элементов в сети, уменьшается избыточность запоминания одних и тех же результатов распознавания сигналов. Это позволяет улучшить распознавание и запоминание сигналов, извлечение их из памяти, расширить функциональные возможности по интеллектуальной обработке информации в нейронной сети.

Сущность изобретения поясняется фиг.1÷7.

На фиг.1 приведена структурная схема двухслойной рекуррентной нейронной сети, реализующей предложенный способ, где 1, 5 - первый, второй слои нейронов; 2, 6 - первый, второй блоки единичных задержек; 3, 4 - первый, второй блоки динамических синапсов; 7 - блок управления синапсами.

На фиг.2 показан пример продольной спиральной структуры двухслойной нейронной сети, на вход которой поступают последовательные совокупности единичных образов. Стрелками на фиг.2 отражены направления продвижения совокупностей вдоль слоев. Параметры d, 2q - это величины единичных сдвигов совокупностей, соответственно, по координатам X, Y.

На фиг.3 приведены разрезы сети (фиг.2) по двум слоям по первой (фиг.3а), второй (фиг.3б), третьей (фиг.3в) строкам и вид сбоку (фиг.3г) на слои. Стрелками на фиг.3а, б, в, г показаны направления продвижения совокупностей единичных образов между слоями.

На фиг.4 отражен пример продольной логической структуры двухслойной нейронной сети с продвижения частных совокупностей единичных образов вдоль слоев сети по двойной спирали с изменяемым диаметром, где стрелками показаны направления продвижения частных совокупностей вдоль первого слоя. Штрихпунктирные стрелки отражают продвижение совокупностей под пересекаемыми полями. Параметры d, q - величины единичных сдвигов совокупностей, соответственно, по координатам X, Y.

На фиг.5 приведены разрезы этой сети (фиг.4) по двум слоям по первой (фиг.5а), второй (фиг.5б), третьей (фиг.5в), четвертой (фиг.5г) строкам и вид сбоку (фиг.5д). Стрелками на фиг.5а, б, в, г, д отражены направления продвижения совокупностей единичных образов между слоями.

На фиг.6 показаны приросты ΔW суммарного веса синапсов сети на каждом шаге t ее функционирования относительно предыдущего шага на одном полувитке спирали при использовании известного решения (кривая 1) и предлагаемого способа (кривая 2) для случая обработки одной совокупности единичных образов.

На фиг.7 приведены приросты ΔW на одном полувитке спирали для случая обработки двух последовательных совокупностей единичных образов известным способом (кривая 1) и предлагаемым способом (кривая 2).

Способ осуществляется следующим образом.

Рассмотрим его на примере нейронной сети, структурная схема которой представлена на фиг.1.

Входной сигнал, разложенный на составляющие в базисе, согласованном с первым слоем 1 сети, при этом каждая его составляющая преобразована в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, подают на этот слой. Перед подачей в сеть входные последовательности единичных образов предлагается разделять на группы и составлять из них пары групп. В результате в дискретном времени имеем последовательные совокупности единичных образов, разделенные на пары частных совокупностей этих образов.

После подачи на первый слой нейронов такого сигнала на его выходе присутствуют пары частных совокупностей единичных образов, несущие всю информацию о сигнале.

После задержки в первом блоке единичных задержек 2 (фиг.1) пары частных совокупностей единичных образов поступают на первый блок динамических синапсов 3. Каждый единичный образ из текущих частных совокупностей подается одновременно в первом блоке динамических синапсов 3 на совокупность своих динамических синапсов, обеспечивающих связь каждого нейрона, породившего единичный образ, в общем случае со всеми нейронами второго слоя нейронов 5.

Амплитуда единичного образа на выходе каждого синапса равна амплитуде входного единичного образа, умноженной на вес w_ij(t) синапса. Веса w_ij(t) синапсов определяются через произведение их весовых коэффициентов k_ij(t) и функций ослабления β(r_ij(t)), w_ij(t)=k_ij(t)·β(r_ij(t)). Весовые коэффициенты, k_ij(t), изменяются в зависимости от воздействий на синапсы единичных образов и выступают в качестве элементов долговременной памяти сети. При прохождении единичных образов через синапсы они снимают с них информацию о предыдущих воздействиях и оставляют информацию о своем появлении через изменения весовых коэффициентов. Значения весовых коэффициентов могут быть определены по известным правилам (Осипов В.Ю. Ассоциативная интеллектуальная машина // Информационные технологии и вычислительные системы. 2010. №2. С.59-67).

Каждая из связей (синапсов) имеет свое значение функции ослабления β_ij(r_ij) единичных образов, зависящее от r_ij - удаленности связываемых через синапсы нейронов (расстояний между ними на плоскости X, Y). Полагается, что расстояние между взаимодействующими слоями нейронной сети стремится к нулю.

Функция β(r_ij) может определяться как:

где h - степень корня, чем она выше, тем шире ассоциативное пространственное взаимодействие в сети; α - положительный постоянный коэффициент; N - число нейронов в каждом слое сети.

Входящую в (1) величину r_ij в единицах нейронов с учетом возможных пространственных сдвигов совокупностей единичных образов вдоль слоев сети можно выразить в виде:

где Δx_ij, Δy_ij - проекции связи j-го нейрона с i-м на оси X, Y без учета пространственных сдвигов; d, q - величины единичных сдвигов, соответственно, по координатам X, Y; L, М - число, соответственно, столбцов и строк, на которые разбивается каждый слой нейронной сети за счет сдвигов.

Изменяя Δx_ij, Δy_ij на соответствующие значения n_ij·d и m_ij·q, можно менять r_ij и направление продвижения частных совокупностей единичных образов вдоль слоев сети. Каждую частную совокупность можно продвигать по-своему.

Сдвиги частных совокупностей единичных образов вдоль слоев осуществляют через управление динамическими синапсами с блока управления синапсами 7. Для принятия решения в блоке управления синапсами о сдвиге очередной совокупности единичных образов в нем сначала анализируются состояния первого и второго слоя. В случае, когда на выходе первого или второго слоя имеет место совокупность единичных образов, которую нельзя передать на другой слой по коротким связям (синапсам с минимальными функциями β(r_ij(0)) ослабления единичных образов) из-за нахождения соответствующих нейронов этого слоя в состояниях невосприимчивости, осуществляют сдвиг этой совокупности. В случае, когда нет препятствий для передачи совокупности единичных образов по коротким связям, сдвиг ее не осуществляют.

В общем случае смещенные частные совокупности единичных образов с выхода первого блока динамических синапсов 3 поступают на вход второго слоя нейронов 5.

Заметим, что все единичные образы, поступившие на один и тот же нейрон по различным синапсам, суммируются. При превышении этой суммы заданного порога возбуждения нейрона он возбуждается и на его выходе формируется единичный образ. Затем имеющаяся сумма обнуляется, а сам нейрон затем переходит в состояние невосприимчивости входных сигналов. В нем он находится заданное время, одинаковое для всех нейронов сети, которое больше суммарной задержки единичных образов в блоках 1, 2, 3, 5, 6, 4, входящих в двухслойный многопучковый контур нейронной сети.

Частные совокупности единичных образов с выхода второго слоя 5, после задержки в блоке 6, поступают на второй блок динамических синапсов 4. В блоке 4 они аналогичным образом, как и в блоке 3, обрабатываются и, сдвинутые вдоль первого слоя в зависимости от состояний первого и второго слоев, поступают на второй вход первого слоя нейронов 1.

С учетом этого поступающие на первый слой нейронов 1 прямые и обратные частные совокупности единичных образов в нем корректно связываются, распознаются и порождают на его выходе новые частные совокупности единичных образов, несущие в себе информацию как о текущих, так и ранее запомненных сетью сигналах, связанных с первыми.

Согласно изобретению за счет соответствующих сдвигов частных совокупностей единичных образов вдоль слоев предлагается частные совокупности единичных образов из каждой сформированной пары продвигать вдоль слоев сети по двойной спирали с изменяемым диаметром и скручивать попарно последовательности частных совокупностей единичных образов.

На фиг.4 приведен пример продольной структуры двухслойной нейронной сети с таким продвижением частных совокупностей вдоль слоев. Согласно фиг.4 входные совокупности, разделенные на пары частных совокупностей единичных образов, подают в сеть. Причем нечетные частные совокупности единичных образов подают на вход 1.1 и продвигают по первой строке слева направо, а четные частные совокупности подают на вход 1.2 и продвигают по второй строке справа налево. В целом эти совокупности продвигают по двойной спирали в виде скрутки двух последовательностей совокупностей единичных образов (фиг.4, 5). В соответствии с (1) наибольшее ассоциативное взаимодействие частных совокупностей друг с другом наблюдается тогда, когда расстояние между этими совокупностями становится минимальным. В отличие от известного способа, реализуемого нейронной сетью с известной спиральной структурой (фиг.2, 3), в предлагаемом способе осуществляется не только выраженное ассоциативное взаимодействие совокупностей, продвигающихся по различным полувиткам одной спирали, но и выраженное по пространству и времени ассоциативное взаимодействие между совокупностями единичных образов, продвигающимися по различным спиралям. Это позволяет сосредоточенно запоминать на элементах сети результаты распознавания сигналов, а не ″размазывать″ их по всей сети. В итоге, при одних и тех же размерах, сеть способна запоминать больше сигналов и обеспечивать их извлечение из памяти, лучше распознавать обрабатываемые сигналы.

За счет приоритетности коротких связей в нейронной сети между входами и выходами сети легко устанавливается однозначное соответствие между составляющими входных и выходных сигналов.

С учетом этого соответствия по номерам нейронов, формируемых последовательности единичных образов на выходах устройства, определяют частотные и пространственные характеристики составляющих исходного сигнала. По частотам следования и относительным задержкам единичных образов, соответственно, устанавливают амплитуды и фазы составляющих исходного сигнала. Затем воспроизводят составляющие исходных сигналов и путем их сложения восстанавливают исходные, например речевые, зрительные и другие сигналы. Для определения амплитуд составляющих исходного сигнала определяют текущее число единичных образов, попадающих в предварительно заданный интервал времени. Для воспроизведения составляющих исходных сигналов применим, например, их цифровой синтез по известным параметрам.

Для подтверждения преимуществ предлагаемого решения по сравнению с прототипом проводилось математическое моделирование. Были разработаны программные модели нейронных сетей, реализующих известный и предлагаемый способы. В модели известной сети со спиральной структурой формировался один полный виток продвижения совокупностей единичных образов вдоль слоев. Каждый слой этой сети за счет пространственных сдвигов совокупностей единичных образов, передаваемых от слоя к слою, разбивался на две строки по 25 полей. Размер полей 6×8 нейронов.

В модели сети, реализующей предлагаемый способ, число нейронов было таким же, как и в первой модели. Однако каждый слой этой сети разбивались на четыре строки по 25 полей. Размер полей 6×4 нейрона. Две строки приходились на виток одной, а другие две - на виток другой спирали. За счет этого обеспечивалась скрутка двух частных последовательностей единичных образов.

Сопоставлялись результаты ассоциативного взаимодействия сигналов, полученные с помощью этих моделей. Результаты моделирования приведены на фиг.6, 7.

Из анализа фиг.6 видно, что при использовании известного способа после вводе в сеть одной неразделенной совокупности единичных образов наблюдается скачок прироста ΔW суммарного веса синапсов до значения 0,019 (кривая 1). Затем значение прироста веса синапсов на каждом шаге функционирования сети относительно предыдущего шага в пределах полувитка спирали не изменяется. Это свидетельствует о том, что на различных элементах сети запоминается одна и та же схема пространственно-временных связей между единичными образами. Присутствует высокая неоправданная избыточность запоминания результатов распознавания сигналов.

При использовании предлагаемого способа в начале обработки также присутствует скачек прироста ΔW суммарного веса синапсов, но лишь до значения 0,015 (фиг.6, кривая 2), а не до 0,019. Максимум этого прироста приходится на момент встречи двух частных совокупностей, продвигающихся навстречу друг другу по смежным более узким строкам.

Анализ фиг.7 показывает, что при обработке двух последовательных совокупностей единичных образов ситуация аналогична предыдущей. Только в начале обработки присутствует не один, а два скачка прироста ΔW, обусловленные вводом в сеть первой и второй последовательностей единичных образов. В этой ситуации, судя по результатам использования известного способа (фиг.7, кривая 1), недостатки проявляются еще сильнее, чем в предыдущем случае (фиг.6, кривая 1). При использовании предлагаемого способа максимумы ассоциативного взаимодействия сигналов приходятся на моменты минимизации расстояний между частными совокупностями единичных образов (фиг.7, кривая 2). В другие моменты времени уровни такого взаимодействия существенно ниже. При этом наблюдаемые на фиг.6, 7 (кривые 2) всплески свидетельствуют о ярко выраженном по пространству и времени ассоциативном взаимодействии обрабатываемых сигналов в рекуррентной нейронной сети со структурой слоев в виде двойной спирали.

Из этих результатов следует, что предлагаемый способ обладает меньшей избыточностью запоминания результатов распознавания сигналов. Результаты распознавания сигналов лучше выражены по пространству и времени через изменение параметров сети. В целом это расширяет возможности по интеллектуальной обработке информации в нейронной сети, по распознаванию и запоминанию сигналов, извлечению их из памяти.

Предлагаемый новый способ интеллектуальной обработки информации в нейронной сети может быть реализован с использованием известной элементной базы. В качестве нейронов слоев и элементов единичных задержек в блоках единичных задержек нейронной сети, реализующей способ, применимы ждущие мультивибраторы. При этом ждущие мультивибраторы в блоках единичных задержек следует запускать не по переднему, а заднему фронту входного импульса. Блоки динамических синапсов и блок управления ими могут быть реализованы специализированными процессорами, программируемыми интегральными схемами, функционирующими в соответствии с рассмотренными выше правилами.

Способ можно реализовать также путем эмулирования двухслойной рекуррентной нейронной сети с управляемыми синапсами на современных вычислительных машинах.

Изобретение относится к моделированию функциональных аспектов человека и может найти применение в вычислительной технике при построении интеллектуальных машин и систем. Техническим результатом является повышение интеллектуальности обработки информации, улучшение запоминания, распознавания и извлечения сигналов из сети. Сущность способа состоит в том, что при интеллектуальной обработке информации в двухслойной рекуррентной нейронной сети с управляемыми синапсами сигнал представляют в виде последовательных совокупностей единичных образов, разделенных на пары частных совокупностей этих образов. Частные совокупности единичных образов из каждой такой пары продвигают вдоль слоев сети по двойной спирали с изменяемым диаметром. 7 ил.

Способ интеллектуальной обработки информации в нейронной сети, заключающийся в подаче в двухслойную сеть с обратными связями, замыкающими двухслойные контуры с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с изменяемыми параметрами сдвигов с учетом текущих состояний слоев, продвижении совокупностей единичных образов вдоль слоев по спирали с изменяемым диаметром, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, отличающийся тем, что представляют сигнал в виде последовательных совокупностей единичных образов, разделенных на пары частных совокупностей этих образов, частные совокупности единичных образов из каждой такой пары продвигают вдоль слоев сети по двойной спирали с изменяемым диаметром.