СПОСОБ ИНТЕЛЛЕКТУАЛЬНОЙ ОБРАБОТКИ ИНФОРМАЦИИ В НЕЙРОННОЙ СЕТИ Российский патент 2013 года по МПК G06N3/02 

Изобретение относится к бионике, моделированию функциональных аспектов человека и может найти применение в вычислительной технике при построении интеллектуальных машин и систем.

Известны многие способы интеллектуальной обработки информации в нейронной сети, применяемые для аппроксимации, классификации, распознавания образов, обработки речи, прогнозирования, идентификации, оценивания производственных процессов, ассоциативного управления и для решения других творческих задач (Хайкин С. Нейронные сети: полный курс, 2-е издание.: Пер. с англ. - М.: Издательский дом «Вильяме», 2006. - 1104 с.; Галушкин А.И. Теория нейронных сетей. Кн. 1: Учебное пособие для вузов / Общая ред. А.И.Галушкина. - М.: ИПРЖР, 2000. - 416 с.).

Однако всем им характерны узкие возможности по запоминанию структурно-сложных изменяющихся во времени сигналов, их распознаванию, ассоциированию с другими сигналами, извлечению из памяти сети и воспроизведению в исходной форме. Эти известные способы не позволяют при обработке информации решать широкий спектр задач одной и той же нейронной сетью. Они также обладают низкой устойчивостью.

Наиболее близким аналогом изобретения является способ интеллектуальной обработки информации в многослойной рекуррентной нейронной сети с обратными связями, замыкающими контура с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения. Согласно ему сигнал подают в сеть после разложения на составляющие в базисе, согласованном с входным слоем сети. При этом каждую составляющую перед подачей в сеть преобразуют в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей. Сигнал представляют в сети в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания. При передаче совокупностей единичных образов от слоя к слою их сдвигают вдоль слоев с учетом текущих состояний последних. Результаты распознавания запоминают на элементах сети. В качестве результатов обработки используют последовательные совокупности единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы (Осипов В.Ю. Ассоциативная интеллектуальная машина / Информационные технологии и вычислительные системы. №2, 2010, с.59-67).

Недостаток этого способа - это не высокая устойчивость обработки непрерывного потока сигналов, возможность перегрузки сети информацией с потерей всех запомненных результатов распознавания. Это ограничивает функциональные возможности способа по интеллектуальной обработке информации.

Задачей изобретения является расширение функциональных возможностей по интеллектуальной обработке информации в нейронной сети.

Технический результат от использования изобретения заключается в повышении интеллектуальности и устойчивости обработки информации в нейронной сети.

Поставленная задача решается тем, что в известном способе интеллектуальной обработки информации в нейронной сети, заключающемся в подаче в многослойную рекуррентную сеть с обратными связями, замыкающими контура с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с учетом текущих состояний слоев, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, согласно изобретению при передаче совокупностей единичных образов от слоя к слою их частично отражают от принимающего слоя к передающему слою и частично стирают с элементов сети этими частично отраженными совокупностями единичных образов запомненные результаты распознавания.

Для расширения функциональных возможностей по интеллектуальной обработке информации в нейронной сети автор изобретения предлагает при передаче совокупностей единичных образов от слоя к слою их частично отражать от принимающего слоя к передающему слою и частично стирать с элементов сети этими частично отраженными совокупностями единичных образов запомненные результаты распознавания, что является новым существенным признаком изобретения.

Сущность изобретения поясняется фиг.1÷4.

На фиг.1 приведена структурная схема двухслойной рекуррентной нейронной сети, реализующей предложенный способ, где 1, 5 - первый, второй слои нейронов; 2, 6 - первый, второй блоки единичных задержек; 3, 4 - первый, второй блоки динамических синапсов; 7 - блок управления синапсами.

На фиг.2 приведен рисунок, раскрывающий структурные особенности блоков нейронной сети (фиг.1), где 3.1÷3.m - динамические синапсы первого блока 3 динамических синапсов.

На фиг.3 приведена логическая структура первого слоя сети (разбитого на 50 логических полей по 25 в каждой строке) при обработке информации предлагаемым способом. Стрелками показаны направления продвижения совокупностей единичных образов вдоль слоя.

На фиг.4а для случая отсутствия частичного стирания запомненных результатов распознавания с элементов сети показаны зависимости суммарного веса W_Σ(t) синапсов от текущего времени t при условии, что через каждые четыре такта в сеть вводится очередная совокупность единичных образов из заданной последовательности, где 1 - для t=300÷600; 2 - для t=0÷300.

На фиг.46 показаны зависимости суммарного веса W_Σ(t) синапсов сети при таком же входном потоке, как и в предыдущем случае, но при частичном стирании с элементов сети запомненных результатов распознавания, где 1 - для t=300÷600; 2 - для t=0÷300.

Способ осуществляется следующим образом. Рассмотрим его на примере нейронной сети, структурная схема которой представлена на фиг.1.

Входной сигнал, разложенный на составляющие в базисе, согласованном с первым слоем 1 сети, при этом каждая его составляющая преобразована в последовательность единичных образов с частотой повторения, как предварительно заданной функцией от амплитуды составляющей, подают на этот слой.

После подачи на первый вход первого слоя нейронов такого сигнала на его выходе имеют место последовательные совокупности единичных образов, несущие всю информацию о входном сигнале.

После задержки в первом блоке единичных задержек 2 последовательные совокупности единичных образов поступают на первый блок динамических синапсов 3.

Каждый единичный образ из текущей совокупности подается одновременно в первом блоке динамических синапсов 3 на совокупность своих динамических синапсов, обеспечивающих связь каждого нейрона, породившего единичный образ, в общем случае со всеми нейронами второго слоя нейронов 5. При прохождении единичных образов через эти синапсы в прямом направлении они снимают с них информацию о предыдущих воздействиях и оставляют информацию о своем появлении через увеличение весов синапсов.

С выходов синапсов единичные образы подаются на входы нейронов второго слоя. Структурные особенности блоков нейронной сети (фиг.1) показаны на фиг.2.

Поступившие совокупности единичных образов на входы нейронов второго слоя 5 согласно изобретению частично отражаются от них. Это происходит за счет заряда и разряда конденсаторов С_5.1÷С_5.n (фиг.2). Эти частично отраженные совокупности поступают встречно на синапсы первого блока динамических синапсов и согласно изобретению частично стирают с них запомненные результаты распознавания, что проявляется в уменьшении весов синапсов. Не отраженные части совокупностей единичных образов непосредственно воздействуют на нейроны второго слоя и возбуждают их, если выполняются условия возбуждения.

Допустим, что количество заряда Q, переносимого от каждого элемента единичной задержки 2.1÷2.n (фиг.2), на которые поступают единичные образы (импульсы), к первому блоку динамических синапсов 3 постоянно, не зависит от того, как изменяются веса (проводимости) синапсов.

Тогда можно оперировать некоторой средней амплитудой тока , переносящего заряд Q за некоторый средний промежуток времени ,

С учетом этого амплитуду импульсного тока, проходящего в прямом направлении через каждый синапс первого блока динамических синапсов 3 относительно момента времени t, можно определить как

где w_ij(t) - прямые веса (проводимости) синапсов, связывающих i-е нейроны первого слоя с j-ми нейронами второго слоя; δ_i(t) - функция принимающая значение 1, когда i-й нейрон возбужден, и 0 - в других случаях; n - число нейронов в каждом слое.

На вход каждого j-го нейрона второго слоя нейронов 5 от возбужденных нейронов первого слоя 1 поступает суммарный импульсный ток

Поступающие на входы j-x нейронов единичные образы (импульсы) частично воспринимаются этими нейронами, имеющими входную проводимость w_вх, и частично отражаются к передающему слою с коэффициентом отражения

где - суммарный ток отражения единичных образов от j-го нейрона; z_jн - комплексное входное сопротивление нейрона. В частном случае оно может быть равно активному сопротивлению R_вх; z_jc(t) - волновое сопротивление цепи, связывающей входное сопротивление j-го нейрона с нейронами передающего слоя. В общем виде оно равно

где R_jΣ(t) - суммарное сопротивление синапсов цепи, связывающей входное сопротивление R_вх j-го нейрона с нейронами передающего слоя, - обратные веса (проводимости) синапсов; G_jΣ - суммарная проводимость, характерная этой цепи, как длинной линии; L, C - емкость и индуктивность этой цепи, как длинной линии; f - частота колебаний.

В частном случае при G_jΣ=0 и L=0,

τ_u - длительность единичного образа (импульса).

С учетом этого коэффициент отражения по току может быть равен

где

Из (5) видно, что изменение K_j(t) времени зависит только от изменения

Зная K_j(t) и I_jΣ(t), можно найти суммарный ток отражения единичных образов от j-го нейрона, Соответственно ток, протекающий через входное сопротивление j-го нейрона, равен

Токи, протекающие встречно через отдельные синапсы, можно определить как

При протекании тока через синапсы в обратном направлении частично стираются запомненные на них результаты распознавания. Назовем током стирания.

Особенность динамических синапсов сети в следующем. Веса (с электрической точки зрения проводимости) w_ij(t) синапсов определяются через произведение их весовых коэффициентов k_ij(t) и функций ослабления β(r_ij(t)). При этом различаются прямые

и обратные веса

синапсов.

Каждая из связей (синапсов) имеет свое значение функции ослабления β_ij(r_ij) единичных образов, зависящее от r_ij - удаленности связываемых через синапсы нейронов (расстояний между ними на плоскости одного из слоев. Полагается, что расстояние между взаимодействующими слоями нейронной сети стремится к нулю.

Функция β(r_ij) может определяться как:

где h - степень корня, чем она выше, тем шире ассоциативное пространственное взаимодействие в сети; α - положительный коэффициент; N- число нейронов в каждом слое сети.

Входящую в (9) величину r_ij в единицах нейронов с учетом возможных пространственных сдвигов совокупностей единичных образов вдоль слоев сети можно выразить в виде:

n_ij=±0, 1, …, L-1; m_ij=±0, 1, …, M/-1;

Δx_ij, Δy_ij - проекции связи j-го нейрона с i-м на оси X, Y без учета пространственных сдвигов; d, q - величины единичных сдвигов, соответственно, по координатам X, Y; L, M - число, соответственно, столбцов и строк, на которые разбивается каждый слой нейронной сети за счет сдвигов.

Изменяя Δx_ij, Δy_ij на соответствующие значения n_ij·d и m_ij·q можно менять r_ij и направление потока совокупностей единичных образов вдоль слоев сети, осуществлять пространственные сдвиги этих совокупностей вдоль слоев.

Такие сдвиги совокупностей единичных образов вдоль слоев реализуются через управление динамическими синапсами с блока управления синапсами 7 с учетом текущих состояний слоев. Нейроны слоев могут находиться в состояниях ожидания, возбуждения и невосприимчивости после возбуждения. При передаче совокупностей единичных образов от передающего слоя к принимающему слою их пространственные сдвиги осуществляют тогда, когда возникает конфликт между имеющими одни и те же порядковые номера нейронами взаимодействующих слоев. Конфликт возникает, когда единичные образы от возбужденных нейронов подаются на входы нейронов, находящихся в состоянии невосприимчивости после возбуждения.

Весовые коэффициенты k_ij(t) и в (7) и (8) изменяются в зависимости от воздействий на синапсы единичных образов и выступают в качестве элементов долговременной памяти сети. Для прямого веса (прямой проводимости) w_ij(t) каждого синапса весовой коэффициент можно определить как

а для обратного веса (обратной проводимости) , для случая g_ij(t)≥g₀, в виде:

где у - постоянный коэффициент, a g₀=const.

В других случаях при g_ij(t)<g₀ обратный вес (проводимость)

Величину g_ij(t) в (11) и (12) можно трактовать, как число запомненных на синапсе единичных образов на момент времени t, а (g_ij(t)-g₀) - как число запомненных единичных образов, которые могут быть стерты с синапса.

С учетом (11) и (12) прямые и обратные веса (проводимости) синапсов могут быть определены по формулам:

Эти веса однозначно связаны друг с другом:

По значению w_ij(t)можно определить и, наоборот, по найти w_ij(t).

При протекании тока от возбужденных нейронов через одни синапсы в прямом направлении на них запоминаются текущие результаты распознавания. Такому запоминанию соответствует увеличение прямой и обратной проводимости этих синапсов. В этом случае величину g_ij(t), входящую в (13), (14), можно рассчитать как

где I_ij(t) - ток, протекающий через синапс в прямом направлении, определяемый согласно (1).

При прохождении тока встречно через другие синапсы уменьшаются их прямые и обратные веса (обратные и прямые проводимости). Величину g_ij(t), входящую в (13), (14), в зависимости от этого тока стирания (6), при условии, что , можно рассчитать как

иначе g_ij(t)=g_ij(t-Δt).

В частном случае B(I_ij(t)) и можно определять как B(I_ij(t))=A·I_ij(t) и , где A, D - константы, причем D должно быть больше A.

Чем больше ток от возбужденных нейронов через одни синапсы в прямом направлении, тем выше уровень частичного стирания ранее запомненных результатов распознавания с других синапсов частично отраженными токами, протекающими через них в обратном направлении. Уровень частичного стирания результатов распознавания зависит также от входной проводимости w_вх=1/R_вх возбуждаемых нейронов.

В случаях, когда ток I_{j вх}(t), протекающий через входное сопротивление j-го нейрона второго слоя 5, больше порогового значения I_пор, то нейрон возбуждается. На его выходе формируется единичный образ (импульс) и нейрон переходит в состояние невосприимчивости. В состоянии невосприимчивости каждый нейрон находится одинаковое время, которое больше, чем время задержки единичных образов в двухслойных контурах сети, структурная схема которой приведена на фиг.1.

Все эти положения справедливы и для передачи совокупностей единичных образов от второго слоя к первому. Последовательные совокупности единичных образов с выхода второго слоя 5, после задержки в блоке 6, поступают на второй блок динамических синапсов 4. В блоке 4 они аналогичным образом, как и в блоке 3, обрабатываются и, сдвинутые вдоль первого слоя в зависимости от состояний первого и второго слоев, поступают на второй вход первого слоя нейронов 1. Они, как и в случае со вторым слоем, частично отражаются от первого слоя. Эти частично отраженные совокупности частично стирают с синапсов второго блока динамических синапсов 4 запомненные на них результаты распознавания.

С учетом этого поступающие на первый слой нейронов 1 прямые и обратные совокупности единичных образов в нем корректно связываются, распознаются и порождают на его выходе новые совокупности единичных образов, несущие в себе информацию, как о текущих, так и ранее запомненных сетью сигналах, связанных с первыми. При этом за счет соответствующих сдвигов совокупностей единичных образов вдоль слоев исключается наложение обратных результатов распознавания на прямые совокупности и совокупности продвигаются вдоль слоев в предварительно заданном направлении.

Заметим, что при обработке сигналов в сети постоянно осуществляется смена одних возбужденных нейронов на другие и соответственно происходит смена запоминания на частичное стирание с синапсов сети результатов распознавания.

При непрерывной обработке информации в нейронной сети предлагаемым способом начиная с некоторого момента, число запоминаемых текущих единичных образов становится равным числу стираемых ранее запомненных единичных образов. После запоминания текущей информации на одних элементах сети частично стирают запомненные результаты распознавания с других синапсов, освобождая память для запоминания последующей информации. За счет этого достигается устойчивое непрерывное функционирование сети. Причем за счет предлагаемого частичного стирания ранее запомненных результатов распознавания полностью стираются в первую очередь более отдаленные результаты. Кроме этого предлагаемое частичное стирание ранее запомненных результатов стимулируют поиск недостающей информации, чтобы сбалансировать уровень запоминания с уровнем ее стирания. Это, наряду с повышением устойчивости, повышает уровень интеллектуальности обработки информации в нейронной сети.

За счет приоритетности коротких связей в нейронной сети между входом и выходом сети легко устанавливается однозначное соответствие между составляющими входных и выходных сигналов.

С учетом этого соответствия по номерам нейронов, формируемых последовательности единичных образов на выходе устройства, определяют частотные и пространственные характеристики составляющих исходного сигнала. По частотам следования и относительным задержкам единичных образов, соответственно, устанавливают амплитуды и фазы составляющих исходного сигнала. Затем воспроизводят составляющие исходных сигналов и путем их сложения восстанавливают исходные, например речевые, зрительные и другие сигналы. Для определения амплитуд составляющих исходного сигнала определяют текущее число единичных образов, попадающих в предварительно заданный интервал времени. Для воспроизведения составляющих исходных сигналов применим, например, их цифровой синтез по известным параметрам.

Для доказательства преимущества предлагаемого способа по сравнению с известными решениями была разработана программная модель нейронной сети, реализующей этот способ. Для разработки этой модели использовалась среда MatLab. Каждый слой нейронной сети состоял из 2100 нейронов. За счет пространственных сдвигов передаваемых совокупностей единичных образов от слоя к слою, каждый слой разбивался на 50 логических полей по 42 нейрона в каждом. Последовательные совокупности единичных образов вводились в сеть через первое логическое поле, а снимались с последнего поля (фиг.3). Последовательность этих совокупностей содержала строчки из романа А.С.Пушкина «Евгений Онегин»: «Мой дядя самых честных правил, когда не в шутку занемог, он уважать себя заставил и лучше выдумать не мог…». Всего в сеть последовательно вводилось 150 совокупностей единичных образов, включая пустые совокупности, соответствующие пробелам между словами. Ввод в сеть совокупностей осуществлялся с периодом четыре такта. На каждом временном такте оценивался суммарный вес W_Σ(t) синапсов сети, как

где w_kij(t)- прямой вес _ij-го синапса в k-блоке динамических синапсов сети (фиг.1); n - число нейронов в каждом слое сети.

Результаты оценки приведены на фиг.4а, б. Из анализа фиг.4а видно, что при отсутствии частичного стирания с синапсов запомненных результатов распознавания частично отраженными от принимающих слоев совокупностями единичных образов суммарный вес синапсов непрерывно растет. Он стремится к предельному суммарному весу W_{Σ пред},

при котором все весовые коэффициенты k_kij(t)→1, где β_kij - функция ослабления для ij-го синапса в k-блоке динамических синапсов сети. В этом предельном случае не возможно запоминание и извлечение информации из сети. Сеть перегружена.

Согласно предлагаемому способу, предусматривающему частичное стирание запомненных результатов распознавания частично отраженными от принимающих слоев совокупностями единичных образов, суммарный вес W_Σ(f) синапсов с течением времени стабилизируется на уровне, обеспечивающем непрерывную устойчивую интеллектуальную обработку информации в нейронной сети. Из фиг.4б видно, что прирост суммарного веса W_Σ(t) синапсов с течением времени замедляется, в отличие от предыдущего случая (фиг.4а). Целесообразно этот вес выводить на уровень W_{Σ пред}/2, обеспечивающий наибольшую емкость памяти на синапсах. Это осуществимо, например, предварительным заданием соответствующего значения входной проводимости нейронов.

Анализ смены состояний слоев сети, реализующей предлагаемый способ, также подтвердил повышение устойчивости и интеллектуальности обработки информации, более широкие функциональные возможности предлагаемого способа по сравнению с известными решениями.

Способ интеллектуальной обработки информации в нейронной сети может быть реализован с использованием известной элементной базы. В качестве нейронов слоев и элементов задержек в блоках задержек применимы ждущие мультивибраторы. При этом ждущие мультивибраторы в блоках единичных задержек следует запускать не по переднему, а заднему фронту входного импульса. Блоки динамических синапсов могут быть реализованы с применением мемристоров и управляемых аттенюаторов. Для обеспечения частичного отражения совокупностей единичных образов от принимающих слоев сети, цепочки, включающие элементы задержек, синапсы и входные цепи нейронов, должны обладать свойствами длинных линий. Блок управления можно реализовать специализированным процессором, программируемыми интегральными схемами, функционирующими в соответствии с рассмотренными выше правилами.

Способ можно реализовать также путем эмулирования двухслойной рекуррентной нейронной сети с управляемыми синапсами на современных вычислительных машинах.

Изобретение относится к бионике, моделированию функциональных аспектов человека и может найти применение в вычислительной технике при построении интеллектуальных машин и систем. Техническим результатом является повышение интеллектуальности и устойчивости обработки информации. Сущность способа заключается в том, что при обработке сигнала в многослойной рекуррентной сети с обратными связями, замыкающими контура с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, со сдвигами совокупностей единичных образов вдоль слоев, при передаче совокупностей единичных образов от слоя к слою их частично отражают от принимающего слоя к передающему слою и частично стирают с элементов сети этими частично отраженными совокупностями единичных образов запомненные результаты распознавания. 4 ил.

Способ интеллектуальной обработки информации в нейронной сети, заключающийся в подаче в многослойную рекуррентную сеть с обратными связями, замыкающими контура с временем задержки единичных образов меньше времени невосприимчивости нейронов сети после их возбуждения, сигнала, разложенного на составляющие в базисе, согласованном с входным слоем сети, с каждой составляющей, преобразованной в последовательность единичных образов с частотой повторения как предварительно заданной функцией от амплитуды составляющей, представлении сигнала в виде последовательных совокупностей единичных образов в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов распознавания, сдвигах совокупностей единичных образов вдоль слоев с учетом текущих состояний слоев, запоминании результатов распознавания на элементах сети, использовании в качестве результатов обработки последовательных совокупностей единичных образов на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы, отличающийся тем, что при передаче совокупностей единичных образов от слоя к слою их частично отражают от принимающего слоя к передающему слою и частично стирают с элементов сети этими частично отраженными совокупностями единичных образов запомненные результаты распознавания.