ИСКУССТВЕННАЯ НЕЙРОННАЯ СЕТЬ Российский патент 2016 года по МПК G06N3/04 

Изобретение относится к интеллектуальным системам управления и может быть использовано в качества ядра цифровых нейроконтроллеров, нейропроцессоров и нейрорегуляторов.

Известно, что ядром нейрорегуляторов для сложных динамических объектов (ДО) обычно являются искусственные нейронные сети (ИНС) прямого распространения [1]. Обладая способностью к обобщению, применение ИНС позволяет осуществлять эффективное управление ДО в широком диапазоне изменения фазовых переменных (переменных состояния) последнего. Известны ИНС, содержащие совокупность искусственных нейронов и устройств передачи информации между ними [2] (Заявка на изобретение №2006116775 РФ, МПК G06N 3/04. Аппаратно-реализованная искусственная нейронная сеть./ Г.А. Сорокин, А.Е. Рогов. - Заявлено 16.05.2006; Опубл. 27.11.2007).

Наиболее близким по технической сущности к заявленному устройству является многослойная ИНС прямого распространения, состоящая из слоя входных узлов, скрытых слоев искусственных нейронов и выходного слоя нейронов, соединенных связями, называемыми синаптическими, последовательно в прямом направлении и не содержащих связей между элементами внутри слоя и обратных связей между слоями [3] (http://www.osp.ru/os/1997/04/179189/ - Введение в искусственные нейронные сети./ Жианчанг Мао, Энил Дж.// ″Открытые системы″, №04, 1997. Рис.4). Известное устройство, обладая способностью к обобщению, не обладает адаптивностью к параметрам внешней обстановки ДО и параметрам его состояния. Адаптация может быть реализована перестройкой весовых коэффициентов синаптических связей соответственно библиотеке типовых алгоритмов настройки, что требует дополнительного оборудования (компонентов).

Задача, на решение которой направлено заявляемое изобретение, заключается в создании эффективной адаптации ИНС к параметрам внешней обстановки, в которой находится объект управления, и к параметрам его состояния (значениям фазовых переменных ДО) без увеличения оборудования (количества компонентов) нейроконтроллера, нейропроцессора или нейрорегулятора.

Ожидаемый технический результат достигается за счет реализации новой архитектуры ИНС прямого распространения, содержащей слой входных узлов и не менее двух слоев нейронов, соединенных последовательно в прямом направлении, образующих прямой канал обработки сигналов управления, за счет введения в ее структуру нейронной подсети обработки сигналов адаптации, которая образует канал параметров, состоящий из слоя входных узлов для сигналов адаптации и, по крайней мере, из одного слоя нейронов, выходные сигналы которых устанавливают весовые коэффициенты связей, по крайней мере, одного слоя нейронов прямого канала обработки сигналов управления, т.е. весовые коэффициенты синаптических связей, по крайней мере, одного слоя нейронов прямого канала обработки сигналов управления равны монотонным функциям от сигналов выходного слоя нейронов канала параметров.

Это обеспечивает эффективную адаптивность ИНС при неизменной базовой совокупности значений весовых коэффициентов, полученной в процессе обучения ИНС, а следовательно, и без увеличения количества компонентов (оборудования), поскольку отсутствует библиотека (база данных) типовых алгоритмов настройки весовых коэффициентов, как это реализуется в известных адаптивных нейроконтроллерах [4].

Дополнительным техническим результатом является устранение статической ошибки управления ДО за счет выполнения искусственных нейронов последнего скрытого слоя прямого канала линейными, и введение в них обучаемых пропорционально-интегрирующих звеньев.

Реализация активационных функций всех искусственных нейронов, кроме линейных нейронов последнего скрытого слоя прямого канала, одинаковыми и проходящими через нулевую точку, обеспечивает унификацию элементов ИНС, позволяющую упростить конструкцию устройства. При этом во входном слое нейронов канала параметров вводится источник обучаемого смещения, что позволяет сдвигать начало отсчета активационных функции, обеспечивая ускорение процесса обучения ИНС.

Другим дополнительным техническим результатом является ускорение процесса обучения адаптивной ИНС за счет кластеризации сигналов адаптации по физической сущности, например, разделение сигналов адаптации ИНС к параметрам внешней обстановки, в которой находится объект управления, и к параметрам его состояния (значениям фазовых переменных ДО), и введение для каждого кластера соответствующей подсети, которая образует свой канал параметров, каждый из которых состоит из слоя входных узлов и по крайней мере из одного слоя нейронов, выходные сигналы которых устанавливают весовые коэффициенты связей разных слоев нейронов прямого канала обработки сигналов управления.

На фиг. 1 представлена архитектура предложенной адаптивной ИНС и введены обозначения: 1 - слой входных узлов прямого канала; 2 - слои нейронов прямого канала обработки сигналов управления; 3 - слой входных узлов канала параметров для сигналов адаптации; 4 - слой нейронов канала параметров для обработки сигналов адаптации; 5 - вектор весовых коэффициентов синаптических связей нейронов прямого канала, устанавливаемых обработанными в слое нейронов 4 сигналами адаптации.

На фиг. 2 представлена структура системы адаптивного управления сложным ДО, в которой нейрорегулятор включен в цепь обратной связи; введены обозначения: 6 - ДО; 7 - нейрорегулятор; 8 - ИНС; 9 - блок вычисления производных сигналов по времени; 10 - блок памяти, хранящий множество весовых коэффициентов (МВК) для ИНС 8; 11 - вектор сигналов адаптации $$\overline{SV}$$ ; 12 - датчики параметров внешней обстановки ДО 6, формирующие вектор сигналов $$\overline{EC}$$ ; 13 - блок мультиплексирования (обозначение как принято в пакете Simulink MATLAB и используется на фиг. 2-6).

На фиг. 3 представлена структура системы адаптивного управления сложным ДО, в которой нейрорегулятор включен в цепь обратной связи; введены обозначения: 6 - ДО; 7 - нейрорегулятор; 8 - ИНС; 9 - блок вычисления производных сигналов по времени; 11 - вектор сигналов адаптации $$\overline{SV}$$ ; 12 - датчиков параметров внешней обстановки ДО 6, формирующий вектор сигналов $$\overline{EC}$$ ; 13 - блок мультиплексирования; 14 - база данных (БД), содержащая библиотеку типовых алгоритмов настройки весовых коэффициентов ИНС 8.

На фиг. 4 представлен фрагмент реализованной структуры нейрорегулятора с основным фрагментом структуры ИНС для автоматического управления летательным аппаратом в пакете Simulink MATLAB; введены обозначения: 1 - слой входных узлов прямого канала; 2 - слои нейронов прямого канала обработки сигналов управления; 3 - слой входных узлов канала параметров для сигналов адаптации; 4 - слой нейронов канала параметров для обработки сигналов адаптации; 10 - блок памяти, хранящий МВК; 15 - источник обучаемого смещения (источник с единичным сигналом) для входного слоя нейронов 4 канала параметров.

На фиг. 5 представлен фрагмент структуры нейрорегулятора, реализованного в пакете Simulink MATLAB, и основной фрагмент структуры ИНС; введены обозначения: 2 - скрытый слой нейронов прямого канала обработки сигналов управления; 16 - линейные нейроны последнего скрытого слоя прямого канала; 17 - блоки вычисления интеграла сигнала по времени; 18 - введенный источник постоянного смещения; 19 - выходной слой нейронов; 20 - блоки, реализующие активационные функции выходного слоя нейронов 19.

На фиг. 6 представлена структура системы адаптивного управления сложным ДО, в которой нейрорегулятор, содержащий вариант исполнения заявляемого устройства, включен в цепь обратной связи; используются обозначения: 6 - ДО; 7 - нейрорегулятор; 8 - ИНС; 9 - блок вычисления производных сигналов по времени; 10 - блок памяти, хранящий множество весовых коэффициентов (МВК) для ИНС 8; 11 - вектор сигналов адаптации $$\overline{SV}$$ ; 12 - датчики параметров внешней обстановки ДО 6, формирующие вектор сигналов $$\overline{EC}$$ .

На фиг. 7 представлен вариант архитектуры предложенной адаптивной ИНС и введены обозначения: 1 - слой входных узлов прямого канала; 2 - слои нейронов прямого канала обработки сигналов управления; 3 - слои входных узлов каналов параметров для сигналов адаптации; 4 - слои нейронов каналов параметров для обработки сигналов адаптации; 5 - векторы весовых коэффициентов синаптических связей нейронов прямого канала, устанавливаемых обработанными в слоях нейронов 4 сигналами адаптации.

Заявляемое устройство - ИНС прямого распространения - содержит (фиг. 1) слой входных узлов 1 и не менее двух слоев нейронов 2, соединенных последовательно в прямом направлении и не содержащих связей между элементами внутри слоя и обратных связей между слоями. Эти слои нейронов 2 образуют прямой канал обработки сигналов управления. Введенная нейронная подсеть обработки сигналов адаптации образует канал параметров, состоящий из слоя входных узлов 3 для сигналов адаптации и слоя нейронов 4, выходные сигналы которых устанавливают весовые коэффициенты связей 5 нейронов прямого канала обработки сигналов управления, т.е. присваивают значения произвольных монотонных функций от выходных сигналов слоя нейронов 4 вектору весовых коэффициентов $${\overline{W}}_P$$ . Функции от выходных сигналов слоя нейронов 4, значения которых присваивают вектору весовых коэффициентов, зависят от конкретной физической реализации ИНС. Так, в цифровых обучаемых нейроконтроллерах это просто линейная функция с единичным коэффициентом, а, например, в аналоговых нейропроцессорах (необучаемых) синаптические связи могут быть реализованы полевыми транзисторами, включенными как управляемые резисторы, на затворы которых поступают сигналы установки весовых коэффициентов соответствующих синаптических связей ИНС, при этом функции нелинейные, но монотонные и знать их математическое представление не требуется.

Работа заявляемого устройства демонстрируется на фиг. 2 в системе адаптивного управления сложным ДО 6, в которой нейрорегулятор 7 включен в цепь обратной связи. На вход ИНС 8, предлагаемой архитектуры и являющейся ядром нейрорегулятора 7, поступает вектор сигналов ошибки управления $$\overline{x}$$ . Этот вектор составлен как из самих сигналов ошибки управления, так и из их временных производных, реализуемых блоком 9. Множество весовых коэффициентов (МВК) $$\overline{W}$$ , значения которых предварительно получены в процессе обучения ИНС 8, сохраняются в блоке памяти 10. Совокупность сигналов адаптации составлена из вектора сигналов $$\overline{SV}$$ 11, получаемых из датчиков параметров состояния ДО 6, и из вектора сигналов $$\overline{EC}$$ , получаемых из датчиков 12 параметров внешней обстановки, в которой находится объект управления. Эти векторные сигналы $$\overline{SV}$$ и $$\overline{EC}$$ объединяют в один общий вектор сигналов адаптации (параметров) $$\overline{P}$$ с помощью блока мультиплексирования 13 (обозначение как принято в пакете Simulink MATLAB). Вектор сигналов адаптации $$\overline{P}$$ поступает на слой входных узлов канала параметров ИНС 8. Таким образом, осуществляется эффективное адаптивное управление сложным ДО 6.

Ожидаемый технический результат следует из сравнения заявляемого изобретения с известной аналогичной системой адаптивного управления сложным ДО 6, в которой нейрорегулятор 7 включен в цепь обратной связи, представленной на фиг. 3. Сущность известного способа адаптивного управления [4] заключается в создании библиотеки типовых алгоритмов настройки весовых коэффициентов ИНС 8, сохраняющейся в базе данных (БД) 14, создаваемой в процессе обучения ИНС 8. Выбор конкретных используемых алгоритмов настройки весовых коэффициентов осуществляется по значению вектора сигналов адаптации $$\overline{P}$$ , поступающего на БД 14. Заявляемое устройство использует единожды полученное МВК $$\overline{W}$$ , хранящееся в блоке памяти 10 (фиг. 2), что требует меньшего оборудования (количества компонентов) нейроконтроллера 7, чем это необходимо при реализации БД 14 в нейроконтроллере 7 (фиг. 3), содержащей целую библиотеку типовых алгоритмов настройки весовых коэффициентов ИНС 8.

Фрагмент реализованной структуры нейрорегулятора с основным фрагментом структуры ИНС, предлагаемой архитектуры, для автоматического управления летательным аппаратом в пакете Simulink MATLAB представлен на фиг. 4. Слои нейронов 2 прямого канала и слой нейронов 4 канала параметров реализованы блоками ″dotprod″, производящими скалярное умножение вектора параметров на вектор весовых коэффициентов, хранящихся в блоке памяти 10. Активационные функции всех нейронов реализованы блоками ″tansig″, выполняющими преобразование гиперболического тангенса:

где F - значение активационной функции (выходной сигнал нейрона);

x - результат сложения входных сигналов нейрона, умноженных на соответствующие весовые коэффициенты.

Активационные функции всех нейронов являются монотонно возрастающими и проходящими через нулевую точку, т.е. при нулевом значении сигнала на входе - нулевой сигнал на выходе. Необходимое смещение активационных функций входного слоя нейронов 4 канала параметров относительно нулевой точки обеспечивается введением источника обучаемого смещения 15.

На фиг. 5 представлен выходной фрагмент реализованной структуры ИНС предложенной архитектуры. С целью устранения статической ошибки управления ДО нейроны последнего скрытого слоя 16 прямого канала выполнены линейными и включают в себя обучаемые пропорционально-интегрирующие звенья, основой которых являются блоки 17 вычисления интегралов сигналов по времени. Источники постоянного смещения 18, введенные параллельно пропорционально-интегрирующим звеньям, выходной слой нейронов 19 прямого канала и блоки 20, реализующие их активационные функции, обеспечивают формирование необходимой области изменения значений вектора выходных сигналов управления $$\overline{y}$$ . Источники постоянного смещения 18 могут быть либо обучаемыми, либо с жестко выставляемыми значениям их весов.

На фиг.6 представлена структура системы адаптивного управления сложным ДО 6 при использовании нескольких групп сигналов адаптации, в частности вектора сигналов $$\overline{SV}$$ 11, получаемых из датчиков параметров состояния ДО 6, и вектора сигналов $$\overline{EC}$$ , получаемых из датчиков 12 параметров внешней обстановки. Архитектура варианта предложенной адаптивной ИНС 8 (фиг. 6) с двумя входами векторных сигналов адаптации $${\overline{P}}_1$$ и $${\overline{P}}_2$$ и с двумя каналами параметров представлена на фиг. 7. При таком варианте исполнения сигналы выходных слоев нейронов 4 разных каналов параметров устанавливают весовые коэффициенты разных слоев связей 5 прямого канала обработки сигналов управления. Предложенное разделение сигналов адаптации (кластеризация) обуславливает ускорения процесса обучения адаптивной ИНС.

Источники информации

1. Бураков М.В. Мультиагентные нейронные регуляторы.// Нейроинформатика - 2004. Часть 2. Стр.130-138.

2. Заявка на изобретение №2006116775 РФ, МПК G06N 3/04. Аппаратно-реализованная искусственная нейронная сеть./ Г.А. Сорокин, А.Е. Рогов. - Заявлено 16.05.2006; Опубл. 27.11.2007.

3. http://www.osp.ru/os/1997/04/179189/ - Введение в искусственные нейронные сети./ Жианчанг Мао, Энил Дж.// ″Открытые системы″, №04, 1997. Рис.4 - (прототип).

4. Тюкин И.Ю., Терехов В.А. Нейросетевое решение задачи адаптивного управления классом нелинейных динамических объектов с невыпуклой параметризацией// Нейрокомпьютеры: разработка и применение. 2004. №7-8. С.4-16.

Изобретение относится к интеллектуальным системам управления и может быть использовано в качества ядра цифровых нейроконтроллеров и нейропроцессоров. Техническим результатом является обеспечение эффективной адаптации искусственной нейронной сети к параметрам внешней обстановки и к параметрам состояния объекта управления. Устройство содержит слой входных узлов и не менее двух слоев нейронов, соединенных последовательно в прямом направлении, образующих прямой канал обработки сигналов управления, нейронную подсеть обработки сигналов адаптации, состоящую из слоя входных узлов и по крайней мере из одного слоя нейронов, выходные сигналы которых устанавливают весовые коэффициенты связей по крайней мере одного слоя нейронов прямого канала обработки сигналов управления. 3 з.п. ф-лы, 7 ил.

1. Искусственная нейронная сеть прямого распространения, содержащая слой входных узлов и не менее двух слоев нейронов, соединенных последовательно в прямом направлении, образующих прямой канал обработки сигналов управления, отличающаяся тем, что введена нейронная подсеть обработки сигналов адаптации, которая образует канал параметров, состоящий из слоя входных узлов для сигналов адаптации и по крайней мере из одного слоя нейронов, выходные сигналы которых устанавливают весовые коэффициенты связей по крайней мере одного слоя нейронов прямого канала обработки сигналов управления.

2. Искусственная нейронная сеть по п. 1, отличающаяся тем, что нейроны последнего скрытого слоя прямого канала выполнены линейными и в них введены обучаемые пропорционально-интегрирующие звенья.

3. Искусственная нейронная сеть по п. 1, отличающаяся тем, что активационные функции всех нейронов, кроме линейных нейронов последнего скрытого слоя прямого канала, реализованы одинаковыми и проходящими через нулевую точку, а во входном слое нейронов канала параметров введен источник обучаемого смещения.

4. Искусственная нейронная сеть по п. 1, отличающаяся тем, что дополнительно введена по крайней мере вторая нейронная подсеть обработки сигналов адаптации второй группы, которая образует второй канал параметров, также состоящий из слоя входных узлов и по крайней мере из одного слоя нейронов, выходные сигналы которых устанавливают весовые коэффициенты связей другого слоя нейронов прямого канала обработки сигналов управления.