СПОСОБ НЕЙРОСЕТЕВОГО ПРОГНОЗИРОВАНИЯ ИЗМЕНЕНИЯ ЗНАЧЕНИЙ ФУНКЦИИ С ЕЁ ПРЕДВАРИТЕЛЬНОЙ ВЕЙВЛЕТ-ОБРАБОТКОЙ И УСТРОЙСТВО ЕГО ОСУЩЕСТВЛЕНИЯ Российский патент 2016 года по МПК G06N3/02 G06Q10/04 

Изобретение относится к области прогнозирования изменения значений функций, представленных в виде временного ряда дискретизированных отсчетов. Изобретение может быть использовано в различных областях науки и техники, в которых необходимо осуществлять обработку и прогнозирование значений временных рядов данных или непрерывных функциональных зависимостей. В частности, способ может быть применен в системах экологического мониторинга, обеспечивающих контроль и прогнозирование уровней концентраций загрязняющих веществ в выбросах промышленных предприятий, в медицинских исследованиях, экономическом анализе и др.

В соответствии с патентом на изобретение №2453896 C1 известна система прогнозирования и распределения выбросов (проливов) аварийно химически опасных веществ. Данное изобретение [1] относится к области мониторинга и управления инженерными системами зданий и сооружений. Система обеспечивает повышение надежности системы и расширении функциональных возможностей системы за счет осуществления дистанционного экологического контроля воздействия выбросов (проливов) аварийно химически опасных веществ на окружающую среду. Он достигается тем, что система прогнозирования и распределения выбросов (проливов) аварийно химически опасных веществ содержит блок инженерных систем, блок сбора параметров работы, базу данных трендов параметров, блок экстраполяции трендов, базу данных текущих параметров, блок моделирования работы и определения расчетных значений параметров, базу данных расчетных параметров, блок сравнения, пороговое устройство, блок моделирования и определения последствий и рекомендаций по реагированию, блок формирования и передачи сообщений и команд управления, блок управления инженерной системой, в нее дополнительно введены база данных метеослужбы, передвижной пост-лидар, блок городской диспетчерской службы.

Аналогичным признаком данного изобретения с заявляемым изобретением является возможность прогнозирования выбросов загрязняющих опасных химических веществ.

Однако исходя из текста описания и реферата данного изобретения причинами, препятствующими достижению результата повышения точности и длительности прогноза, является отсутствие выбора метода прогнозирования и предварительной обработки данных об уровнях выбросов.

В соответствии с патентом на изобретение №2517316 C1 известно адаптивное цифровое прогнозирующее устройство. Данное изобретение [2] относится к автоматике и вычислительной технике и может быть использовано для прогнозирования стационарных и нестационарных случайных процессов, повышения качества и точности управления в цифровых динамических системах контроля. Технический результат заключается в снижении аппаратурных затрат при выполнении прогноза входного процесса. Для этого в адаптивном цифровом прогнозирующем устройстве на оба входа слагаемых первого сумматора субблока квадратичного прогноза заведены соответственно информационные выходы первого и второго субблоков расчета вторых производных, а выход первого сумматора подключен к первому входу второго сумматора, второй вход которого соединен с выходом субблока линейного прогноза

Аналогичным признаком данного изобретения с заявляемым изобретением является прогнозирование стационарных и нестационарных случайных процессов в динамических системах контроля, к которым можно отнести системы экологического мониторинга, включающие функции прогнозирования.

Основной причиной, препятствующей достижению поставленного в заявляемом изобретении результата, является применение квадратичных субблоков расчета производных, на основе которых осуществляется вычисление прогнозируемых значений данных.

В соответствии с патентом на изобретение №2533321 C1 известен способ адаптивного прогнозирования остаточного ресурса эксплуатации сложных объектов и устройство для его осуществления. Данное изобретение [3] относится к измерительной технике. Способ включает силовое воздействие на поверхность объекта контроля, регистрацию массива электрических сигналов входной информации установленными на объекте контроля информационными датчиками, при этом сигналы информационных датчиков обусловлены изменениями силового воздействия на поверхность объекта контроля. Используют устройство, включающее информационные датчики, установленные на объекте контроля и воспринимающие изменения параметров объекта контроля, электронные фильтры для повышения отношения сигнал/шум, связанные с выходами датчиков и подключенные к входам электронной аналоговой схемы, реализующей нейросетевую модель надежности эксплуатации объекта контроля, при этом к другой группе входов электронной аналоговой схемы подключен блок подачи сигнала на переобучение модели износами, а к ее выходу подключены последовательно соединенные блок аппроксимации временных зависимостей массивов электрических сигналов, блок формирования временного ряда предсказаний надежности эксплуатации объекта контроля, блок экстраполяции величины массива электрических сигналов на выходе электронной аналоговой схемы до предельного значения и определения остаточного ресурса, к входу которого подключен блок задания модели экстраполяции.

Технический результат заключается в повышении достоверности результатов прогнозирования, повышении универсальности метода, расширении области использования.

Аналогичным признаком данного способа с заявляемым изобретением является возможность адаптивного прогнозирования с реализацией нейросетевых моделей обработки информации.

Основными причинами, препятствующими достижению поставленного в заявляемом изобретении результата, являются применимость представленного способа только для прогнозирования остаточного ресурса эксплуатации сложных объектов, а также отсутствие предварительной вейвлет-обработки временных рядов, используемых для формирования обучающей выборки и исходного окна данных, на основе которых осуществляется прогнозирование в нейронной сети.

В соответствии с патентом на изобретение №2412454 C2 известен способ обработки данных с использованием дискретного вейвлет-преобразования.

Данный способ [4] относится к области сейсмической разведки, в частности к способам обработки сейсмических данных. Техническим результатом изобретения является обеспечение возможности анализа сейсмических данных с локализацией особенностей сигнала в вейвлет-частотной области с повышенным качеством выделения особенностей сигнальной составляющей в пространственно-временных координатах, с разделением волновых полей на отдельные составляющие и повышением отношения сигнал/помеха. Данные подвергают дискретному вейвлет-преобразованию с последующим разложением (декомпозицией) исходного сейсмического сигнала на слои детализации с различными энергетическими и частотными характеристиками; каждый из указанных слоев детализации анализируют по их целевой значимости с учетом решаемой сейсмической задачи, после чего осуществляют выборку значимых отдельных слоев детализации вейвлет-разложения исходного сейсмического сигнала для построения их частичных сумм для последующей обработки и интерпретации сейсмических данных.

Аналогичным признаком данного способа с заявляемым изобретением является применение аппарата вейвлет-преобразования для обработки информации, в частности временных рядов данных.

Основными причинами, препятствующими достижению поставленного в заявляемом изобретении результата, является обработка сейсмических данных, а не временных рядов концентраций загрязняющих веществ, а также отсутствие возможности и функций прогнозирования.

Структурная схема устройства, реализующая способ нейросетевого прогнозирования изменения значений функции с ее предварительной вейвлет-обработкой, представлена на фиг. 1. Структурная схема алгоритмов устройства реализации способа нейросетевого прогнозирования, представлена на фиг. 2.

Согласно фиг. 1 и фиг. 2 устройство содержит: блок формирования временного ряда x(k) (1), блок предварительной вейвлет-обработки и формирования аппроксимирующих и детализирующих коэффициентов C_i и d_i (2), блок выделения аппроксимирующих коэффициентов C_m m-го уровня вейвлет-разложения (3), блок обработки детализирующих коэффициентов d_i алгоритмом сглаживания, методом адаптивного штрафного порога (4), n-разрядный регистр сдвига, построенный на элементах задержки с передаточной функцией Z^-1 (5), искусственной нейронной сети, построенной по схеме многослойного персептрона прямого распространения (6), блоки формирования ошибок предсказаний $$e^{{}^{*}r}$$ на всех r выходах нейронов выходного слоя нейронной сети (7-9), блоки (10-12) восстановления выходных прогнозируемых значений функции S(k+r) со временем прогноза на r периодов временного ряда, блок восстановления (13) временного ряда в реальном времени S(k) с пониженной погрешностью представления информации за счет его вейвлет-обработки.

Применительно к задаче экологического мониторинга, информация, снятая с выхода одного из датчиков определения уровней концентрации загрязняющего вещества в окружающей среде, формирует временной ряд отсчетов значений концентраций. Аналогично могут быть исследованы непрерывные функции либо временные ряды данных, отображающие информацию изменения параметров различных процессов, для решения задач прогнозирования в различных прикладных областях.

Входные сигналы исследуемого процесса подаются на блок (1) формирования временного ряда x(k). С выхода блока формирования временного ряда с блока (1) сигналы x(k) подаются на блок (2) на блок W-фильтра, в котором осуществляется предварительная вейвлет-обработка временного ряда. В W-фильтре формируются аппроксимирующие коэффициенты C_i,, вычисленные по формуле

где - скейлинг-функция,

и детализирующие коэффициенты d_i, i-ого уровня вейвлет-разложения, вычисленные по формулам

где ψ_i(2ⁱt-k) - вейвлет-функция [5].

Выделенные в блоке (3) аппроксимирующие коэффициенты уровня m (C_m), где 1≤m≤6 [7], подаются на вход блока (5), представляющего n-разрядный регистр сдвига, построенного на элементах задержки с передаточной функцией Z^-1, в котором формируется выборка входных сигналов нейронной сети в виде скользящего окна данных из n отсчетов, в виде C_m(k)∈{C_m{k-n+1)÷C_m(k)}, где n∈{l,2…,n}, n - номер нейрона входного слоя нейронной сети. В нейронной сети (блок 6), построенной по правилу многослойного персептрона прямого распространения, вычисляются выходные сигналы в виде аппроксимирующих коэффициентов прогноза $$C_m{}^{*r}$$ , где r - число периодов прогноза (r=1,2…,10).

Алгоритм обучения нейронной сети при прогнозировании изменения значений функции, реализуемый нейронной сетью прямого распространения, построенной по правилу многослойного персептрона, представлен в таблице 1 [6].

где $$W_j=\left(w_{j1}{w}_{j2}{w}_{j{n}_j}\right)$$ - матрица весовых синаптических коэффициентов,

,

α - шаг настройки, выбирается из диапазона 0<α<1, по правилу $$\alpha =\frac{1}{\sqrt{n}}$$ , где n - число нейронов в слое [6].

Многослойный персептрон состоит из входного слоя, q - внутренних слоев, где q∈{0,1}, и выходного слоя. Таким образом, при q=0, структурная схема персептрона представляет собой двухслойный персептрон, при q=1, структурная схема персептрона представляет собой трехслойный персептрон. Увеличение числа слоев, т.е. q>1, в персептроне приводит к увеличению вычислительных затрат при незначительном уменьшении погрешности [6, 7].

Число нейронов во входном слое персептрона влияет на число анализируемых входных аппроксимирующих коэффициентов C_m(k), соответственно на время анализа предыдущих значений отсчетов исследуемой функции, на длительность движущегося окна, на число разрядов во входном регистре сдвига, на общую погрешность прогнозирования. В соответствии с [7] погрешность прогноза на время 10T (при r=10) достигает $$\left|\overline{\delta }\right|\le 5\%$$ , при числе нейронов во входном слое n_вх=64, внутреннем слое n_внутр.=10, выходном слое n_вых.=10. При уменьшении числа нейронов во входном слое до n=32 погрешность повышается до $$\left|\overline{\delta }\right|\le \left(7÷10\right)\%$$ .

Число нейронов внутреннего слоя n_внутр. и число нейронов выходного слоя n_вых. определяется числом периодов прогноза r и, соответственно, подчиняется условию n_внутр.=n_вых.=r_max.

Полученные аппроксимирующие коэффициенты прогноза $$C_m{}^{*r}$$ , с учетом необходимых для разных выходов нейронной сети задержек, сравниваются с входными значениями C_m на входе регистра, что обеспечивает формирование в блоках (7-9) ошибок предсказаний $$e^{{}^{*}r}$$ на всех r выходах нейронов выходного слоя нейронной сети. Каждый из блоков (7-9), на вход которых подаются аппроксимирующие коэффициенты прогноза $$C_m{}^{*r}$$ , содержит элемент задержки на r прогнозируемых периодов с передаточной функцией Z^r и сумматора, на первый вход которого подается задержанный сигнал, умноженный на коэффициент, равный -1. На второй вход сумматора подается C_m(k), тем самым на выходе сумматоров, на выходах блоков (7-9), формируется ошибка прогноза $$e^{{}^{*}r}$$ .

Процедуру вычисления нейронной сетью аппроксимирующих коэффициентов прогноза $$C_m{}^{*r}$$ , вычисление ошибок на выходах первых нейронов каждого из слоев, а также процедуру адаптивной настройки синаптических весовых коэффициентов для каждого 1-го нейрона в рамках всех слоев нейронной сети можно представить по следующему алгоритму:

Шаг 1. Вычисление выходных сигналов первых нейронов трехслойной искусственной нейронной сети - прямой проход (прямое распространение).

Выход первого нейрона первого слоя нейронной сети вычисляется в соответствии с:

y₁₁=φ(S₁₁),

где , l - номер нейрона, l∈{l,2,…,n}, n - всего нейронов в слое, n=64.

Выход первого нейрона второго слоя нейронной сети вычисляется в соответствии с:

y₂₁=φ(S₂₁),

где

Выход первого нейрона третьего слоя нейронной сети вычисляется в соответствии с:

где , при числе нейронов во втором слое n=10.

Аналогично вычисляются выходы всех остальных нейронов в каждом из слоев нейронной сети.

Шаг 2. Вычисление аппроксимирующего коэффициента прогноза на один период $$C_m{}^{*1}$$ на выходе 1-го нейрона выходного слоя в соответствии с выражением:

Шаг 3. Вычисление ошибки предсказания на один период на выходе 1-го нейрона выходного (3-его) слоя - $$e_{31}{}^{*1}$$ , по которой вычисляется ошибка на выходе первого нейрона предыдущего второго слоя нейронной сети - е₂₁. Ошибки на выходе 1-х нейронов 2-го и первого слоев вычисляются в соответствии с выражениями:

, .

Шаг 4. По вычисленным ошибкам обратного прохода $$e_{31}{}^{*1}$$ , e₂₁, e₁₁ адаптивно перестраиваются синаптические коэффициенты связей между нейронами всех слоев искусственной нейронной сети. Так, например, веса 1-х нейронов каждого слоя адаптивно настраиваются в соответствии с выражениями:

По представленному алгоритму видно, что минимизация ошибки обеспечивается выше рассмотренной итерационной процедурой обучения нейронной сети, в ходе которой осуществляется настройка весовых или синаптических коэффициентов сети. Таким образом, задача предсказания заключается в оценивании будущих значений процесса по имеющимся данным C_m в текущий момент, в настройке значений коэффициентов нейронной сети по критерию минимальной величины ошибки предсказания, в оценивании управляемого объекта, основанном на сравнении выходных сигналов управляемого объекта $$C_m{}^{*r}$$ и его модели, в качестве которой используется нейронная сеть.

Детализирующие коэффициенты до уровня m (d₁,d₂,…,d_m), после обработки в блоке (4) алгоритмом сглаживания по критерию «адаптивного штрафного порога», поступают на блоки (10)-(12) восстановления выходного временного ряда прогноза. Алгоритм сглаживания детализирующих коэффициентов по критерию адаптивного штрафного порога имеет вид [8]:

где , σ² - дисперсия шумовых составляющих во входном сигнале x(k), b - коэффициент пропорциональности, $$b=\sqrt{21nN}$$ , N - число периодов анализа.

Выходные сигналы с 10 выходов нейронной сети в виде выходных аппроксимирующих коэффициентов $$C_m{}^{*r}$$ (где r - номер выхода нейронной сети, в соответствии с числом периодов прогноза r∈{1÷10}) также поступает на r-е блоки (10)-(12) восстановления выходного временного ряда прогноза. На выходе r блоков восстановления формируется выходные сигналы прогноза в виде временного ряда s(k+r) [8],

где rT - время прогноза.

Также в структурной схеме представлен алгоритм вейвлет-обработки временного ряда x(k) в блоках (2,3,4) и алгоритм восстановления в блоке (13) выходного сигнала s(k) с пониженной погрешностью, в соответствии с выражением восстановления [7].

В полученных выражениях, благодаря предварительной вейвлет-обработки в W-фильтре (блок 2,3), существенно ослабляются флуктуации входного сигнала x(k) за счет формирования аппроксимирующих коэффициентов m-го уровня C_m и подавляются компоненты шума в блоке (4), имеющие место во входном сигнале, путем обработки детализирующих коэффициентов алгоритмом сглаживания, что заметно снижает погрешность представления информации. Таким образом, получены очищенный от помех выходной временной ряд в реальном времени и выходной временной ряд прогноза, которые представляют информацию о загрязняющих выбросах в устройствах отображения и в системах принятия решений с более низкой погрешностью.

Разработанные алгоритмы нейросетевого прогнозирования изменения значения функций могут быть реализованы в различных программных средах, таких как: MatLab Neural Network Toolbox, PyBrain, и NeurophStudio.

Существенные признаки изобретения.

В качестве нейронной сети используется многослойный персептрон прямого распространения с числом нейронов в слоях n_вх.=64, n_внутр.=10, n_вых.=10 (начиная с входного слоя), применение которого позволяет получить высокоточный прогноз на r=10 периодов временного ряда. При необходимости увеличения длительности прогноза в нейронной сети увеличивается число нейронов в слоях сети. Отсчеты временного ряда концентраций загрязняющих выбросов после предварительной вейвлет-обработки и n-разрядный регистр сдвига обеспечивают формирование скользящего окна данных из n аппроксимирующих коэффициентов уровня m вейвлет-разложения. С n выходов n-разрядного регистра соответственно задержанные аппроксимирующие коэффициенты подаются на n входов первого слоя нейронной сети. Обработка информации в многослойной нейронной сети обеспечивает низкую погрешность прогнозирования по сравнению с другими способами. Дополнительное снижение погрешности дает предварительная вейвлет-обработка, за счет которой достигается снижение погрешности на 3÷5 дБ [7], по сравнению с вариантом прогнозирования нейронной сетью при непосредственной подаче на ее вход значений временного ряда x(k) концентраций загрязняющих веществ.

Технический результат заключается в повышении эффективности прогнозирования изменения значений функций по критериям длительности и значению погрешности прогноза, а также быстродействию адаптивности системы при изменяющихся условиях. Техническим результатом является также возможность гибкого изменения архитектуры нейронной сети в случае изменения требований на длительность прогноза.

Предложенная структурная схема реализации способа нейросетевого прогнозирования значений функций с предварительной вейвлет-обработкой обеспечивает возможность более эффективной обработки и прогнозирования изменения данных, при решении широкого спектра задач, в том числе задач экологического мониторинга.

Источники информации

1. Патент РФ №2453896 C1 (МПК G05B 17/02 (2006.01)) Опубликован 20.06.2012.

2. Патент РФ №2517316 C1 (МПК G06F 17/17 (2006.01) Опубликован 27.05.2014.

3. Патент РФ №2533321 C1 (МПК G01N 27/00 (2006.01)). Опубликован 20.11.2014.

4. Патент РФ №2412454 C2 (МПК G01V 1/48 (2006.01)) Опубликован 20.02.2011.

5. Дремин И.М., Иванов О.В., Нечитайло В.А. Вейвлеты и их использование // Успехи физических наук. Т. 17. №5. 2001, с. 465-501.

6. Ермолаев В.А., Проскуряков А.Ю. Нейрокомпьютерные системы. Учебное пособие для студентов образовательной программы 230105.65 Программное обеспечение вычислительной техники и автоматизированных систем. - Муром: Изд. полиграфический центр МИ ВлГУ, 2011. - 120 с.

7. Проскуряков А.Ю. Модель прогнозирования временных рядов на трехслойном персептроне в информационной системе мониторинга загрязняющих выбросов / Радиотехнические и телекоммуникационные системы, 2014. - №2. - с. 57-63.

8. Кропотов Ю.А., Бейлекчи Д.В., Белов А.А., Ермолаев В.А., Карасев О.Е., Колпаков А.А., Коноплев А.Н., Проскуряков А.Ю. Информационно-управляющие телекоммуникационные системы аудиообмена и автоматизированного мониторинга // Радиотехнические и телекоммуникационные системы, 2014. - №1. - С. 99-113.

Изобретение относится к области вычислительной техники и может быть использовано для обработки и прогнозирования значений временных рядов данных или непрерывных функциональных зависимостей. Техническим результатом является повышение эффективности прогнозирования изменений значений функций по критериям длительности и значению погрешности прогноза, а также по быстродействию адаптивности системы при изменяющихся условиях. Устройство содержит блок формирования временного ряда х(k), с выхода которого через последовательно соединенные блок предварительной вейвлет-обработки, блок выделения аппроксимирующих коэффициентов m-го уровня C_m, а также блок формирования скользящего окна данных из n отсчетов аппроксимирующих коэффициентов с помощью n-разрядного сдвигового регистра, сигналы подаются на входы нейронной сети, построенной по схеме многослойного персептрона прямого распространения, с последующей итерационной процедурой обучения нейронной сети, в ходе которой осуществляется настройка весовых или синаптических коэффициентов по критерию минимизации ошибок прогноза, формируемых в блоках вычисления ошибок прогноза е*^r на всех r выходах нейронов выходного слоя нейронной сети, с выходов которой аппроксимирующие коэффициенты прогноза совместно с детализирующими коэффициентами вейвлет-разложения временного ряда d_i, полученными в блоке их обработки алгоритмом сглаживания на основе метода штрафного порога, поступают на входы блоков восстановления выходных прогнозируемых значений функции S(k+r), со временем прогноза на r периодов временного ряда (r∈{1÷10}), при этом обработанные детализирующие коэффициенты разложения d_i совместно с аппроксимирующими коэффициентами C_m подаются на вход блока восстановления временного ряда в реальном времени S(k) с пониженной погрешностью представления информации за счет его вейвлет-обработки. 2 ил., 1 табл.

Устройство нейросетевого прогнозирования изменения значений функций, а также прогнозирования изменений значений временных рядов данных или дискретных отсчетов непрерывных функциональных зависимостей, содержащее блок формирования временного ряда х(k), с выхода которого через последовательно соединенные блок предварительной вейвлет-обработки, блок выделения аппроксимирующих коэффициентов m-го уровня C_m, а также блок формирования скользящего окна данных из n отсчетов аппроксимирующих коэффициентов с помощью n-разрядного сдвигового регистра, сигналы подаются на входы нейронной сети, построенной по схеме многослойного персептрона прямого распространения, с последующей итерационной процедурой обучения нейронной сети, в ходе которой осуществляется настройка весовых или синаптических коэффициентов по критерию минимизации ошибок прогноза, формируемых в блоках вычисления ошибок прогноза е*^r на всех r выходах нейронов выходного слоя нейронной сети, с выходов которой аппроксимирующие коэффициенты прогноза совместно с детализирующими коэффициентами вейвлет-разложения временного ряда d_i, полученными в блоке их обработки алгоритмом сглаживания на основе метода штрафного порога, поступают на входы блоков восстановления выходных прогнозируемых значений функции S(k+r), со временем прогноза на r периодов временного ряда (r∈{1÷10}), при этом обработанные детализирующие коэффициенты разложения d_i совместно с аппроксимирующими коэффициентами C_m подаются на вход блока восстановления временного ряда в реальном времени S(k) с пониженной погрешностью представления информации за счет его вейвлет-обработки.