СПОСОБ ОБУЧЕНИЯ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ Российский патент 2014 года по МПК G06N3/08 

Изобретение относятся к области компьютерных систем, основанных на биологических моделях, более точно к компьютерным моделям искусственных нейронных сетей (ИНС), предназначенных для решения задач классификации объектов, описываемых наборами числовых признаков (векторами), а именно к способам их обучения.

Известно (патент RU 2424561 С2; МПК G06F 15/18, G06K 9/66, G06N 3/08, опубликован 20.07.2011 г.), что некоторые компьютерные задачи, например задачи классификации, хорошо решаются методами машинного обучения. Главный из них связан с использованием ИНС, представляющих собой математические модели, а также их программные и/или аппаратные реализации, построенные по принципу организации и функционирования сетей нервных клеток живых организмов. Нейронные сети базируются на концепции взаимосвязанных нейронов. В ИНС нейроны содержат значения данных, каждое из которых влияет на значение присоединенного нейрона согласно связям с заранее заданными весами и на то, отвечает ли сумма связей с каждым конкретным нейроном заранее заданному порогу. Определяя надлежащие веса связей (процесс называется обучением), ИНС может добиться эффективного решения задач классификации.

Рассмотрим способ обучения ИНС, называемый «обучение с учителем», на примере случая двухклассовой классификации линейно сепарабельных объектов, когда число классов М равняется двум, который может служить основой для решения более сложных задач.

Одной из моделей ИНС, решающих эту задачу, является нейронная сеть, называемая персептрон (Рутковская Д. Нейронные сети, генетические алгоритмы и нечеткие системы: пер. с польск. И.Д.Рудинского / Д.Рутковская, М Пилиньский, Л.Рутковский / - М.: Горячая линия - Телеком, 2006? стр.21-25). На фиг.1 представлена структура персептрона.

В персептроне в качестве функции f в модели нейрона МакКаллока-Питтса применяется биполярная функция активации:

в которой

где u₁, …, u_N - входные сигналы ИНС;

w₁, …, w_N - синаптические веса;

y - выходной сигнал ИНС;

ν - пороговое значение.

Сигнал x на выходе линейной части персептрона задается выражением:

где w₀=ν,u₀=-1.

Задача персептрона заключается в классификации вектора u=[u₁,…,u_N]^T в смысле отнесения его к одному из двух классов (М=2), обозначаемых символами L₁ и L₂. Персептрон относит вектор u к классу L₁, если выходной сигнал у принимает значения 1, и к классу L_2, если выходной сигнал у принимает значение -1. После этого персептрон разделяет N-мерное пространство входных векторов u на два полупространства, разделяемые (N-1)-мерной гиперплоскостью, задаваемой уравнением:

Гиперплоскость (4) называется решающей границей (decision boundary). Если N=2, то решающая граница - это прямая линия, задаваемая уравнением:

Любая точка (u₁, u₂), лежащая над этой прямой, показанной на фиг.2, относится к классу L₁, тогда как точка (u₁, u₂), лежащая под этой прямой, относиться к классу L₂.

Как правило, веса w_i, i=0, 1, …, N в уравнении гиперплоскости (4) неизвестны, тогда как на вход персептрона последовательно подаются так называемые обучающие векторы (сигналы) u(n), n=1, 2, …, где u(n)=[u₁(n),…,u_N(n)]^T.

Неизвестные значения весов определяются в процессе обучения персептрона. Такой подход получил название «обучение с учителем» или «обучение под надзором». Роль «учителя» заключается в корректном отнесении сигналов u(n) к классам L₁ или L₂ несмотря на неизвестность весов уравнения решающей границы (4). По завершении процесса обучения персептрон должен корректно классифицировать поступающие на его вход сигналы, в том числе и те, которые отсутствовали в обучающей последовательности u(n), n=1, 2, …, K. Кроме того, примем, что множества векторов u(n), n=1, 2, …, K, для которых выход персептрона принимает соответственно значения 1 и -1, линейно отделены, т.е. лежат в двух различных полупространствах, разделенных гиперплоскостью (4). Иначе говоря, допускается разделение обучающей последовательности {u(n)} на две последовательности {u₁(n)} и {u₂(n)} так, что {u₁(n)}∈L₁ и {u₂(n)}∈L₂.

В n-й момент времени сигнал на выходе линейной части персептрона определяется выражением:

где u(n)=[-1, u₁(n), u₂(n), …, u_N(n)]^T;

w(n)=[v(n), w₁(n), w₂(n), …, w_N(n)]^T.

Обучение персептрона заключается в рекуррентной коррекции вектора весов w(n) согласно формулам:

и

где параметр η при 0<η<1 - шаг коррекции, тогда как начальные значения компонент вектора весов устанавливаются равными нулю, т.е.

Зависимости (7) и (8) можно представить в более сжатом виде. Для этого определим так называемый эталонный (заданный) сигнал d(n) в форме:

Кроме того, отметим, что выходной сигнал персептрона может быть описан выражением:

С учетом введенных обозначений рекурсии (7) и (8) принимают вид:

Разность d(n)-y(n) можно интерпретировать как погрешность ε(n) между эталонным (заданным) сигналом d(n) и фактическим выходным сигналом y(n).

С учетом принятого выше условия линейной сепарабельности входных сигналов алгоритм (12) сходится, т.е.

По завершении обучения решающая граница персептрона определяется выражением:

и персептрон корректно классифицирует как сигналы, которые принадлежат к обучающей выборке {u(n)}, так и не входящие в это множество, но выполняющие условие линейной сепарабельности.

Обучение других моделей ИНС для решения более сложных задач способом «обучение с учителем», в целом, происходит аналогично описанному выше.

Известно (Пучков, Е.В. Разработка нейросетевой системы управления технологическими процессами на сортировочных горках: дисс. на соискание ученой степени кандидата технических наук по спец-ти 05.13.06, - Ростов-на-Дону, 2011 г.), что для формирования обучающей выборки для обучения ИНС способом «обучение с учителем» обычно используют данные, получаемые из следующих источников:

1. локальные данные организаций (базы данных, табличные файлы и т.д.);

2. внешние данные, доступные через Интернет (курсы акций, сведения о погоде и т.д.);

3. данные, получаемые от различных устройств (датчики оборудования, видеокамеры и т.д.).

Недостатком описанного способа является невозможность его применения в случае отсутствия статистически достаточного ряда наблюдений исследуемых объектов, что не позволяет сформировать достаточного числа обучающих векторов для корректного обучения ИНС способом «обучение с учителем».

Технической задачей, решаемой в патентуемом изобретении, является расширение класса задач, решаемых с помощью технологии ИНС, на случай отсутствия статистически достаточного ряда наблюдений исследуемых объектов.

Поставленная техническая задача достигается тем, что обучающие векторы формируют на основе знаний эксперта в рассматриваемой области, причем эксперт последовательно определяет классы исследуемых объектов, к которым относятся сгенерированные с помощью генератора псевдослучайных чисел обучающие векторы входных сигналов ИНС, принадлежащие некоторой рассматриваемой области, и созданные компьютером визуальные образы, наглядно описывающие объекты, задаваемые сгенерированными обучающими векторами.

Под экспертом, в контексте данного изобретения, понимается человек, обладающий специальными знаниями об исследуемых объектах, компетентный в рассматриваемой области.

Реализуемый с использованием компьютера порядок выполнения действий патентуемого способа содержит следующие этапы:

1. определение необходимого числа K обучающих векторов u(n), n=1, 2, …, K для обучения ИНС, т.е. числа точек на N-мерном пространстве входных векторов u;

2. указание диапазона изменения входных сигналов ИНС, т.е. ограничение всего N-мерного пространства входных векторов и некоторой рассматриваемой областью О (на фиг.3. показана штриховкой);

3. указание М векторов, описывающих наиболее типичных представителей каждого из М исследуемых классов объектов L₁, L₂, …, L_j, j=1, 2, …, М, принадлежащих области О;

4. генерация компьютером с помощью генератора псевдослучайных чисел K обучающих векторов u(n), n=1, 2, …, K входных сигналов ИНС, принадлежащих области О, вначале вблизи окрестности точек, указанных экспертом на этапе 3 рассматриваемого способа, т.е. вблизи окрестности точек М векторов, описывающих наиболее типичных представителей каждого из М исследуемых классов объектов L₁, L₂, …, L_j, с последующим последовательным равномерным расширением этой окрестности до указанной ранее области О;

5. создание компьютером визуальных образов, наглядно описывающих объекты, задаваемые сгенерированными обучающими векторами;

6. демонстрация эксперту сгенерированных обучающих векторов и визуальных образов, наглядно описывающих объекты, задаваемые сгенерированными обучающими векторами;

7. определение экспертом, на основе своих знаний об исследуемых объектах, в пределах рассматриваемой области О, одного из М классов, к которому относится каждый из K сгенерированных обучающих векторов u(n) входных сигналов ИНС;

8. запись сгенерированных обучающих векторов u(n) и эталонных сигналов d_j(n), соответствующих классам L_j(n) объектов, к которым, по мнению эксперта, относятся сгенерированные вектора, в виде пар <u(n), d_j(n)> на материальный носитель;

9. считывание записанных пар вида <u(n), d_j(n)> с материального носителя и подача на входы ИНС считанных сигналов обучающих векторов u(n) и соответствующих эталонных сигналов d_j(n),

10. коррекция вектора синаптических весов нейронов w(n) ИНС в соответствии с (12) с шагом коррекции η до завершения обучения.

Описанный способ может быть улучшен тем, что эксперт в случае затруднения с определением принадлежности какого-либо из K сгенерированных обучающих векторов u(n) входных сигналов ИНС к тому или иному из М классов (этап 7 описанного выше порядка действий) имеет возможность отказаться от работы с данным вектором и повторно генерировать новые обучающие векторы (возврат к этапу 4) без определения их принадлежности до тех пор, пока он не сможет корректно определить принадлежность одного из вновь сгенерированных векторов.

Изобретение поясняется следующими графическими материалами:

фиг.1 - структура персептрона;

фиг.2 - двумерное пространство входных векторов (гиперплоскость);

фиг.3 - ограничение двумерного пространства входных векторов и некоторой рассматриваемой областью О.

Использование патентуемого способа обучения ИНС обеспечивает по сравнению с известным способом следующие технические преимущества:

а) расширение класса задач, решаемых с помощью технологии ИНС, на случай отсутствия статистически достаточного ряда наблюдений исследуемых объектов;

б) ИНС содержит в себе знания конкретного, участвовавшего в обучении, эксперта об исследуемых объектах и может имитировать его интеллектуальную деятельность при решении задач классификации объектов, описываемых наборами числовых признаков (векторами).

В среде «Delphi 7» была создана, исполняемая на компьютере, программа, используемая в описываемом способе обучения ИНС. Под генератором псевдослучайных чисел, в данном случае, понимается применение стандартных функций Randomize и Random() языка программирования «Паскаль», под материальным носителем - бумажная распечатка. Визуальные образы, наглядно описывающие объекты, задаваемые сгенерированными обучающими векторами, выводятся на монитор компьютера.

Изобретение относится к искусственным нейронным сетям (ИНС) и может быть использовано для обучения ИНС. Техническим результатом является осуществление обучения ИНС при отсутствии статистически достаточного ряда наблюдений исследуемых объектов. Способ содержит этапы: определяют необходимое число обучающих векторов; ограничивают пространство входных векторов некоторой областью О; указывают М векторов, описывающих наиболее типичных представителей каждого из исследуемых классов объектов, принадлежащих области О; генерируют K обучающих векторов входных сигналов ИНС, вначале вблизи окрестности М векторов, с последующим расширением до области О; создают визуальные образы, наглядно описывающие объекты, задаваемые сгенерированными обучающими векторами; определяют один из М классов, к которому относится каждый из K сгенерированных обучающих векторов входных сигналов ИНС; записывают сгенерированные обучающие векторы и эталонные сигналы, соответствующие классам объектов, к которым относятся сгенерированные вектора, в виде пар; считывают записанные пары и подают на входы ИНС; корректируют вектор синаптических весов нейронов w(n) с шагом коррекции η до завершения обучения ИНС. 1 з.п. ф-лы, 3 ил.

1. Способ обучения искусственной нейронной сети (ИНС), предназначенной для решения задач классификации объектов, описываемых наборами числовых признаков (векторами), содержащий N-мерное пространство обучающих векторов u(n)=[u₁(n), …, u_N(n)]^T, n=1, 2, …, K для обучения ИНС; М исследуемых классов объектов L₁, L₂, …, L_j, j=1, 2, …, М; эталонные сигналы d_j(n), соответствующие исследуемым классам L_j(n) объектов; вектор синаптических весов нейронов w(n) ИНС; шаг коррекции η, 0<η<1; выходные сигналы ИНС y(n) отличающийся тем, что обучающие векторы u(n), n=1, 2, …, K формируют на основе знаний человека, компетентного в рассматриваемой области (эксперта), в случае отсутствия статистически достаточного ряда наблюдений исследуемых объектов, причем эксперт последовательно определяет классы исследуемых объектов, к которым относятся сгенерированные с помощью генератора псевдослучайных чисел обучающие векторы входных сигналов ИНС, принадлежащие некоторой рассматриваемой области, и созданные компьютером визуальные образы, наглядно описывающие объекты, задаваемые сгенерированными обучающими векторами, при этом реализуемый с использованием компьютера порядок выполнения действий патентуемого способа содержит следующие этапы: определяют необходимое число К обучающих векторов u(n), n=1, 2, …, K для обучения ИНС; ограничивают N-мерное пространство входных векторов u некоторой рассматриваемой областью О; указывают М векторов, описывающих наиболее типичных представителей каждого из М исследуемых классов объектов L₁, L₂, …, L_j, j=1, 2, …, М, принадлежащих области О; генерируют компьютером с помощью генератора псевдослучайных чисел K обучающих векторов u(n), n=1, 2, …, K входных сигналов ИНС, принадлежащих области О, вначале вблизи окрестности указанных М векторов, описывающих наиболее типичных представителей каждого из М исследуемых классов объектов L₁, L₂, …, L_j, с последующим последовательным равномерным расширением этой окрестности до указанной ранее области О; создают компьютером визуальные образы, наглядно описывающие объекты, задаваемые сгенерированными обучающими векторами; демонстрируют эксперту сгенерированные обучающие векторы и визуальные образы, наглядно описывающие объекты, задаваемые сгенерированными обучающими векторами; определяют, на основе знаний эксперта об исследуемых объектах, в пределах рассматриваемой области О, один из М классов, к которому относится каждый из K сгенерированных обучающих векторов u(n) входных сигналов ИНС; записывают сгенерированные обучающие векторы u(n) и эталонные сигналы d_j(n), соответствующие классам L_j(n) объектов, к которым, по мнению эксперта, относятся сгенерированные вектора, в виде пар <u(n), d_j(n)> на материальный носитель; считывают записанные пары вида <u(n), d_j(n)> с материального носителя и подают на входы ИНС считанные сигналы обучающих векторов u(n) и соответствующие эталонные сигналы d_j(n); корректируют вектор синаптических весов нейронов w(n) с шагом коррекции η до завершения обучения ИНС.

2. Способ обучения искусственной нейронной сети (ИНС), предназначенной для решения задач классификации объектов, описываемых наборами числовых признаков (векторами) по п.1, отличающийся тем, что в случае затруднения эксперта с определением принадлежности какого-либо из K сгенерированных обучающих векторов u(n) входных сигналов ИНС к тому или иному из М классов, имеют возможность отказаться от работы с данным вектором и повторно генерируют новые обучающие векторы без определения их принадлежности до тех пор, пока не смогут корректно определить на основе знаний эксперта об исследуемых объектах принадлежность одного из вновь сгенерированных векторов.