ИСКУССТВЕННЫЙ НЕЙРОН Российский патент 2016 года по МПК G06N3/63 

Изобретение относится к вычислительной технике и может быть использовано при построении систем обработки информации в нейросетевом базисе, в том числе для распознавания образов (классификации).

Наиболее близким по выполнению устройством является искусственный нейрон [Хайкин С. Нейронные сети: полный курс, 2e издание: пер. с англ. /С. Хайкин. - М.: Издательский дом «Вильямс», 2006. - 1104 с., с. 42-43], включающий входные сигналы, набор весовых коэффициентов, умножители входного сигнала на весовой коэффициент, сумматор, блок функции активации.

Недостатком известного устройства является использование заданных на этапе обучения и неизменяемых в процессе функционирования значений весовых коэффициентов, что приводит к ограниченным вычислительным возможностям и требует совместного использования нескольких нейронов в одном аппаратном устройстве при решении задач многопараметрической классификации.

Техническим результатом является возможность использования одного нейрона в одном вычислительном блоке при решении задач многопараметрической классификации за счет использования в процессе функционирования искусственного нейрона, изменяемых в зависимости от величины входного сигнала весовых коэффициентов.

Технический результат достигается тем, что устройство включает блок входных сигналов, соединенный с одним или несколькими узлами умножения входной величины на весовой коэффициент, каждый из которых соединен с сумматором, выход которого соединен со входом блока функции активации, каждый узел умножения входной величины на весовой коэффициент включает умножитель входного сигнала на весовой коэффициент и блок формирования весового коэффициента, включающий блок сравнения входной и пороговых величин, один из входов которого соединен с одним из выходов блока входных сигналов, подключенным к одному из входов умножителя входного сигнала на весовой коэффициент, другие входы блока сравнения соединены с выходами ячеек памяти постоянного запоминающего устройства, с записанными в них пороговыми величинами, выход блока сравнения подключен ко входу коммутатора, другие входы которого соединены с выходами ячеек памяти постоянного запоминающего устройства с записанными в них весовыми коэффициентами, выход коммутатора подключен к другому входу умножителя входного сигнала на весовой коэффициент, выход которого соединен с одним из входов сумматора.

Отличием предлагаемого устройства является наличие, между блоком входных сигналов и умножителем входного сигнала на весовой коэффициент, блока формирования весового коэффициента, включающего блок сравнения входной и пороговых величин, связанный с блоком входных сигналов и с постоянным запоминающим устройством с записанными в его ячейках памяти пороговыми величинами, а также коммутатором, связанным с постоянным запоминающим устройством с записанными в ячейках памяти весовыми коэффициентами.

Наличие блока сравнения входной и пороговых величин позволяет сравнить каждое значение входного сигнала с заблаговременно задаваемыми пороговыми величинами и по результатам сравнения выбрать с помощью коммутатора весовой коэффициент, соответствующий данному входному сигналу.

Наличие коммутатора позволяет считывать из ячеек памяти постоянного запоминающего устройства весовой коэффициент, соответствующий данному входному сигналу.

Таким образом, наличие блока формирования весового коэффициента позволяет сравнить каждое значение входного сигнала с заблаговременно задаваемыми пороговыми величинами и выбрать соответственно результату сравнения один из множества заранее определенных весовых коэффициентов для последующего его умножения на величину входного сигнала (то есть весовые коэффициенты являются изменяемыми в зависимости от величины входного сигнала).

На фиг. 1 представлена схема предлагаемого искусственного нейрона, где:

M_i - узел умножения входной величины на весовой коэффициент;

F_i - блок формирования весового коэффициента;

T_i - постоянное запоминающее устройство с записанными в ячейках памяти пороговыми величинами;

W_i - постоянное запоминающее устройство с записанными в ячейках памяти весовыми коэффициентами;

1 - блок входных сигналов;

$$\left\{\text{1}\text{.1}\text{,}\dots \text{,1}\text{.i}\text{,}\dots \text{1}\text{.m}\right\}$$ - выходные сигналы блока входных сигналов, поступающие на разные узлы умножения входной величины на весовой коэффициент;

1.i.1 - выходной сигнал блока входных сигналов, поступающий на блок формирования весового коэффициента одного из узлов умножения входной величины на весовой коэффициент;

1.i.2 - выходной сигнал блока входных сигналов, поступающий на умножитель одного из узлов умножения входной величины на весовой коэффициент;

$$\left\{{\text{θ}}_{\text{i}}^{\left(\text{1}\right)},\dots ,{\text{θ}}_{\text{i}}^{\left(\text{n}\right)}\right\}$$ - ячейки памяти постоянного запоминающего устройства T_i, с записанными пороговыми значениями;

$$\left\{\mathrm{2.1,}\dots \mathrm{,2.}\text{n}\right\}$$ - группа линий связи между ячейками памяти постоянного запоминающего устройства T_i и блоком 3 сравнения входной и пороговых величин;

4 - линия связи между блоком 3 сравнения входной и пороговых величин и коммутатором 5;

$$\left\{{\text{w}}_{\text{i}}^{\left(1\right)},\dots ,{\text{w}}_{\text{i}}^{\left(\text{z}\right)}\right\}$$ - ячейки памяти постоянного запоминающего устройства W_i, с записанными весовыми коэффициентами;

$$\left\{\mathrm{6.1,}\dots \mathrm{,6.}\text{z}\right\}$$ - группа линий связи между ячейками памяти постоянного запоминающего устройства W_i и коммутатором 5;

7 - линия связи между коммутатором 5 и умножителем 8 входного сигнала на весовой коэффициент;

8 - умножитель входного сигнала на весовой коэффициент;

$$\left\{\mathrm{9.1,}\dots \mathrm{,9.}\text{i},\dots \mathrm{,9.}\text{m}\right\}$$ - группа линий связи между узлами M умножения входной величины на весовой коэффициент и сумматором 10;

11 - линия связи между сумматором 10 и блоком функции активации 12;

13 - вывод выходного значения.

В предлагаемом устройстве блок 1 входных сигналов связан линиями связи $$\left\{\mathrm{1.1,}\dots \mathrm{,1.}\text{i},\dots \mathrm{,1.}\text{m}\right\}$$ через узлы M умножения входной величины на весовой коэффициент с одной из m-групп $$\left\{\mathrm{9.1,}\dots \mathrm{,9.}\text{i},\dots \mathrm{,9.}\text{m}\right\}$$ входов сумматора 10, выход 11 которого поступает на блок 12 функции активации, выход 13 из которого является выходом устройства.

Устройство работает следующим образом. Перед включением информационный сигнал преобразуется в форму, воспринимаемую устройством, и заносится в блок 1 входных сигналов. При включении устройства входной сигнал блока 1 по группе линий связи $$\left\{\mathrm{1.1,}\dots \mathrm{,1.}\text{i},\dots \mathrm{,1.}\text{m}\right\}$$ поступает на соответствующий вход блока 3 сравнения входной и пороговых величин, где осуществляется сравнение величины одного из входных сигналов блока 1 с множеством пороговых значений, заданных в ячейках $$\left\{{\text{θ}}_{\text{i}}^{\left(\text{1}\right)},\dots ,{\text{θ}}_{\text{i}}^{\left(\text{n}\right)}\right\}$$ памяти и поступающих по линиям связи $$\left\{\mathrm{2.1,}\dots \mathrm{,2.}\text{n}\right\}$$ . В зависимости от произведенного сравнения на выходе 4 блока 3 сравнения входной и пороговых величин формируется сигнал, определяющий адрес считываемого значения весового коэффициента из ячеек памяти $$\left\{{\text{w}}_{\text{i}}^{\left(1\right)},\dots ,{\text{w}}_{\text{i}}^{\left(\text{z}\right)}\right\}$$ .

Принцип определения считываемого весового коэффициента заключается в сопоставлении в каждом блоке М_i входной величины одного из входных сигналов блока 1 в с заданными заранее порогами $$\left\{{\text{θ}}_{\text{i}}^{\left(\text{1}\right)},\dots ,{\text{θ}}_{\text{i}}^{\left(\text{n}\right)}\right\}$$ в блоке 3 сравнения входной и пороговых величин и выборе коммутатором 5 соответствующего для данного входного сигнала весового коэффициента в постоянном запоминающем устройстве W_i. В обобщенном виде соотношение, описывающее получение весовых коэффициентов, имеет вид:

$${\text{W}}_{\text{i}}=\{\begin{array}{l}{\text{w}}_{\text{i}}^{\left(\text{1}\right)},\text{если}{\text{x}}_{\text{i}}>{\text{θ}}_1,\\ ⋮\\ {\text{w}}_{\text{i}}^{\left(\text{j}+\text{1}\right)},\text{если}{\text{θ}}_{\text{j}}<{\text{x}}_{\text{i}}<{\text{θ}}_{\text{j}+\text{1}},\\ ⋮\\ {\text{w}}_{\text{i}}^{\left(\text{z}\right)},\text{если}{\text{x}}_{\text{i}}<{\text{θ}}_{\text{n}};\end{array}$$

где $$\text{i}$$ - номер узла умножения; $${\text{x}}_{\text{i}}$$ - выходное значение блока входных сигналов, связанное с $$\text{i}$$ -м узлом умножения; $$\text{j}$$ - номер ячейки памяти постоянного запоминающего устройства Т_i; $$\text{z}=\left(\text{n}+\text{1}\right)$$ - количество ячеек памяти с записанными в них весовыми коэффициентами постоянного запоминающего устройства W_i; $$\text{n}$$ - количество ячеек памяти с записанными в них пороговыми величинами постоянного запоминающего устройства T_i.

Считываемое значение весового коэффициента, поступающее по линиям связи $$\left\{\mathrm{6.1,}\dots \mathrm{,6.}\text{z}\right\}$$ , поступает по линии связи 7 на умножитель 8, где умножается на значение входной величины 1.i, поступающее по линии связи 1.i.2. Полученный после умножения результат передается с выхода умножителя 8 через одну из линий связи группы $$\left\{\mathrm{9.1,}\dots \mathrm{,9.}\text{i},\dots \mathrm{,9.}\text{m}\right\}$$ на сумматор 10. В сумматоре 10 происходит суммирование взвешенных входных значений, поступивших с разных узлов M умножения входной величины на весовой коэффициент. Результат 11 суммирования поступает на блок 12 функции активации, в котором формируется выходной сигнал, поступающий на вывод 13, откуда сигнал преобразуется в форму, пригодную для последующей передачи и обработки.

Ниже иллюстрируется осуществление изобретения на примере задачи «Ирисы Фишера» [Бэстенс Д.-Э. Нейронные сети и финансовые рынки: принятие решений в торговых операциях /Д.-Э. Бэстенс, В.-М. ван ден Берг, Д. Вуд. - М.: ТВП, 1997. - 236 с., с. 35-37].

Набор данных для задачи классификации «Ирисы Фишера» состоит из данных о 150 экземплярах ириса, по 50 экземпляров из трех видов растений - ирис щетинистый (iris setosa), ирис виргинский (iris virginica), ирис разноцветный (iris versicolor). Для каждого экземпляра применяются четыре характеристики: длина чашелистика, ширина чашелистика, длина лепестка и ширина лепестка. На основании данного набора данных требуется обеспечить классификацию видов растений по данным измерений.

На первом этапе поступающая измерительная информация преобразуется в форму, пригодную для обработки искусственным нейроном. Задаваемые характеристики экземпляров ирисов определяются как множество масштабированных в интервале [0,1] входных значений $$\text{X}=\left\{\text{x}{}_{\text{1}}\text{,}{\text{x}}_{\text{2}}{\text{,x}}_{\text{3}}{\text{,x}}_{\text{4}}\right\}$$ . Устройство имеет один выход $$\text{y}$$ , поэтому для определения класса ирисов выделим для каждого сорта ирисов уровень выходной величины в интервале [0,1]: $$\text{y}>\mathrm{0,75}$$ - первый сорт ирисов (ирис щетинистый), $$\mathrm{0,5}<\text{y}<\mathrm{0,75}$$ - второй сорт ирисов (ирис виргинский), $$\text{y}<\mathrm{0,35}$$ - третий сорт ирисов (ирис разноцветный). С учетом данных выходных уровней сигналов перед включением устройства в ячейки памяти постоянных запоминающих устройств T₁-T₄ и W₁-W₄ заносятся соответствующие значения порогов и весовых коэффициентов. В конкретном случае для каждого входного параметра записываются следующие величины порогов: $${\text{T}}_1=\left\{0.7;0.75\right\}$$ , $${\text{T}}_2=\left\{0.37;0.38\right\}$$ , $${\text{T}}_3=\left\{0.25;0.64\right\}$$ , $${\text{T}}_4=\left\{0.05;0.2\right\}$$ . Соответственно, для решения данной задачи весовые коэффициенты, записанные в соответствующие ячейки памяти блоков W₁-W₄ для каждой из трех категорий входных сигналов, составят следующие значения:

$${\text{W}}_1=\{\begin{array}{l}{\text{w}}_1^{\left(1\right)}=\mathrm{0.7930,}\text{если}{\text{x}}_1>\mathrm{0.75,}\\ {\text{w}}_1^{\left(2\right)}=\mathrm{0.8247,}\text{если}0.7<{\text{x}}_1<\mathrm{0.75,}\\ {\text{w}}_1^{\left(3\right)}=\mathrm{0.8415,}\text{если}{\text{x}}_1<0.7;\end{array}$$ $${\text{W}}_2=\{\begin{array}{l}{\text{w}}_2^{\left(1\right)}=\mathrm{0.5370,}\text{если}{\text{x}}_2>\mathrm{0.3846,}\\ {\text{w}}_2^{\left(2\right)}=\mathrm{0.4884,}\text{если}0.3718<{\text{x}}_2<\mathrm{0.3846,}\\ {\text{w}}_2^{\left(3\right)}=\mathrm{0.4802,}\text{если}{\text{x}}_2<0.3718;\end{array}$$

$${\text{W}}_3=\{\begin{array}{l}{\text{w}}_3^{\left(1\right)}=-\mathrm{1.610,}\text{если}{\text{x}}_3>\mathrm{0.64,}\\ {\text{w}}_3^{\left(2\right)}=-\mathrm{1.480,}\text{если}0.25<{\text{x}}_3<\mathrm{0.64,}\\ {\text{w}}_3^{\left(3\right)}=\mathrm{2.0608,}\text{если}{\text{x}}_3<0.25;\end{array}$$ $${\text{W}}_4=\{\begin{array}{l}{\text{w}}_4^{\left(1\right)}=-\mathrm{1.3034,}\text{если}{\text{x}}_4>\mathrm{0.2,}\\ {\text{w}}_4^{\left(2\right)}=-\mathrm{0.1207,}\text{если}0.05<{\text{x}}_4<\mathrm{0.2,}\\ {\text{w}}_4^{\left(3\right)}=-\mathrm{1.3622,}\text{если}{\text{x}}_4<0.05;\end{array}$$

С учетом сделанных настроек устройство готово к работе. Зададимся конкретными значениями информационных входных сигналов из набора данных «Ирисы Фишера», например: длина чашелистика - 6,3 см; ширина чашелистика - 3,3 см; длина лепестка - 6,0 см; ширина лепестка - 2,5 см, которые соответствуют третьему сорту ирисов - ирис разноцветный. После масштабирования информационных сигналов в интервал [0,1] набор входных значений принимает вид: $$\text{X}=\left\{0.7949;0.4103;\text{}0.7564;0.3077\right\}$$ .

На фиг. 2 представлен искусственный нейрон, реализованный в одном вычислительном блоке, реализующий решение задачи «Ирисы Фишера». После включения устройства соответствующие входные сигналы 1.1, 1.2, 1.3, 1.4 из блока 1 входных сигналов поступают на соответствующие блоки сравнения 3.1, 3.2, 3.3, 3.4, где сравниваются с заранее заданными пороговыми значениями, записанными в ячейки памяти постоянных запоминающих устройств T₁, T₂, T₃, T₄. По результатам сравнения коммутаторы 5.1, 5.2, 5.3, 5.4 считывают из ячеек памяти постоянных запоминающих устройств W₁, W₂, W₃, W₄ соответствующие значения весовых коэффициентов - $${\text{w}}_1^{\left(1\right)}=0.7930$$ , $${\text{w}}_2^{\left(1\right)}=0.5370$$ , $${\text{w}}_3^{\left(1\right)}=-1.610$$ , $${\text{w}}_4^{\left(1\right)}=-1.3034$$ . Считанные значения весовых коэффициентов по соответствующим линиям связи 7.1, 7.2, 7.3, 7.4 поступают на умножители 8.1, 8.2, 8.3, 8.4, куда так же по линиям связи 1.1.2, 1.2.2, 1.3.2, 1.4.2 поступают значения соответствующих входных сигналов 1.1, 1.2, 1.3, 1.4. В умножителях происходит умножение входных сигналов на соответствующие им весовые коэффициенты, после чего взвешенные значения сигналов поступают на сумматор 11, где происходит их суммирование. Выходное значение сумматора поступает на блок 13 функции активации. Полученное вычисленное выходное значение составляет $$\text{y}=0.3143$$ , что соответствует, как показано выше, третьему сорту ирисов и совпадает с исходным набором данных.

Таким образом, предлагаемое устройство позволяет в одном вычислительном блоке решить задачу многопараметрической классификации, за счет использования в составе искусственного нейрона изменяемых в зависимости от величины входного сигнала весовых коэффициентов. При этом сохраняется присущее нейросетевой технологии свойство обобщения входной информации.

Изобретение относится к вычислительной технике и может быть использовано при построении систем обработки информации в нейросетевом базисе, в том числе для распознавания образов (классификации). Техническим результатом является возможность обеспечения многопараметрической классификации. Устройство содержит блок входных сигналов, узлы умножения входной величины на весовой коэффициент, сумматор, блок функции активации, каждый узел умножения входной величины на весовой коэффициент включает умножитель входного сигнала на весовой коэффициент и блок формирования весового коэффициента, включающий блок сравнения входной и пороговых величин, ячейки памяти постоянного запоминающего устройства, с записанными в них пороговыми величинами, коммутатор, ячейки памяти постоянного запоминающего устройства с записанными в них весовыми коэффициентами. 2 ил.

Искусственный нейрон, характеризующийся тем, что включает блок входных сигналов, соединенный с одним или несколькими узлами умножения входной величины на весовой коэффициент, каждый из которых соединен с сумматором, выход которого соединен со входом блока функции активации, каждый узел умножения входной величины на весовой коэффициент включает умножитель входного сигнала на весовой коэффициент и блок формирования весового коэффициента, включающий блок сравнения входной и пороговых величин, один из входов которого соединен с одним из выходов блока входных сигналов, подключенным к одному из входов умножителя входного сигнала на весовой коэффициент, другие входы блока сравнения соединены с выходами ячеек памяти постоянного запоминающего устройства, с записанными в них пороговыми величинами, выход блока сравнения подключен ко входу коммутатора, другие входы которого соединены с выходами ячеек памяти постоянного запоминающего устройства с записанными в них весовыми коэффициентами, выход коммутатора подключен к другому входу умножителя входного сигнала на весовой коэффициент, выход которого соединен с одним из входов сумматора.