ИСКУССТВЕННЫЙ НЕЙРОН (ВАРИАНТЫ) Российский патент 2016 года по МПК G06N3/63 G06N3/67 

Изобретение относится к бионике и вычислительной технике и может быть использовано в качестве структурно-функционального элемента искусственных нейронных сетей для моделирования биологических нейронных сетей, а также для построения параллельных нейрокомпьютеров и других вычислительных систем, предназначенных для решения различных прикладных задач, в том числе задач распознавания образов, классификации данных, обработки изображений, математических операций и создания искусственного интеллекта.

Известен искусственный нейрон и способ его использования (патент ЕР 0629969, опубликован 21.12.1994), где искусственный нейрон в качестве центрального элемента содержит умножитель, который производит умножение входящих сигналов, синаптического веса и генерирует выходной сигнал.

Недостатком данного искусственного нейрона является то, что он представляет собой процессорное устройство с аппаратно реализованным алгоритмом функционирования, неспособное к реализации адаптивного поведения, которое, в свою очередь, характеризуется определением типа входящих сигналов, способностью запоминания весов синапса и кратковременного сохранения поступающих информационных сигналов с последующим затуханием. Таким образом, данное устройство имеет большие ограничения в плане полного эмулирования функционирования биологического нейрона. Жестко заложенный алгоритм также делает данное устройство узкоспециализированным, не имеющим возможности модернизации алгоритма функционирования без изменения электронной схемы устройства.

Известен искусственный нейрон (US 7672918 от 02.03.2010), представляющий собой процессорное устройство, имеющее несколько сигнальных входов, вход значения порога и один выход.

Недостатком данного искусственного нейрона также является то, что он представляет собой узкоспециализированное процессорное устройство с аппаратно реализованным алгоритмом функционирования, неспособное к реализации адаптивного поведения и полного эмулирования функционирования биологического нейрона.

Наиболее близким аналогом изобретения является искусственный нейрон (патент US 7080054 от 18.07.2006), предназначенный для моделирования биологического нейрона. Устройство оснащено информационными входами, которые подразделены на возбуждающие и тормозящие типы, модулирующим входом и одним выходом потенциала действия. Устройство реализовано на КМОП-транзисторах.

Недостатком данного устройства также является узкоспециализированность под конкретный алгоритм функционирования, отсутствие адаптивного поведения, позволяющего регулировать и запоминать синаптические веса на короткое или длительное время, которое является основой организации кратковременной или долговременной памяти нейронной сети, приближенной к биологическому прототипу. Также существенным недостатком с точки зрения эмулирования биологического нейрона является то, что логика реализована аппаратно, что препятствует ее модификации, что, в свою очередь, исключает возможность организации гетерогенных нейронных сетей и изменения алгоритма функционирования.

Задачей заявляемого изобретения является создание универсального программируемого искусственного нейрона с возможностью индивидуальной настройки параметров (количество, типы и веса синапсов; временные параметры входящих и выходящих сигналов, пороги и т.д.) и многократного изменения алгоритма функционирования путем перепрограммирования.

Технический результат заявляемого изобретения заключается в возможности программирования и перепрограммирования каждого элементарного искусственного нейрона, входящего в состав искусственной нейронной сети, на выполнение того или иного определенного алгоритма функционирования, что в свою очередь расширяет функциональные возможности в плане реализации различных типов и моделей нейронных сетей, а также обеспечивает широкую независимость алгоритма функционирования от аппаратной архитектуры искусственного нейрона и дает возможность без изменения электронной схемы или структуры нейронной сети создавать функционально как гомогенные нейронные сети, где все нейроны обладают одинаковыми алгоритмами функционирования, так и гетерогенные нейронные сети, где все или несколько нейронов обладают различными алгоритмами функционирования.

Поставленная задача и технический результат достигаются за счет того, что заявляемый искусственный нейрон является электронной вычислительной машиной, содержащей кроме информационных и модулирующих входов, информационных выходов, вычислительное ядро, состоящее из процессорного устройства, энергонезависимой памяти программы, оперативной памяти и энергонезависимой памяти данных, взаимодействующих между собой через системную шину.

Предлагаемый искусственный нейрон универсален, т.е. позволяет создавать искусственную нейронную сеть любого типа, в том числе персептроны, когнитроны, реккурентные сети, сверточные сети, сети Хопфилда, сети Кохонена, спайковые сети и т.д.

Предлагаемый искусственный нейрон имеет один или более информационных входов, один или более модулирующих входов и один или более информационных выходов. Через информационные и модулирующие входы и информационные выходы искусственный нейрон соединяется с другими искусственными нейронами или иными устройствами для обмена данными, образуя искусственную нейронную сеть.

Вычислительное ядро предлагаемого искусственного нейрона может иметь в своем составе аналого-цифровые преобразователи на информационных и модулирующих входах и цифро-аналоговые преобразователи на информационных выходах, что позволяет заявляемому устройству работать с аналоговыми сигналами. Также информационные входы и модулирующие входы могут принимать сигналы через оптические приемники, а информационные выходы могут передавать сигналы через оптические передатчики. Это обеспечивает искусственному нейрону возможность приема и передачи данных через оптические каналы связи, например через оптоволоконные линии.

Процессорное устройство выполняет машинные инструкции, записанные в виде кода программы, и может иметь любую возможную архитектуру, в том числе CISC, RISC, MISC, URISC.

Энергонезависимая память программы хранит машинный код программы, реализующий алгоритм функционирования искусственного нейрона.

Оперативная память позволяет хранить выполняемый машинный код программы, а также входные, выходные и промежуточные данные, обрабатываемые процессорным устройством, в том числе кратковременное значение уровня выходного сигнала.

Энергонезависимая память данных обеспечивает долговременное хранение данных, в том числе долговременное значение уровня выходного сигнала.

В свою очередь, структуры энергонезависимой памяти программы, энергонезависимой памяти данных и оперативной памяти могут быть организованы по любой возможной архитектуре, в том числе по фон-неймановской и гарвардской.

Системная шина обеспечивает обмен данными между информационными и модулирующими входами, информационными выходами, процессорным устройством, энергонезависимой памятью программы, оперативной памятью и энергонезависимой памятью данных.

Алгоритм функционирования искусственного нейрона может целиком задаваться в загружаемой программе или частично задаваться в загружаемой программе и частично - в виде логической структуры вычислительного ядра.

Заявляемое изобретение поясняется на схеме 1 и схеме 2.

На схеме 1 дана структурная схема заявляемого устройства.

Схема содержит следующие блоки:

Информационные входы - 1;

Модулирующие входы - 2;

Информационные выходы - 3;

Вычислительное ядро - 4;

Процессорное устройство - 5;

Энергонезависимая память программы - 6;

Оперативная память - 7;

Энергонезависимая память данных - 8;

Системная шина - 9.

На схеме 2 дана структурная схема заявляемого устройства с наличием аналого-цифровых преобразователей и цифро-аналоговых преобразователей:

Аналого-цифровой преобразователь - 10;

Цифро-аналоговый преобразователь -11.

На схеме 3 дана структурная схема заявляемого устройства с наличием оптических приемников и оптических передатчиков:

Оптические приемники - 12;

Оптические передатчики -13.

Заявляемое устройство реализуется следующим образом. В вычислительное ядро (4) подается питание. В энергонезависимую память программы (6) загружается программа, описывающая алгоритм функционирования искусственного нейрона, который представляет собой последовательность машинных инструкций. Обмен данными между всеми узлами вычислительного ядра осуществляется через системную шину (9). Программа считывается процессорным устройством (5) для последующего исполнения.

Согласно стандартному алгоритму функционирования нейрона поступивший на информационный вход (1) сигнал распознается процессорным устройством (5) на тип и, в зависимости от результата распознавания, классифицируется на возбуждающий или тормозящий тип данных, определяется его уровень.

Таким же образом обрабатываются сигналы на других имеющихся информационных входах (1).

Уровни поступивших на информационные входы (1) тормозящих и возбуждающих сигналов, которые ниже порога генерации потенциала действия, сохраняются процессорным устройством (5) в ячейках оперативной памяти (7) с последующим затуханием. Чувствительность информационного входа (1), типология поступающих сигналов и темп затухания их уровней задается в программе в виде констант.

Если сигнал имеется лишь на одном информационном входе (1) и принятый сигнал является возбуждающим и имеет уровень, равный порогу генерации потенциала действия или выше этого порога, то процессорное устройство (5) приступает к генерации выходящего сигнала, называемого потенциалом действия.

Значение порога, при котором искусственный нейрон генерирует потенциал действия, задается в программе в виде константы.

Если сигналы имеются на нескольких информационных входах (1) или последующие сигналы поступили до полного затухания первого поступившего сигнала, то процессорное устройство (5) производит алгебраическое суммирование входящих сигналов, суть которого заключается в вычислении разности сумм возбуждающих и тормозящих сигналов. Если результат суммирования сигналов равен порогу генерации потенциала действия или выше его, то процессорное устройство (5) приступает к генерации потенциала действия.

Затем процессорным устройством (5) опрашиваются модулирующие входы (2). Каждый модулирующий вход (2) управляет своим конкретным информационным выходом (3). Если нет сигнала на модулирующем входе (2), то сигнал сгенерированного потенциала действия выводится на информационный выход (3) без изменений на основе текущих установок уровня данного информационного выхода (3).

Если же сигнал на модулирующем входе (2) имеется, то сигнал распознается на тип, классифицируется, определяется его уровень и в зависимости от этого уровня процессорное устройство (5) модулирует уровень потенциала действия и выводит его через зависимый от данного модулирующего входа (2) информационный выход (3). Уровень модулирования для данного информационного выхода (3) сохраняется процессорным устройством (5) в оперативной памяти (7) на определенное короткое время, затем уровень приходит к начальным установкам. Если сигнал одного уровня периодически повторяется заданное число раз на одном модулирующем входе (2), то уровень модулирования зависимого информационного выхода (3) сохраняется процессорным устройством (5) в энергонезависимую память данных (8). Таким образом, эмулируется кратковременная и долговременная память биологического нейрона.

После завершения модуляции потенциал действия выводится через информационные выходы (3).

При реализации заявляемого устройства, снабженного аналого-цифровыми (10) и цифро-аналоговыми преобразователями (11), искусственный нейрон принимает аналоговые сигналы через информационные входы (1) и модулирующие входы (2). После чего аналоговый сигнал поступает в аналого-цифровой преобразователь (10) и оцифровывается. Оцифрованный сигнал поступает в процессорное устройство (5) и обрабатывается по вышеописанной схеме, а выходящий сигнал сгенерированного потенциала действия поступает в цифро-аналоговый преобразователь (11) и преобразуется в аналоговый сигнал, который выводится через информационные выходы (3).

При реализации искусственного нейрона, принимающего и передающего данные через оптические каналы связи, входящие сигналы поступают по оптическому каналу связи в виде света на входной оптический приемник (12), представляющий собой фотоэлемент, а выходящий сигнал сгенерированного потенциала действия поступает на оптический передатчик (13), представляющий собой светоизлучатель, который преобразует сигнал в свет.

Таким образом, заявляемое изобретение обеспечивает наиболее полное эмулирование функционирования биологического нейрона, а его универсальность и многократность применения дает существенную экономию аппаратных ресурсов.

Изобретение относится к бионике и вычислительной технике и может быть использовано в качестве структурно-функционального элемента искусственных нейронных сетей для моделирования биологических нейронных сетей, а также для построения параллельных нейрокомпьютеров и других вычислительных систем, предназначенных для решения различных прикладных задач, в том числе задач распознавания образов, классификации данных, обработки изображений, математических операций и создания искусственного интеллекта. Техническим результатом является обеспечение наиболее полного эмулирования функционирования биологического нейрона, а также универсальность и многократность применения, что дает существенную экономию аппаратных ресурсов. Устройство содержит информационные и модулирующие входы, информационные выходы, вычислительное ядро, состоящее из процессорного устройства, энергонезависимой памяти программы, оперативной памяти и энергонезависимой памяти данных, взаимодействующих между собой через системную шину. 4 з.п. ф-лы, 3 ил.

1. Искусственный нейрон, содержащий информационные входы, модулирующие входы, информационные выходы и вычислительное ядро, работающее согласно определенному алгоритму функционирования и состоящее из процессорного устройства, энергонезависимой памяти программы, оперативной памяти и энергонезависимой памяти данных, взаимодействующих через системную шину.

2. Искусственный нейрон по п. 1, отличающийся тем, что вычислительное ядро имеет в своем составе аналого-цифровые преобразователи на информационных входах и модулирующих входах и цифро-аналоговые преобразователи на информационных выходах.

3. Искусственный нейрон по п. 1, отличающийся тем, что вычислительное ядро имеет в своем составе оптоэлектронные приемники на информационных входах и модулирующих входах и оптоэлектронные передатчики на информационных выходах.

4. Искусственный нейрон по п. 1, отличающийся тем, что алгоритм функционирования задается программой, загруженной в энергонезависимую память программы.

5. Искусственный нейрон по п. 1, отличающийся тем, что алгоритм функционирования задается логической структурой вычислительного ядра, а программа, загруженная в энергонезависимую память программы, задает необходимые для функционирования переменные и константы.