Данное изобретение относится к обучаемым двоичным системам.
До настоящего времени обучение в известных нейронных сетях выполняют путем модифицирования каждого веса процесса и порога каждого нейрона. Но поскольку действия указанных весов и порогов требуют усложненной аппаратуры в большом объеме, такой как сумматоры и умножители, и им требуется значительное время работы, реализовать крупногабаритную аппаратуру было трудно.
Данное изобретение разработано ввиду указанного недостатка, и объектом данного изобретения является обеспечение способов обучения в двоичных системах путем модифицирования подключенных состояний схемы в каждой элементарной двоичной схеме в двоичных комбинированных логических и последовательностных схемах, состоящих из элементарных двоичных вентилей, таких как вентили И, ИЛИ, НЕ, НЕ-И, НЕ-ИЛИ и ИСКЛЮЧАЮЩЕЕ ИЛИ.
Сущность изобретения
Для осуществления указанного объекта изобретения в способах обучения в двоичных системах согласно данному изобретению обучение выполняют при подключенных состояниях, в которых первый двоичный вентиль подключают ко второму двоичному вентилю посредством выбора любого из следующих четырех подключенных состояний:
1) напрямую-подключенное;
2) подключенное через инвертор;
3) подключенное к входному сигналу второго вентиля с двоичной 1;
4) подключение к входному сигналу второго вентиля с двоичным 0.
Энергии, иллюстрирующие подключающие состояния с высокими-низкими порядками, изображены на фиг. 1.
Это обучение осуществляют модифицированием псевдопотенциальных энергий, выражающих указанные выше подключающие состояния.
Модифицирование псевдопотенциальных энергий, иллюстрирующих упомянутые подключенные состояния, выполняют в соответствии с изображением на фиг. 2.
Упомянутую двоичную объединенную логическую схему конструируют с подключениями между элементарными двоичными вентилями, такими как вентили И, ИЛИ, НЕ, НЕ-И, НЕ-ИЛИ и ИСКЛЮЧАЮЩЕЕ ИЛИ, изображенными на фиг. 3.
Упомянутые последовательностные схемы состоят из комбинированной схемы и запоминающей схемы, и подключение между ними осуществляют в соответствии с изображением на фиг. 4, а комбинированную схему конструируют посредством элементарных двоичных вентилей, таких как вентили И, ИЛИ, НЕ, НЕ-И, НЕ-ИЛИ и ИСКЛЮЧАЮЩЕЕ ИЛИ.
Эти способы обучения также отличаются тем, что упомянутые подключенные состояния реализуют с помощью нейронов.
Эти способы обучения еще также отличаются тем, что обучение осуществляют модифицированием весов псевдонейронов и порогов.
В этих способах обучения модифицирование весов нейронов W и порогов θ изменяют в сторону направления убывания градиента интеграла вероятности ошибки E в соответствии с изображением на фиг.1.
Эти способы обучения также отличаются тем, что указанные подключенные состояния выражают с помощью псевдопотенциальной энергии (далее называемой ППЭ).
Эти способы обучения также отличаются тем, что ППЭ каждого вентиля имеет высокий-низкий порядок, определяемый на фиг. 1.
Эти способы обучения также отличаются тем, что обучение осуществляют модифицированием ППЭ в подключенных состояниях.
Эти способы обучения также отличаются тем, что модифицирование ППЭ в подключенных состояниях осуществляют в соответствии с изображением на фиг. 2.
Эти способы обучения также отличаются тем, что указанные двоичные комбинационные логические схемы состоят из элементарных вентилей И, ИЛИ, НЕ, НЕ-И, НЕ-ИЛИ или исключающего ИЛИ и подключений между ними в соответствии с изображением на фиг. 3.
Эти способы обучения также отличаются тем, что упомянутые последовательностные сети состоят из комбинационной схемы и запоминающей схемы в соответствии с изображением на фиг. 4, и комбинационная схема состоит из элементарных вентилей, таких как И, ИЛИ, НЕ, НЕ-И, НЕ-ИЛИ и исключающего ИЛИ и подключений между ними.
Упомянутые двоичные комбинационные логические схемы отличаются также тем, что они состоят из входного слоя, подключающего слоя, слоя И и слоя ИЛИ в соответствии с изображением на фиг. 5.
Упомянутые двоичные комбинационные логические схемы отличаются также тем, что они состоят из входного слоя, подключающего слоя, слоя ИЛИ и слоя И в соответствии с изображением на фиг. 6.
Упомянутые двоичные комбинационные логические схемы отличаются также тем, что они состоят из входного слоя, подключающего слоя, промежуточного слоя НЕ-И и выводящего слоя НЕ-И в соответствии с изображением на фиг. 7.
Упомянутые двоичные комбинационные логические схемы отличаются также тем, что они состоят из входного слоя, подключающего слоя, промежуточного слоя НЕ-ИЛИ и выводящего слоя НЕ-ИЛИ в соответствии с изображением на фиг. 8.
Упомянутые двоичные комбинационные логические схемы отличаются также тем, что они состоят из входного слоя, подключающего слоя, промежуточного слоя исключающего ИЛИ и выводящего слоя исключающего ИЛИ в соответствии с изображением на фиг. 9.
Краткое описание чертежей
Для лучшего понимания характеристик данного изобретения излагаемое ниже предпочтительное осуществление - только как пример и никоим образом не ограничение - описывают со ссылкой на прилагаемые чертежи, в которых:
Фиг. 1 - порядок псевдопотенциальной энергии состояний подключения;
Фиг. 2 - способ модифицирования псевдопотенциальной энергии состояний подключения;
Фиг. 3 - блок-схема комбинационной сети;
Фиг. 4 - блок-схема последовательностной сети;
Фиг. 5 - блок-схема сети И-ИЛИ;
Фиг. 6 - блок-схема сети ИЛИ-И;
Фиг. 7 - блок-схема сети вентилей НЕ-И;
Фиг. 8 - блок-схема сети вентилей НЕ-ИЛИ;
Фиг. 9 - блок-схема сети вентилей исключающего ИЛИ;
Фиг. 10 - истинностная таблица примеров двуместной функции;
Фиг. 11 - карта Карно для примеров двуместной функции;
Фиг. 12 - логическая схема примеров двуместной функции;
Фиг. 13 - схема пороговой функции и модели псевдонейрона;
Фиг. 14 - выражение состояния подключения с псевдонейроном;
Фиг. 15 - сеть И-ИЛИ одного выходного сигнала с псевдонейроном;
Фиг. 16 - непрерывная функция значений истинности, аппроксимированная к вентилю ИЛИ;
Фиг. 17 - непрерывная функция значений истинности, аппроксимированная к вентилю И;
Фиг. 18 - истинностная таблица сигналов обучения;
Фиг. 19 - истинностная таблица сигналов обучения;
Фиг. 20 - карта Карно корректировки порога Δθij;
Фиг. 21 - назначение состояний подключения псевдонейроном;
Фиг. 22 - карта Карно выходного сигнала псевдонейрона (Yij) с входным сигналом (Xj) и назначением состояния (q3, q2, q1)
Фиг. 23 - схемное выполнение алгоритма обучения;
Фиг. 24 (а) - схема перехода состояния обучения порога Δθ;
Фиг. 24 (б) - схема перехода состояния обучения веса Δ W;
Фиг. 25 (а) - таблица перехода состояния обучения порога;
Фиг. 25 (б) - таблица перехода состояния обучения веса;
Фиг. 26 - истинностная таблица для схемы обучения порога;
Фиг. 27 - истинностная таблица для схемы обучения веса;
Фиг. 28 - истинностная таблица схем модифицирования веса и порога;
Фиг. 29 - карта Карно для q'3;
Фиг. 30 - карта Карно для q'2;
Фиг. 31 - карта Карно для q'1;
Фиг. 32 - схема модифицирования с помощью комбинационной сети;
Фиг. 33 - схема модифицирования с помощью последовательностной сети;
Фиг. 34 - истинностная таблица подключающей схемы псевдонейрона;
Фиг. 35 - схема подключения псевдонейрона;
Фиг. 36 - блок-схема полной схемы обучения;
Фиг. 37 - истинностная таблица связывающей функции;
Фиг. 38 - схема алгоритма обучения с помощью способа псевдопотенциальной энергии;
Фиг. 39 - истинностная таблица схемы обучения состояния подключения;
Фиг. 40 - схема модифицирования обучения с помощью последовательностной сети;
Фиг. 41 - схема подключения;
Фиг. 42 - блок-схема полной схемы обучения с помощью способа псевдопотенциальной энергии;
Фиг. 43 - обучение в последовательностной сети.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Предпочтительное осуществление способов обучения в двоичных системах согласно данному изобретению ниже излагается подробно в качестве примера относительно логических схем, состоящих из слоя И и слоя ИЛИ согласно изображению на фиг. 5.
1. Подключенные состояния
Сначала следует описание подключенных состояний в осуществлении данного изобретения. При составлении двоичных систем любую логическую функцию выражают в виде логической суммы (состоящей из схемы И-ИЛИ в соответствии с изображением на фиг. 5). Например, логическую функцию фиг. 10 выражают в Ур. (2) упрощением карты Карно, изображенной на фиг. 11.
Логическую функцию Ур. (2) выражают в блок-схеме фиг. 12 с применением сети И-ИЛИ.
При этом подключающие состояния между входным слоем и слоем И определяют в любом одном из следующих четырех подключенных состояний согласно логической функции, а именно:
(1) Входной сигнал Xi включают в логический терм Иi (напр., подобно тому, как X2, изображенный на фиг. 12, включают и в И1, и в И2, X2 подключают напрямую);
(2) Отрицание входного сигнала Xi включают в логический терм Иi (например, входной сигнал X3 подключают к И2 через инвертор);
(3) Входной сигнал Xi и отрицание входного сигнала Xi не включают логический терм произведения Иj (например, между X3 и И1 подключения нет. То есть, входной сигнал от X3 к И1 обычно подключают к двоичной 1);
(4) Тот или иной входной сигнал обычно подключают к вентилю И с двоичным 0.
Соответственно, любую логическую функцию, имеющую n переменных, можно реализовать с сетью И-ИЛИ, состоящей из максимального числа 2n-1+1 вентилей И. Подключения между входным слоем и слоем И реализуют применением любого одного из числа указанных выше подключений.
2. Выражение Псевдонейроном
Упомянутые подключенные состояния можно выразить псевдонейроном (далее - "ПН"). Подключенные состояния между входными сигналами и выходными сигналами в ПН выражают пороговой функцией, изображенной в Ур. (3) или Ур. (4).
Где: Xi = i-й входной сигнал;
Yij = выходной сигнал ij-го псевдонейрона;
Wij = весовой множитель входного сигнала Хi в ij-й псевдонейрон;
θij = порог ij-го псевдонейрона.
В этом случае также псевдонейрон имеет только один входной сигнал и один выходной сигнал, a Wij принимает значение 1 или -1; θij принимает одно из следующих значений: -1,5; -0,5; 0,5; 1,5 в соответствии с изображением на фиг. 13 (а) или (б).
Поскольку входной сигнал Xi принимает только вид 0 или 1 в двоичных системах, то выходной сигнал из псевдонейрона принимает 1, либо 0 в соответствии с множительным коэффициентом Wij и порогом θij согласно фиг. 14.
Соответственно становится возможным выразить подключенное состояние между входным сигналом и вентилем И одним псевдонейроном.
Затем конструкцию И-ИЛИ, изображенную на фиг. 5, можно выразить, как изображено на фиг. 15, псевдонейроном между входным слоем и слоем И.
Изображенная на фиг. 15 сеть является слоевой и состоит из входного слоя, слоя псевдонейрона, слоя И и слоя ИЛИ, причем каждый слой состоит из соответствующего числа вентилей без какого-либо подключения в каждом самом вентиле. Подключение между каждым слоем ограничено только в одном направлении (а именно: по типу "подача вперед") из одного входного слоя в выходной слой. В вентилях каждого слоя, за исключением подключения между любым входным слоем и любым слоем псевдонейрона, подключение к переднерасположенному вентилю определяют как двоичное-1.
Если функцию отклика ПН аппроксимируют сигмоидальной функцией, а вентили И, ИЛИ аппроксимируют непрерывной минимальной, максимальной функцией значений истинности, то можно применять много алгоритмов, например таких как способ обратного распространения ошибок. Но модифицирование или обучение выполняют только посредством весов и порогов ПН.
3. Алгоритм обучения спуска градиента
Алгоритм обучения для подключенных состояний между входным слоем и слоем И в двоичной системе выводят следующим образом.
В отношении сети, изображенной на фиг. 5, нужные выходные сигналы, или преподавательские сигналы, рассматривают как T1, T2 _ _ _ Tm для данных входных сигналов X1, X2 _ _ _ Xn, а выходные сигналы сети фиг. 5 рассматривают как Z1, Z2 _ _ _ Zm, а интеграл вероятности ошибки E определяют как сумму квадратов согласно Ур. (5).
Обучение выполняют таким образом, что ошибка будет уменьшаться изменением весов (подключенных состояний) между входным слоем и слоем ПН, и порогами ПНов (все прочие подключения фиксированные). При изменении весов W и порогов θ в сторону направления спуска градиента значения исправления Δ W и Δθ выражают через Ур. (6).
В Ур. (6) εw и εθ определяют как принимающие только положительные значения. Для простоты рассмотрим одну сеть, требующую только один выходной сигнал и которая изображена на фиг. 15.
Через θij обозначим ij-й ПН между входным сигналом Xi и j-м вентилем И-Иj и обозначим его выходной сигнал, порог и вес как Yij, θij, Wij, тогда значения исправления Wij и θij будут выражены приводимыми ниже формулами Ур. (7).
Здесь, поскольку интеграл вероятности ошибки выражен в Ур. (8)
то выводят следующее уравнение Ур. (9)
Далее Ур. (10) выводят как Z = ИЛИ.
Соответственно, каждый вентиль ИЛИ аппроксимируют следующими непрерывными функциями Ур. (11).
На фиг. 11 М является максимумом входного сигнала, исключающего Иj
То есть, М = Мах (Иi, i = 1, 2, ---, i ≠ j)
Это отношение выражено на фиг. 16.
Соответственно, эти отношения выражают с помощью Ур. (12).
Аналогичным образом можно произвести аппроксимацию, как изображено в Ур. (13), в каждом вентиле И, обращенном к каждому входному сигналу.
Здесь m является минимумом всех входных сигналов, исключающих YIj.
То есть,
m = Min (Yik, k = 1, 2, ---, k ≠ j)
Это отношение выражают на фиг. 17. Соответственно, это отношение выражают с помощью уравнения Ур. (14).
Наконец, если Yij выразить согласно Ур. (15),
тогда Ур. (16) выводят следующим образом.
поскольку f'(x) ≥ 0 и предполагая, что f'(x) = 1, Δ Wij и Δθij удовлетворяют следующим уравнениям:
Δ Wij = - εw (Z-T) Sgn (Иj-M) Sgn (m-Yij)Xi
и
Δθij = -ε0 (Z-T) Sgn (Иj-M) Sgn (m-Yij)(-1), тогда исходя из того, что εw = 2, ε0 = 1, верхние отношения приводят к следующим:
Δ Wij= -2 (Z-T) Sgn (Иj - M) Sgn (m - Yij) Xi
Δθij = (Z - T) Sgn (Иj - M) Sgn (m - Yij)
В приводимых выше уравнениях, представляющих Δ Wij и Δθij, поскольку все количества выражают в двоичных системах, то подлежащие исправлению количества Δ Wij и Δθij имеют соответственно простые логические отношения с выходным сигналом Z, преподавательским сигналом Т, выходным сигналом Иj, вентиля И, выходным сигналом ПН, Yij и входным сигналом Xi.
Поэтому правила обучения можно реализовать с помощью логических схем. Модифицирование ограничивают 1, -1 или 0, которые указывают на то, что текущие веса и пороги увеличиваются, уменьшаются или сохраняются как одна единица, а одна единица определена как 1 для весов и 2 для порогов.
Выполнение Аппаратуры
(1) Аппаратурное Выполнение в Алгоритмах Обучения
Как указано выше, алгоритм обучения состоит только из логических операций между входными, выходными сигналами, преподавательскими сигналами, выходными сигналами из слоев И и выходными сигналами из ПНов и дает сигнал обучения относительно ПНов, чтобы увеличивать, или уменьшать, или сохранять соответствующие веса и пороги.
При этом, поскольку имеется три состояния, а именно: увеличение, уменьшение или сохранение, тогда если сигналом сохранения будет q = HP (высокое полное сопротивление), то увеличивающие и уменьшающие сигналы соответственно будут выражены как q = 1 и q = 0. То есть сигналы обучения для весов и порогов, определяемых Ур. (17) и (18), можно выразить в виде истинностной таблицы, изображенной на фиг. 18 и 19.
Поскольку эти истинностные таблицы (фиг. 18 и 19) можно выразить в виде карты Карно, тогда карту Карно, включая даже безразличные термы, можно выразить с помощью фиг. 20.
Из этих истинностных таблиц можно вывести логическую функцию сигналов обучения.
Соответственно, модифицирования весов и порогов определяют входным сигналом Xi, выходным сигналом Z, выходным сигналом из ПН (Yij), Иj и преподавательским сигналом Т. Тогда распределением подключенных условий (8 условий) ПНа, изображенного на фиг. 14, среди изображенных на фиг. 21 состояний посредством 3 разрядов (q3, q2, q1) логическую функцию, состоящую из выходного сигнала ПНа, входных сигналов и переменных (q3, q2, q1), выражают посредством карты Карно, изображенной на фиг. 22; из карты Карно далее получают следующее уравнение Ур.(19)
С помощью переключателей на МОП-транзисторах логическую схему для сигналов обучения, изображенных в Ур. (17) и (18), выражают согласно изображению на фиг. 23; логическая схема фиг. 23 дает 0 или 1 или HP в соответствии с упомянутым алгоритмом обучения.
(2) Веса и Пороги Модифицирования Схем
С помощью введения переменных состояния, подключающих каждый ПН согласно изображению на фиг. 21, приведение в действие модифицирующих схем для весов и порогов с помощью алгоритма обучения можно представить в виде схемы состояний и таблицы перехода состояния, изображенных на фиг. 24 и 25 соответственно.
Предписывание фиг. 24 и 25 в истинностные таблицы, изображенные на фиг. 26 и 27, дает уравнение Ур. (20), которое выражает функции перехода состояния.
либо эти функции выражают в следующем виде:
комбинирование и весов, и порогов дает истинностную таблицу, изображенную на фиг. 28.
Карта Карно для q'3, q'2, q'1 выражена на фиг. 29, 30 и 31 соответственно; и получают следующие уравнения Ур. (21):
Их схема выражена на фиг. 32.
С помощью триггеров задержки в качестве запоминающих устройств схему обучения выражают согласно фиг.33.
Обозначив как S(1), S(x), S (1-х) и S(0) 1-подключенное, напрямую-подключенное, инвертор-подключенное и 0-подключенное состояния подключенных состояний ПН соответственно, истинностную таблицу связывающей функции выражают согласно фиг. 34. С помощью этой ценностной таблицы фиг. 34 получают следующие логические функции, определяемые Ур. (22).
Соответственно, подключающую схему выражают согласно изображению на фиг. 35, а блок-схема полных обучающих схем, использующих ПН, изображена на фиг. 36.
3. Алгоритм Обучения и его Осуществление Применительно к Способу Псевдопотенциальной Энергии.
Алгоритмы обучения применительно к способу псевдопотенциальной энергии (далее - способ ППЭ) описывают для составления внутренней модели (подключенное состояние между внутренним слоем и слоем И) в двоичной системе И-ИЛИ, изображенной на фиг. 5.
Как указано выше, имеется четыре подключенных состояния: 1-подключенное, напрямую-подключенное, инвертор-подключенное и 0-подключенное.
Поэтому каждое подключенное состояние определяют приложением псевдопотенциальной энергии. Порядок псевдопотенциальной энергии от высокого до низкого предполагают следующим. Для 0-входного сигнала (1) 1-подключенное, (2) инвертор-подключенное, (3) напрямую-подключенное, (4) 0- подключенное; и для 1-входного сигнала (1) 1-подключенное, (2) напрямую-подключенное, (3) инвертор-подключенное и (4) 0-подключенное.
Относительно определенной выше квазипотенциальной энергии следует отметить, что чем выше эта псевдопотенциальная энергия, тем легче подключенное состояние дает 1-выходной сигнал. И, наоборот, чем ниже энергия, тем легче подключенные состояния дают 0-выходной сигнал. Поэтому, когда нужен выходной 1-выходного сигнала, необходимо изменить текущую псевдопотенциальную энергию на более высокое состояние. Наоборот, когда нужен выходной сигнал 0-выходного сигнала, необходимо будет изменить энергию на более низкое состояние. Обучение заключается в том, чтобы выходной сигнал сети совпал с преподавательским сигналом, и тогда обучение осуществляется модифицированием квазипотенциальной энергии подключения. При этом имеют в виду сеть И-ИЛИ, изображенную на фиг. 5.
Когда преподавательский сигнал равен 1, выходной сигнал Z равен 0, а выходной сигнал всех Иj становится 0. Чтобы выходной сигнал Z смог стать 1, необходимо сместить состояние (2) или (3) для 0-входного сигнала, и состояние (3) или (4) для 1-входного сигнала в состояние (2) или состояние (3), имеющие более высокие квазипотенциальные энергии, только при вводе Иj, т.е. Yij равно 0. В состоянии (1) и состоянии (2), когда двоичная 1 уже выведена, состояние (1) и состояние (2) соответственно сохраняются.
Когда преподавательский сигнал Т равен 0, выходной сигнал Z = 1, то по меньшей мере один выходной сигнал Иj продолжает выводить двоичную 1. Чтобы выходной сигнал мог быть в двоичным 0, нужно, чтобы все вентили Иj, выводящие двоичную 1, выводили двоичные нули. Когда Иj выводит двоичную 1, это означает, что подключенное состояние вентиля Иj находится в состоянии (1) или (2), имеющем более высокую потенциальную энергию. Соответственно, чтобы выходной сигнал мог быть в двоичном 0, необходимо сместить состояния (1) или (2), имеющие более высокие потенциальные энергии, в состояния (2) или (3), имеющие более низкие потенциальные энергии.
Исходя из вышеизложенного, становится возможным получение следующих сигналов обучения, иллюстрируемых в Ур. (23),
При этом, если S(1), S(x), S(1-х) и S(0) обозначают 1-подключенное, напрямую-подключенное, инвертор-подключенное и 0-подключенное состояние псевдонейрона и если назначить 11, 10, 01, 00 каждому из вышеуказанных четырех подключенных состояний с помощью 2-разрядного (q2, q1) двоичного кода, то логическое отношение между Yij и текущими состояниями q2q1, входным сигналом Xi выражают истинностной таблицей фиг. 37 и также их логическое отношение выражают следующим Ур. (24)
Сеть алгоритмов обучения также иллюстрирована на фиг. 38. Имея определенные выше переменные состояния, можно на фиг. 39 выразить комбинационную сеть в последовательностной сети. Таким образом, функцию перехода состояния можно получить из Ур. (25).
Затем, используя триггерные схемы задержки в качестве запоминающих устройств, схему модифицирования обучения можно реализовать со схемой, изображенной на фиг. 40. Подключенную схему можно также реализовать со схемой, изображенной на фиг. 41. Наконец, блок-схема полной схемы обучения, использующей способ псевдопотенциальной энергии, изображена на фиг. 42.
Аналогичным образом возможно увеличить внутренние состояния или сделать переходы состояния цикличными. Чтобы реализовать обучение, также можно использовать обычные ЦП и ПЗУ.
(4) Способ Обучения в Последовательностной Сети
Далее следует описание способа обучения для составления последовательностной сети.
Как указано выше, двоичная система, например, иллюстрируемая на Фиг. 5, является многослойной сетью типа "подачи вперед", состоящей из подключающего слоя, слоя И и слоя ИЛИ.
Обозначив входной сигнал символом X, связывающую функцию - символом С и выходной сигнал - символом Z, выходной сигнал Z будет выражен следующим образом:
Z = f(C, X).
Обучением является изменение связывающей функции С способом спуска градиента или способом псевдопотенциальной энергии.
Например, рассмотрим последовательностную сеть, состоящую из комбинационной сети с подключающим слоем, слоем И и слоем ИЛИ и запоминающей сети с триггерами задержки.
Последовательностную сеть можно представить следующими уравнениями:
Z(t) = F(C1(t), X(t), D(t-1))
D(t-1) = f(C2(t-1), x(t-1), D(t-2))
Таким образом:
Z(t) = f(C2(t), X(t), C2(t-1), X(t-1), D(t-2)),
где C1(t), C2(t) есть связывающие функции во время этапа Т и X(t), Z(t) и D(t) являются входным, выходным и внутренними состояниями во время этапа t соответственно.
Поэтому обучение можно осуществлять модифицированием связующих функций C1(t), C2(t-1) способом спуска градиента или способом псевдопотенциальной энергии.
Нужно отметить, что обучение не только зависит от входного сигнала X(t) и выходного сигнала Z(t) на этапе t, но также и от входного сигнала X(t-1) на этапе (t-1) и внутреннего состояния D(t-2). Поэтому
C1(t+1) = C1(t) + Δ C1
C2(t) = C2(t-1) + Δ C2,
где Δ C1 и Δ C2 есть подлежащие модифицированию количества.
Внутреннее состояние D(t) во время этапа t можно вычислить по следующему уравнению:
D(t) =f(C2(t), X(t), D(t-1))
В соответствии с приведенным выше подробным изложением в способе обучения в двоичных системах согласно данному изобретению первый двоичный вентиль и второй двоичный вентиль определяют как один из вентилей, содержащий вентиль ИЛИ, И, НЕ-ИЛИ, НЕ-И и исключающего ИЛИ, причем первый вентиль подключают ко второму вентилю в одном из следующих четырех подключенных состояний:
(1) напрямую-подключенное;
(2) подключенное через инвертор;
(3) двоичное 1-введенное во второй вентиль;
(4) двоичное 0-введенное во второй вентиль.
В этой двоичной системе обучение осуществляют выбором любого одного подключенного состояния из числа указанных четырех состояний.
В способе обучения в двоичных системах согласно данному изобретению входной сигнал подключают к любому одному из вентилей из числа вентилей ИЛИ, И, НЕ-ИЛИ, НЕ-И или исключающего ИЛИ в любом одном состоянии из числа перечисленных ниже четырех подключенных состояний:
(1) напрямую-подключенное;
(2) подключенное через инвертор;
(3) двоичное 1-введенное во второй вентиль;
(4) двоичное 0-введенное во второй вентиль.
В этой двоичной системе обучение осуществляют выбором любого одного подключенного состояния из числа указанных четырех состояний.
В способе обучения в двоичных системах согласно данному изобретению текущие входные сигналы и внутренние состояния, выражающие прошлую последовательность значений входных сигналов, подключают к любому одному вентилю из числа вентилей ИЛИ, И, НЕ-ИЛИ, НЕ-И или исключающего ИЛИ в любом одном состоянии из числа перечисленных ниже четырех подключенных состояний;
(1) напрямую-подключенное;
(2) подключенное через инвертор;
(3) двоичное 1-введенное во второй вентиль;
(4) двоичное 0-введенное во второй вентиль.
В этой двоичной системе обучение осуществляют выбором любого одного подключенного состояния из числа указанных выше четырех состояний.
В способе обучения в двоичных системах согласно данному изобретению подключение между указанным первым двоичным вентилем, или входным сигналом, и вторым двоичным вентилем выполняют таким образом, чтобы выбрать любое одно состояние из числа указанных выше четырех подключенных состояний по меньшей мере в соответствии с вычисленным результатом между входным сигналом в первый двоичный вентиль и преподавательским сигналом для обучения.
В способе обучения в двоичных системах согласно данному изобретению благодаря обеспечению псевдонейрона Q, определяемого ниже, между упомянутым первым двоичным вентилем (или входным сигналом) и вторым двоичным вентилем подключение между первым двоичным вентилем (или входным сигналом) и вторым двоичным вентилем определяют псевдонейроном Q, а выбор подключения (т.е. обучение) осуществляют модифицированием весов и порогов псевдонейрона Q.
Здесь псевдонейрон Q определяют как Q = f(WX, θ),
где:
f: пороговая функция, или сигмоидальная функция, или частичная линейная функция;
X: входной сигнал в псевдонейрон Q из первого двоичного вентиля;
W: вес между входным сигналом и псевдонейроном Q;
θ: порог псевдонейрона Q.
В способе обучения в двоичных системах в соответствии с данным изобретением системы содержат входной слой, пропускающий множество входных сигналов входных двоичных данных, и слой И с множеством вентилей И, слой ИЛИ с множеством вентилей ИЛИ, пропускающих выходные сигналы из входного сигнала слоя И; выходной слой, вводящий выходные сигналы из слоя ИЛИ, и подключающий слой с псевдонейронами Q, обеспечиваемыми между входным слоем и слоем И; подключения между входным слоем и слоем И выбирают из числа следующих подключенных состояний:
(1) входной слой напрямую подключают к слою И;
(2) входной слой подключают к вентилю И через инверторы;
(3) в качестве входных сигналов в слой И двоичная 1 всегда является входным сигналом;
(4) в качестве входных сигналов в слой И двоиный 0 всегда является входным сигналом.
При этом псевдонейрон Q определяют как
Q = f(WX, θ) и
f: является пороговой функцией, сигмоидальной функцией или частичной линейной функцией;
X: является входным сигналом в псевдонейрон Q;
W: вес между входным сигналом и псевдонейроном; и
θ: порог псевдонейрона.
В способе обучения в двоичной системе согласно данному изобретению система содержит входной слой, пропускающий множество входных сигналов входных двоичных данных, слой ИЛИ с множеством вентилей ИЛИ и слой И с множеством вентилей И, пропускающих выходной сигнал из входного сигнала слоя ИЛИ в нем, выходной слой, вводящий выходные сигналы из слоя И, и подключающий слой с псевдонейронами Q, обеспечиваемыми между входным слоем и слоем ИЛИ, а подключения между входным слоем и слоем ИЛИ выбирают из числа перечисленных ниже четырех подключенных состояний:
(1) входной слой напрямую подключают к слою ИЛИ;
(2) входной слой подключают к слою ИЛИ через инверторы;
(3) в качестве входных сигналов в слой ИЛИ всегда вводят двоичную 1;
(4) в качестве входных сигналов в слой ИЛИ всегда вводят двоичный 0.
При этом псевдонейрон Q определяют как Q = f(WX, θ) и
f: является пороговой функцией, сигмоидальной функцией или частичной линейной функцией;
X: является входным сигналом в псевдонейрон Q;
W: вес между входным сигналом и псевдонейроном; и
θ: порог псевдонейрона.
В способе обучения в двоичной системе согласно данному изобретению система содержит входной слой, пропускающий множество входных сигналов двоичных данных, промежуточный слой НЕ-И с множеством вентилей НЕ-И, выходной слой НЕ-И с множеством вентилей НЕ-И, вводящих выходной сигнал из промежуточного слоя НЕ-И; выходной слой, вводящий выходной сигнал выходного слоя НЕ-И, и подключающий слой с псевдонейронами Q, обеспечиваемыми между входным слоем и промежуточным слоем НЕ-И, а подключения между входным слоем и промежуточным слоем НЕ-И выбирают из числа перечисленных ниже подключенных состояний:
(1) входной слой напрямую подключают к слою НЕ-И;
(2) входной слой подключают к слою НЕ-И через инверторы;
(3) в качестве входных сигналов в слой НЕ-И всегда вводят двоичную 1;
(4) в качестве входных сигналов в слой НЕ-И всегда вводят двоичный 0.
При этом псевдонейрон Q определяют как Q = f(WX, θ) и
f: является пороговой функцией, сигмоидальной функцией или частичной линейной функцией;
X: является входным сигналом, вводимым в псевдонейрон Q;
W: вес между входным сигналом и псевдонейроном и
θ: порог псевдонейрона.
В способе обучения в двоичной системе согласно данному изобретению система содержит входной слой, пропускающий множество входных сигналов двоичных данных, промежуточный слой НЕ-ИЛИ с множеством вентилей НЕ-ИЛИ, выходной слой ИЛИ-НЕ с множеством вентилей НЕ-ИЛИ, вводящих выходной сигнал из промежуточного слоя НЕ-ИЛИ; выходной слой, вводящий выходной сигнал из выходного слоя НЕ-ИЛИ, и подключающий слой с псевдонейронами Q, обеспечиваемыми между входным слоем и промежуточным слоем НЕ-ИЛИ, выбранным из числа перечисленных ниже подключенных состояний:
(1) входной слой напрямую подключают к промежуточному слою НЕ-ИЛИ;
(2) входной слой подключают к промежуточному слою НЕ-ИЛИ через инверторы;
(3) в качестве входных сигналов в промежуточный слой ИЛИ-НЕ всегда вводят двоичную 1;
(4) в качестве входных сигналов в промежуточный слой ИЛИ-НЕ всегда вводят двоичный 0.
При этом псевдонейрон Q определяют как Q = f(WX, θ) и
f: является пороговой функцией, сигмоидальной функцией или частичной линейной функцией;
X: является входным сигналом, вводимым в псевдонейрон Q;
W: вес между входным сигналом и псевдонейронами; и
θ: порог псевдонейрона.
В способе обучения в двоичной системе согласно данному изобретению система содержит входной слой, пропускающий множество входных сигналов двоичных данных, промежуточный слой исключающего ИЛИ с множеством вентилей исключающего ИЛИ, выходной слой исключающего ИЛИ с множеством вентилей исключающего ИЛИ, вводящих выходной сигнал из промежуточного слоя исключающего ИЛИ, выходной слой, вводящий выходной сигнал из выходного слоя исключающего ИЛИ, и подключающий слой с псевдонейронами Q, обеспечиваемыми между входным слоем и промежуточным слоем исключающего ИЛИ, причем оба слоя подключают любым способом, выбранным из перечисленных ниже четырех подключенных состояний:
(1) входной слой напрямую подключают к промежуточному слою исключающего ИЛИ;
(2) входной слой подключают к промежуточному слою исключающего ИЛИ через инверторы;
(3) в качестве входных сигналов в промежуточный слой исключающего ИЛИ всегда вводят двоичную 1;
(4) в качестве входных сигналов в промежуточный слой исключающего ИЛИ всегда вводят двоичный 0.
При этом псевдонейрон Q определяют как Q = f(WX, θ) и f:
f: является пороговой функцией, сигмоидальной функцией или частичной линейной функцией;
X: является входным сигналом, вводимым в псевдонейрон;
W: вес между входным сигналом и псевдонейроном; и
θ: порог псевдонейрона.
В этих способах обучения в двоичных системах согласно данному изобретению их отличие в том, что модифицирование весов и порогов псевдонейронов выполняют способом убывающего градиента.
В этих способах обучения в двоичных системах согласно данному изобретению их отличие также в том, что псевдопотенциальные энергии каждого из элементарных вентилей вычисляют вместе с выражением подключенных состояний указанного выше подключающего слоя, и в том, что обучение выполняют модифицированием псевдопотенциальных энергий подключенных состояний.
ЭФФЕКТЫ ИЗОБРЕТЕНИЯ
Применением этих способов обучения в двоичных системах согласно данному изобретению можно получить эффекты обучения в течение очень короткого периода обучения согласно изложенному выше описанию. Поскольку все функции реализуют простыми логическими вентилями, становится возможным нетрудное конструирование и использование той части, которая выполняет логическую операцию алгоритма обучения и модифицирования схемы.
Поскольку эти способы обучения легко выполняются в обычном компьютере и прочем цифровом оборудовании, то можно надеяться, что эти способы обучения будут широко использоваться в обработке изображения, речи, редактировании и управлении движениями.
Изобретение относится к обучаемым двоичным системам. Технический результат заключается в упрощении и повышении быстродействия. Согласно изобретению способы обучения в двоичных системах осуществляются посредством модифицирования подключенных состояний схемы в каждом элементарном двоичном вентиле в двоичных объединенных логических и последовательностных схемах, состоящих из элементарных двоичных вентилей, таких как вентили И, ИЛИ, НЕ, НЕ-И, НЕ-ИЛИ и ИСКЛЮЧАЮЩЕЕ ИЛИ. Путем соответствующего применения теории псевдонейрона и теории псевдопотенциальной энергии возможно добиться заданных эффектов обучения за очень короткий период. Осуществление способов обучения в обычном компьютере с помощью цифрового оборудования не вызывает затруднений и может широкого применяться в таких областях, как обработка изображения, обработка речи или редакционная обработка. 8 с. и 12 з.п.ф-лы, 43 ил.
Q = f(WX, θ),
где f является пороговой функцией, или сигмоидальной функцией, или частичной линейной функцией;
Х является входным сигналом, вводимым в псевдонейрон Q;
W является весом между входным сигналом и псевдонейроном Q;
θ является порогом псевдонейрона Q.
Q = f(WX, θ),
где f является пороговой функцией, или сигмоидальной функцией, или частичной линейной функцией;
Х является входным сигналом, вводимым в псевдонейрон Q;
W является весом между входным сигналом и псевдонейроном Q;
θ является порогом псевдонейрона Q.
Q = f(WX, θ),
где f является пороговой функцией, или сигмоидальной функцией, или частичной линейной функцией;
Х является входным сигналом, вводимым в псевдонейрон Q,
W является весом между входным сигналом и псевдонейроном Q;
θ является порогом псевдонейрона Q.
Прибор для очистки паром от сажи дымогарных трубок в паровозных котлах | 1913 |
|
SU95A1 |
US 5050095 A, 17.09.1991 | |||
Пожарный двухцилиндровый насос | 0 |
|
SU90A1 |
ОБУЧАЮЩЕЕСЯ УСТРОЙСТВО | 0 |
|
SU200888A1 |
УСТРОЙСТВО для МОДЕЛИРОВАНИЯ ОПОЗНАЮЩЕЙ НЕЙРОННОЙ СЕТИ | 0 |
|
SU268759A1 |
Авторы
Даты
2001-06-10—Публикация
1997-11-05—Подача