СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ В НЕЙРОННЫХ СЕТЯХ Российский патент 2010 года по МПК G06F1/00 

Изобретение относится к вычислительной технике и может быть использовано при построении систем обработки информации.

Известен аппаратно-программный способ обработки информации в нейронных сетях, заключающийся в циклическом (по числу слоев в нейронной сети) выполнении последовательности операций извлечения из памяти матрицы цифровых кодов весов связей текущего слоя формальных нейронов и значений цифрового кода вектора входных данных, умножении цифрового кода вектора входных данных на матрицу цифровых кодов весов связей, формировании значений цифрового кода вектора выходных данных, преобразовании цифровых кодов координат вектора выходных данных посредством функции активации и фиксации цифрового кода вектора результата в памяти вычислительной машины [Галушкин А.И. Нейрокомпьютеры. Кн.3: Учеб. Пособие для вузов. / Общая ред. А.И.Галушкина. - М.: ИПРЖР, 2000, с.382-401].

Основной недостаток аппаратно-программного способа обработки информации в нейронных сетях - функциональная направленность на скоростное решение ограниченного круга задач.

Известен также программный способ обработки информации в нейронных сетях, согласно которому производится размещение в памяти цифровых кодов программ и процедур, эмулирующих нейронную сеть, последовательная выборка цифровых кодов команд из памяти, выполнение соответствующей командам последовательности машинных операций над цифровыми кодами данных и фиксация полученных цифровых кодов результатов в памяти вычислительной машины [Галушкин А.И. Нейрокомпьютеры. Кн.3: Учеб. Пособие для вузов. / Общая ред. А.И.Галушкина. - М.: ИПРЖР, 2000, с.50-81].

Недостатками данного способа обработки информации в нейронных сетях являются ограничения на размеры эмулируемой нейронной сети и «непрозрачность» процесса формирования результатов нейронной сетью для последующего анализа специалистами.

Наиболее близким к предлагаемому изобретению является способ обработки информации в нейронных сетях, заключающийся в том, что на входы нейронной сети подают представленные электрическими сигналами цифровые коды данных, соответствующие нечетким значениям координат входного вектора, которые преобразуют в соответствии со следующими этапами нечеткого логического вывода, а именно: на этапе введения нечеткости выполняют функциональное преобразование цифровых кодов каждого из нечетких значений координат входного вектора в пару цифровых кодов значений степени принадлежности каждого нечеткого значения двум функциям принадлежности «малая величина» и «большая величина», на этапе логического вывода цифровые коды значений степени принадлежности масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений в соответствии с системой правил логического вывода, описывающей нейронную сеть, на входы логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию min, и формируют цифровые коды координат промежуточного вектора, на этапе композиции цифровые коды координат промежуточного вектора масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений в соответствии с системой правил логического вывода, описывающей нейронную сеть, на входы логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию max, и формируют цифровые коды координат выходного вектора нейронной сети [Negnevitsky M. Artificial intelligence: a guide to intelligent systems. Addison-Wesley, 2002, p.271-275].

В качестве основного недостатка последнего способа обработки информации следует назвать отсутствие информационной избыточности вследствие однозначного отображения системы правил логического вывода, описывающей нейронную сеть, в структуру нейронной сети, образованной слоями логических формальных нейронов, взаимосвязанных взвешенными связями, и, как следствие, снижение функциональной устойчивости и информационной защищенности нейронной сети.

Задачей настоящего изобретения является повышение функциональной устойчивости и информационной защищенности за счет увеличения информационной избыточности нейронной сети.

Поставленная задача достигается тем, что на этапе логического вывода цифровой код каждой из координат промежуточного вектора преобразуют в два значения цифровых кодов посредством нелинейного функционального преобразования, осуществляемого двумя взаимодополняющими сжимающими функциями φ(x) и 1-φ(x), где x - цифровой код координаты промежуточного вектора, и формируют цифровые коды первого и второго промежуточных векторов, на этапе композиции цифровые коды координат первого промежуточного вектора масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений в соответствии с системой правил логического вывода, описывающей нейронную сеть, на входы логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию max, и формируют цифровые коды координат третьего промежуточного вектора, а цифровые коды координат второго промежуточного вектора масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений на входы дополнительных логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию min, и формируют цифровые коды координат четвертого промежуточного вектора, затем цифровые коды координат третьего и четвертого промежуточных векторов масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений на входы выходных логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию max, и формируют цифровые коды координат выходного вектора нейронной сети.

При реализации нейросетевых операционных устройств в соответствии с заявляемым способом обработки информации в нейронных сетях возникает технический результат - повышается надежность решения задачи вследствие сохранения нейронной сетью функциональности, как при поступлении неполных и не вполне достоверных данных, так и выхода из строя фрагмента нейронной сети.

На чертеже представлена структурная схема одного из возможных вариантов нейронечеткого операционного устройства на базе логических формальных нейронов, выполненного в соответствии с предлагаемым способом обработки информации в нейронных сетях.

Нейронечеткое операционное устройство содержит пары операционных блоков 1 и 2 (по числу координат входного вектора X), первые из которых реализуют функцию принадлежности S - «малая величина», а вторые - функцию принадлежности L - «большая величина», цифровые значения степени принадлежности с выходов которых масштабируются в операционных блоках prod 3 и подаются на входы логических формальных нейронов (ФН) 4, выполняющих операцию min и формирующих значения координат промежуточного вектора, каждое из которых преобразуются одноименными операционными блоками 5 и 6, реализующими соответственно взаимодополняющие сжимающие функции φ(x) и 1-φ(x), где x - значение координаты промежуточного вектора, и формирующими одноименные координаты первого и второго промежуточных векторов, координаты первого из которых масштабируются в операционных блоках prod 7, а второго - в операционных блоках prod 8 и подаются соответственно на входы логических ФН 9, выполняющих над взвешенными значениями операцию min, и входы дополнительных логических ФН 10, выполняющих над взвешенными значениями операцию max, в результате чего формируются соответственно третий и четвертый промежуточные векторы, координаты каждого из которых масштабируются в операционных блоках prod и подаются на входы выходных логических ФН 12, выполняющих над взвешенными значениями операцию max и формирующих координаты выходного вектора Y нейронной сети.

В качестве иллюстрации способа обработки информации в нейронных сетях рассмотрим функционирование нейронечеткого операционного устройства, изображенного на чертеже.

Подают представленные электрическими сигналами цифровые коды координат x₁, …, x_m, входного вектора X, соответствующие нечетким значениям входных непрерывных переменных, на входы операционных блоков 1 и 2, каждый из которых реализует функцию принадлежности соответственно S (Small) - «малая величина» и L (Large) - «большая величина».

Преобразуют цифровые коды координат х₁, …, x_m в соответствии с основными этапами нечеткого логического вывода.

На первом этапе (этап введения нечеткости) в операционных блоках 1 и 2 выполняют функциональное преобразование цифровых кодов каждого из нечетких значений координат входного вектора в пару цифровых кодов значений степени принадлежности каждого нечеткого значения двум функциям принадлежности соответственно S и L. Причем на выходах одноименных операционных блоков 1 и 2 формируют цифровые коды значений степени принадлежности, сумма которых равна 1.

Иначе говоря, исходя из значений нечетких координат входного вектора x_i, i=1…m, m - число входов нейронечеткого операционного устройства, формируют на выходах одноименных операционных блоков 1 и 2 пары взаимодополняющих нечетких высказываний S(x_i) и L(x_i), соответственно x_i есть S, x_i есть L, таких, что комплементарные пары значений истинности в сумме дают 1: S(x_i)+L(x_i)=1.

На втором этапе (этап логического вывода) цифровые коды значений степени принадлежности масштабируют посредством операционных блоков 3 prod путем умножения на значения весов соответствующих связей и подают цифровые коды взвешенных значений в соответствии с системой правил логического вывода, описывающей структуру нейронечеткого операционного устройства, на входы логических ФН 4

Логические ФН 4 выполняют операцию min над взвешенными значениями и формируют значения координат промежуточного вектора.

Каждую из координат промежуточного вектора преобразуют в операционных блоках 5 и 6, реализующих соответственно взаимодополняющие сжимающие функции φ(x) и 1-φ(х), где х - цифровой код координаты промежуточного вектора, и формируют одноименные координаты первого и второго промежуточных векторов.

Координаты первого и второго промежуточных векторов являются соответственно термами-произведениями и термами-дизъюнкциями, которые описываются отдельными правилами, входящими в системы соответственно конъюнктивных и дизъюнктивных правил логического вывода.

Системы правил логического вывода формально представляют в виде, аналогичном дизъюнктивной (ДНФ) или конъюнктивной (КНФ) нормальным формам, причем в качестве аргументов в термах-произведениях и термах-дизъюнкциях используют комплементарные пары нечетких высказываний S(x_i) и L(x_i).

Для увеличения избыточности нейронечеткого операционного устройства формальную запись систем правил логического вывода представляют в виде, аналогичном совершенной ДНФ совершенной КНФ. То есть термы-произведения и термы-дизъюнкции, реализующие соответственно операцию min и операцию max, представляют в виде соответственно минтермов и макстермов, т.е. содержащими все m аргументов вида S(x_i) и L(x_i).

Таким образом для увеличения избыточности нейронечеткого операционного устройства на выходах операционных блоков 5 и 6 формируют системы правил логического вывода, реализующих всевозможные сочетания термов, а именно: на выходах операционных блоков 5 - минтермов, на выходах операционных блоков 6 - макстермов.

На третьем этапе (этап композиции) координаты первого промежуточного вектора масштабируют в операционных блоках prod 7, а второго - в операционных блоках prod 8 путем умножения на значения весов одноименных связей и подают согласно системам правил логического вывода соответственно на входы логических ФН 9 и 10.

Логические формальные нейроны 9 выполняют над взвешенными значениями операцию min, а дополнительные логические ФН 10 - операцию max и формируют соответственно третий и четвертый промежуточные векторы.

Для увеличения избыточности нейронечеткого операционного устройства на этапе композиции для расчетов используют две группы логических ФН: в первую группу включают логические ФН 9, реализующие операцию max над минтермами (на чертеже операции max соответствует логическая операция дизъюнкции), во вторую группу - дополнительные логические ФН 10, реализующие операцию max над макстермами (операции max на чертеже соответствует логическая операция конъюнкции).

В результате преобразований на выходах логических ФН 9 реализуют цифровые коды прямого и инверсного представления системы конъюнктивных правил логического вывода (третий промежуточный вектор), а на выходах дополнительных логических ФН 10 - цифровые коды прямого и инверсного представления системы дизъюнктивных правил логического вывода (четвертый промежуточный вектор).

Координаты третьего и четвертого промежуточных векторов масштабируют в операционных блоках prod 11 путем умножения на значения весов одноименных связей и подают на входы выходных логических ФН 12.

Выходные логические ФН 12 выполняют операцию max над взвешенными значениями и формируют значения координат выходного вектора Y нейронечеткого операционного устройства.

Использование двух групп ФН в вычислениях на этапе композиции позволяет объединить на выходных логических ФН 12 соответствующие правила систем конъюнктивных и дизъюнктивных правил логического вывода (отдельно в прямом и инверсном представлении).

Таким образом, заявляемый способ обработки информации в нейронных сетях, согласно которому на этапе логического вывода цифровой код каждой из координат промежуточного вектора преобразуют в два значения цифровых кодов посредством нелинейного функционального преобразования, осуществляемого двумя взаимодополняющими сжимающими функциями φ(x) и 1-φ(x), где x - цифровой код координаты промежуточного вектора, и формируют цифровые коды первого и второго промежуточных векторов, на этапе композиции цифровые коды координат первого промежуточного вектора масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений в соответствии с системой правил логического вывода, описывающей нейронную сеть, на входы логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию max, и формируют цифровые коды координат третьего промежуточного вектора, а цифровые коды координат второго промежуточного вектора масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений на входы дополнительных логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию min, и формируют цифровые коды координат четвертого промежуточного вектора, затем цифровые коды координат третьего и четвертого промежуточных векторов масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений на входы выходных логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию max, и формируют цифровые коды координат выходного вектора нейронной сети, позволяет обеспечить увеличение информационной избыточности нейронной сети и, кроме того, повышение функциональной устойчивости и информационной защищенности нейросетевых устройств обработки информации.

Изобретение относится к вычислительной технике и может быть использовано при построении нейронных сетей. Техническим результатом является повышение функциональной устойчивости и информационной защищенности нейро-нечетких сетей за счет увеличения информационной избыточности. Для этого на этапе логического вывода цифровой код каждой из координат промежуточного вектора преобразуют в два значения цифровых кодов посредством нелинейного функционального преобразования, осуществляемого двумя взаимодополняющими сжимающими функциями φ(х) и 1-φ(х), где x - цифровой код координаты промежуточного вектора, и формируют цифровые коды первого и второго промежуточных векторов, на этапе композиции цифровые коды координат первого промежуточного вектора масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений в соответствии с системой правил логического вывода, описывающей нейронную сеть, на входы логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию max, и формируют цифровые коды координат третьего промежуточного вектора, а цифровые коды координат второго промежуточного вектора масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений на входы дополнительных логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию min, и формируют цифровые коды координат четвертого промежуточного вектора, затем цифровые коды координат третьего и четвертого промежуточных векторов масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений на входы выходных логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию max, и формируют цифровые коды координат выходного вектора нейронной сети. 1 ил.

Способ обработки информации в нейронных сетях, заключающийся в том, что на входы нейронной сети подают представленные электрическими сигналами цифровые коды данных, соответствующие нечетким значениям координат входного вектора, которые преобразуют в соответствии со следующими этапами нечеткого логического вывода, а именно: на этапе введения нечеткости выполняют функциональное преобразование цифровых кодов каждого из нечетких значений координат входного вектора в пару цифровых кодов значений степени принадлежности каждого нечеткого значения двум функциям принадлежности «малая величина» и «большая величина», на этапе логического вывода цифровые коды значений степени принадлежности масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений в соответствии с системой правил логического вывода, описывающей нейронную сеть, на входы логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию min, и формируют цифровые коды координат промежуточного вектора, на этапе композиции цифровые коды координат промежуточного вектора масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений в соответствии с системой правил логического вывода, описывающей нейронную сеть, на входы логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию max, и формируют цифровые коды координат выходного вектора нейронной сети, отличающийся тем, что на этапе логического вывода цифровой код каждой из координат промежуточного вектора преобразуют в два значения цифровых кодов посредством нелинейного функционального преобразования, осуществляемого двумя взаимодополняющими сжимающими функциями φ(x) и 1-φ(x), где x - цифровой код координаты промежуточного вектора, и формируют цифровые коды первого и второго промежуточных векторов, на этапе композиции цифровые коды координат первого промежуточного вектора масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений в соответствии с системой правил логического вывода, описывающей нейронную сеть, на входы логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию max, и формируют цифровые коды координат третьего промежуточного вектора, а цифровые коды координат второго промежуточного вектора масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений на входы дополнительных логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию min, и формируют цифровые коды координат четвертого промежуточного вектора, затем цифровые коды координат третьего и четвертого промежуточных векторов масштабируют посредством операции prod во взвешенных связях и подают цифровые коды взвешенных значений на входы выходных логических формальных нейронов, выполняющих над цифровыми кодами взвешенных значений операцию max, и формируют цифровые коды координат выходного вектора нейронной сети.