Способ обработки информации в импульсной нейронной сети Российский патент 2019 года по МПК G06K9/62 G06N3/04 

Область применения

Изобретение относится к области реализации нейронных сетей на базе связанных осцилляторов, в том числе на базе оксидных структур с эффектом электрического переключения, представляющих собой осцилляторную нейронную сеть импульсного типа, которая может использоваться для распознавания и классификации образов.

Уровень техники

Искусственные нейронные сети активно применяются в задачах распознавания изображений и речи, а также в компьютерных вычислениях и кодировании данных. Функциональная значимость синхронизации в процессах обработки информации стимулировала построение моделей нейронных сетей с осцилляторной динамикой и нейроморфных алгоритмов обработки изображений, основанных на этом эффекте.

Осцилляторные нейронные сети (ОНС) в основном базируются на схемах фазовых осцилляторов, предполагающих медленное изменение амплитуд колебаний с узкополосным спектром. Такие схемы, в первую очередь модель Курамото, оказались чрезвычайно полезны в изучении систем различных топологий с большим числом (N>10³) осцилляторов, где возможны режимы не только глобальной синхронизации, но и кластерной, а также режимы захвата среднего поля и квазисинхронизации.

С другой стороны, существует другой класс ОНС, где базовыми элементами являются релаксационные осцилляторы, генерирующие последовательности импульсов. Такие импульсы (спайки) могут кодировать информацию в частоте их следования. Имеется важное отличие ОНС импульсного типа от классических спайковых (импульсных) нейронных сетей - это автоколебательный режим нейроосцилляторов. Кроме того, ОНС интересны в плане простоты аппаратных реализаций, а также из-за того, что разрабатываемые микро- и наноэлектронные автогенераторы могут обеспечить их компактность и энергоэффективность.

ОНС импульсного типа, где спектр периодических колебаний имеет многочастотный характер, обладает также особым режимом синхронизации кратных гармоник или, по-другому, эффектом синхронизация высокого порядка [1]. Этот эффект недавно продемонстрирован нами экспериментально на примере термически связанных VO₂-осцилляторов [2], где также приведена модель термически связанных релаксационных осцилляторов. В подобных релаксационных генераторах с пленочными элементами на основе двуокиси ванадия осцилляции инициируются за счет эффекта электрического переключения, обусловленного фазовым переходом металл-изолятор [3]. Заметим, что ОНС с эффектом синхронизации высокого порядка может быть реализована также используя электрические связи между осцилляторами, и не только на базе VO₂-переключателей, но и на базе любых переключательных элементов, таких как тиристоры, туннельные диоды, ячейки резистивной памяти и т.д.

Известен способ распознавания образов на основе выявления состояний синхронизации осцилляторной системы, находящейся под воздействием квазипериодического сигнала. В этом способе система потенциально может находиться в одном из устойчивых фазовых состояний, а положение этих устойчивых состояний регулируется внешним квазипериодическим сигналом. Осцилляторы соединены по топологии общая шина, каждый из которых должен иметь различные частоты. Если в систему подается квазипериодический сигнал, содержащий в своем спектре гармоники, частоты которых равны разности частот между каждым из осцилляторов, то такая система может синхронизоваться на определенной частоте с определенным фазовым портретом. Такая система эквивалентна полносвязной сети с фазовым кодированием [5].

В этом случае амплитуды гармоник внешнего квазипериодического сигнала будут являться весовыми коэффициентами динамической связи и определяют, какое устойчивое состояние синхронизации активно в данный момент. Тестовый образ будет задаваться вектором разностей частот, а схема распознавания иметь две стадии. Вначале на массив осцилляторов должен воздействовать внешний квазипериодический сигнал, соответствующий тестовому образу. После установления тестовой разности фаз внешний сигнал должен измениться на сигнал, соответствующий целевым запомненным образам. В зависимости от того в какое фазовое состояние приходит система мы классифицируем тестовый образ.

Недостатком данного способа является необходимость генерации сложного квазипериодического сигнала, а также наличие двухстадийной процедуры распознавания образов.

Существует способ запоминания образов для ассоциативной памяти, представленный в патенте [6], основанный на смещении частот осцилляторов. В начальном состоянии частоты связанных осцилляторов не различаются или различаются слабо, что приводит к их синхронизации на частоте первой гармоники. Запоминаемый информационный образ кодируется с помощью векторов изменения напряжения или тока питания осцилляторов, что приводит к рассинхронизации связанных осцилляторов и смещению частот каждого отдельного осциллятора от центральной частоты. Тестовый образ задается вектором изменения токов или напряжений для обратного смещения частот осцилляторов. При совпадении тестового и запомненного образов (или при их незначительном отличии) происходит возврат частот осцилляторов к центральной частоте, и их синхронизация на частоте первой гармоники.

Основным недостатком данного устройства является то, что данная нейронная сеть позволяет запоминать для последующего распознавания только один образ, кодируемый через вектора смещений частот связанных осцилляторов, относительно момента их синхронизации на первой гармонике.

Наиболее близким к заявляемому способ, который принят за прототип, является пространственно-временное распознавание образов, представленное в патенте [7], где используется эффект синхронизации связанных активных нейронов слоя (слоев) спайковой (импульсной) нейронной сети.

Нейроны, расположенные в слоях данной сети, связаны между собой весовыми коэффициентами, где локальные соединения внутри одного слоя или между слоями являются возбуждающими, а глобальные соединения между нейронами разных слоев через блок регулирования являются тормозящими. На вход данной сети подаются импульсы в соответствии с шаблоном, активирующие отдельные группы нейронов входного слоя (слоев). Нейронам, которые находятся в состояниях активации, соответствует белые области визуального изображения, неактивированным нейронам - черные области изображения.

Распознавание тестового образа, заключается в том, что области активных нейронов, которые инициируются в соответствии с его шаблоном, должны примерно совпадать с областями активных нейронов запомненного образа. Кроме того, эти нейроны должны генерировать импульсы, которые совпадают между собой по времени, то есть, имеют временную синхронизацию. Настройка сети под синхронизацию (в случае совпадения тестового образа с запомненным) достигается варьированием весовых коэффициентов соединений между нейронами.

Для выявления синхронизации групп активных нейронов необходимо регистрировать временные отсчеты их последних всплесков (генераций спайков), а также временные интервалы между последними всплесками нейронов соответствующих областям тестового и запомненного шаблона. С помощью этих параметров можно вычислить коэффициент стабилизации, определяемый как дисперсию (среднее значение вариации) интервалов между последними всплесками активных нейронов. Существует связь между коэффициентом стабилизации синхронизации нейронов сети и сходством записанного и тестового изображений: все нейроны активных областей входят в синхронизацию с минимальным значением коэффициента стабилизации, когда эти изображения начинают совпадать.

Данный способ распознавания может использовать разные модели нейронов или их комбинации: модель Ванга и Термана, простая или квадратичная интегрально-пороговые модели, модель Ижикевича, модель Фицхью-Нагамо, модель Мориса-Лекара, полиномиальные нейроны Уилсона, модель Ходжкина-Хаксли.

Основным недостатком данного способа [7] является то, что импульсная нейронная сеть может запоминать и распознавать (в единичном акте по времени) один образ, а для распознавания n образов необходимо n входных слоев сети.

Технический результат предлагаемого изобретения состоит в том, что данный способ обработки информации в импульсной нейронной сети позволяет запоминать и распознавать множество образов (n>1), используя один входной слой сети.

Достигается технический результат за счет того, что в качестве нейронов используют осцилляторы, обеспечивающие взаимную синхронизацию сигналов на кратных гармониках (высокого порядка), а для классификации образов используют многоуровневые состояния синхронизации выходного осциллятора, определяемые семейством метрик - величиной синхронизации высокого порядка (SHR) и величиной эффективности синхронизации (η), относительно задающего осциллятора, имеющего постоянную частоту осцилляций.

Перечень фигур

Фиг. 1 Схема ОНС с трансляцией входного образа через установку питающих токов нейронов входного слоя (для варианта с матрицей 3×3). Задающий нейрон (№0) связан со всеми нейронами входного слоя, что показано стрелками (и цифрой "0") на каждом нейроне.

Фиг. 2 Пример спектров двух осцилляций при синхронизации порядка k₁:k₂=3:2, где k_i - номера гармоник на основной частоте синхронизации F_s, I_swi и - амплитуды токов и частоты первых гармоник осцилляторов (i=1 и 2).

Фиг. 3 Схема осциллятора (а) и пример взаимодействия осцилляторов через термическую связь (с силой Δ) VO₂ переключателей (b). I_p и I_sw(t) - токовые источник питания и сигнал на VO₂ переключателе, являющийся выходным, U_n - источник шума.

Фиг. 4 Пример распределение 512 фигур на 102 класса по признаку зеркально-поворотной симметрии для матрицы 3×3.

Фиг. 5 Принцип распознавания классов (классификации) фигур нейронной сети с одним входным слоем нейронов и одним выходным нейроном.

Фиг. 6 Результаты обучения при различных значения тока I_ON: примеры корректного (a-d) и некорректного (е) решений задачи.

На Фиг. 1 представлена схема ОНС, где входной образ транслируется на слой нейронов (матрица 3×3) с номерами i=1…9, таким образом, что каждому нейрону этого слоя сопоставлено два значения питающих токов I_OFF и I_ON для белых и черных ячеек матрицы изображения, соответственно. В общем случае матрица входного слоя нейронов может иметь любую размерность, токовые уровни могут отличаться для разных нейронов входного слоя, также как и токи питания задающего I₀ (№0) и выходного I₁₀ (№10) нейронов.

Силы связи между нейронами ОНС могут быть неравными, и обозначены на Фиг. 1 следующим образом: Δ^i,j - силы связей между нейронами входного слоя с номерами i и j, Δ^i,10 - сила связи между нейроном входного слоя (i) и выходным нейроном (№10), Δ^i,0 - сила связи между задающим нейроном (0) и нейронами матрицы входного слоя (i). В зависимости от физического механизма взаимодействия нейронов они могут быть соединены, электрическими (через резисторы и конденсаторы), термическими или магнитными связями, а входной слой (слои) может иметь полносвязную топологию - все со всеми, или неполносвязную - отсутствие некоторых связей между осцилляторами. Запись образа в импульсную нейронную сеть производят настройкой сил связей и уровней питающих токов всех нейронов сети.

Распознавание тестируемого образа осуществляется на основе синхронизации высокого порядка задающего и выходного нейронов, при этом каждому записанному образу соответствует определенное значение порядка синхронизации. В нашей задаче основным техническим вопросом является метод определения этого порядка, характеризуемый величиной SHR:

где k₀ и k₁₀ - порядки синхронизации гармоник задающего и выходного нейронов, соответственно.

Методика определения SHR на примере двух осцилляторов подробно описана нами в работе [2]. Согласно этой методике существует правило, что если пара осцилляторов синхронизируется на субгармониках, на общей частоте их синхронизации F_s, то синхронное состояние будет определяться как отношение F_s к частотам первых гармоник этих осцилляторов :

Пример спектров релаксационных колебаний 2-х осцилляторов при их синхронизации порядка k₁:k₂=3:2 показан на Фиг. 2. Наличие или отсутствие синхронизации определяется пороговым способом с использованием величины эффективности синхронизации η [2], так что при η≥η_th система из двух осцилляторов считалается синхронизованной. Обычно используемое нами значение η_th=90%.

Пример исполнения

Пример организации взаимодействия осцилляторов через термическую связь VO₂ переключателей показан на рисунке Фиг. 3. Модель термической связи основана на уменьшении порогового напряжения включения переключателя U_th величину Δ при термическом воздействии других переключателей. Это воздействие, обусловлено выделением Джоулева тепла на переключателях при протекании через них импульсного тока в момент разрядки емкости С.

Для численного моделирования использовались следующие параметры ВАХ VO₂ переключателей (U_th=5 V, U_h=1.5 V, U_bv=0.82 V, R_off=9.1 kΩ, R_on=615 Ω), а емкость в схемах осцилляторов была С=100 nF. В этом случае диапазон собственной частоты осцилляций F₀ составлял 165≤F₀≤1266 Hz при изменении тока питания 550÷1061 μА.

Все осцилляторы в схеме (в том числе задающий и выходной) - идентичны, то есть имеют одинаковые переключатели по параметрам ВАХ, одинаковые емкости, сопротивления и пары возможных значений питающих токов (I_OFF и I_ON). Во входном слое (матрице) ОНС осцилляторы соединены только между ближайшими соседями, и только по горизонтальным и вертикальным линиям (не по диагоналям) с одинаковыми по силе термическими связями: Δ^i,j=Δ^j,i=Δ_mat. Таким образом, центральный осциллятор в матрице имеет четыре связи, угловые осцилляторы - две связи, а осцилляторы в центрах граней - три связи (с центральным осциллятором и двумя угловыми). Задающий осциллятор действует на все осцилляторы с одинаковой силой связи Δ^i,0≡Δ0, а нейроны матрицы воздействуют на выходной осциллятор с одинаковой силой связи Δ^i,10≡Δ_out. Таким образом, имеем три независимых параметра связей ОНС (Фиг. 1): Δ₀, Δ_mat и Δ_out.

В силу симметрии данной схемы ОНС существует распределения пространственных образов (фигур) по классам (Фиг. 4), в каждом из которых для всех входных образов SHR между задающим и выходным осцилляторами должны иметь одинаковое значение. В этом случае можно оперировать не распознаванием конкретной образа, а распознаванием класса, к которому относится данная фигура образа. В каждом классе фигуры имеют одинаковое число черных (белых) ячеек и зеркально-поворотную симметрию, которая предполагает совмещение фигур в отдельно взятом классе при операции отражения относительно центральных столбцов (по горизонтали и вертикали), а также при повороте на 90° относительно центра квадрата.

Таким образом, из всего возможного набора фигур (512) имеем их распределение на 102 класса, а простейшую задачу распознавания можно сформулировать следующим образом. Из общего числа классов фигур определить множество с числом элементов Р:S={Класс № S₁, Класс № S₂… Класс № S_P}, которому поставлен в однозначное соответствие набор синхронизаций высокого порядка по уровню эффективности η≥η_th=90%: SHR={SHR⁽¹⁾, SHR⁽²⁾ … SHR^(P)}. Это означает, что каждому элементу из множества S соответствует уникальный порядок синхронизации SHR, т.е. не повторяющиеся с другими классами отношения k₀:k₁.

Мы реализовали простой перебор значений уровня питающего тока I_ON с шагом изменения δI_ON=1 μА в диапазоне 550÷800 μA при фиксировании уровня I_OFF=918 μA и токов питания задающего и выходного осцилляторов: I₀=I₁=750 μA. Силы связей также были фиксированы (в вольтах): Δ_mat=Δ₀=0.2 В и Δ_out=0.1 В, а порог эффективности синхронизации η_th=90%.

Принцип работы устройства ОНС, обученной перебором питающих токов, демонстрирует рисунок Фиг. 5 на примере Р=3, а на рисунках Фиг. 6 показан варианты распознавания одного, двух, трех и пяти классов, а также пример некорректного решения, когда двум классам фигур соответствует одинаковый порядок синхронизации. Таким образом, во всех примерах решения задачи подобраны такие параметры сети, что определенному классу из множества S соответствует уникальный порядок синхронизации из множества SHR, в то же время для других классов синхронизация выходного осциллятора отсутствует, то есть η<η_th.

В процессе моделирования схемы ОНС с одним выходным осциллятором, представленной на Фиг. 1, с помощью простого перебора уровней питающих токов осцилляторов входного слоя, получены варианты решений задачи, для которых сеть с одним входным слоем способна распознать число образов (Р) больше одного, в полном соответствии с техническим результатом предлагаемого изобретения.

БИБЛИОГРАФИЯ

[1] A. Pikovsky, М. Rosenblum, and J. Kurths, Synchronization: a universal concept in nonlinear sciences. Cambridge: Cambridge University Press, 2001.

[2] A. Velichko, M. Belyaev, V. Putrolaynen, V. Perminov, and A. Pergament, "Thermal coupling and effect of subharmonic synchronization in a system of two VO2 based oscillators", Solid. State. Electron., vol. 141, pp. 40-49, Mar. 2018.

[3] M.A. Belyaev et al., "Switching Channel Development Dynamics in Planar Structures on the Basis of Vanadium Dioxide", Phys. Solid State, vol. 60, no. 3, pp. 447-456, Mar. 2018.

[4] F.C. Hoppensteadt and E. Izhikevich, "Oscillatary neurocomputers with dynamic connectivity," US 6957204 B1, 18.10.2005.

[5] F.C. Hoppensteadt and E.M. Izhikevich, "Phase-locked loop oscillatory neurocomputer," US 7280989 B1, 09.10.2007

[6] G.I. Bourianoff and D.E. Nikonov, "Associative memory oscillator array", US 8897047 B2, 25.11.2014.

[7] J. Rouat et al., "Spatio-temporal pattern recognition using a spiking neural network and processing thereof on a portable and/or distributed computer", US 20090287624 A1, 11.19.2009.

Изобретение относится к области осцилляторных нейронных сетей импульсного типа и может быть использовано для распознавания и классификации образов. Техническим результатом является обеспечение запоминания и распознавания множества образов, используя один входной слой сети. Способ представляет собой процедуру вычисления семейства метрик, состоящих из двух параметров - значения соотношения синхронизации высокого порядка (SHR) и величины эффективности синхронизации (η). При этом синхронизация (одного или группы осцилляторов) вычисляется относительно задающего осциллятора имеющего постоянную частоту осцилляций. 6 ил.

Способ обработки информации в импульсной нейронной сети, заключающийся в распознавании образов за счет синхронизации нейронов после цикла обучения сети, отличающийся тем, что в качестве нейронов используют осцилляторы, обеспечивающие взаимную синхронизацию сигналов на кратных гармониках (высокого порядка), а для классификации образов используют многоуровневые состояния синхронизации выходного осциллятора, определяемые семейством метрик - величиной синхронизации высокого порядка (SHR) и величиной эффективности синхронизации (η), относительно задающего осциллятора, имеющего постоянную частоту осцилляций.