Модуль нейроподобной сети Советский патент 1993 года по МПК G06G7/60 

Ч

и

Использование: изобретение относится к вычислительной технике, в частности к нейроподобным оптоэлектронным вычислительным сетям, применяемым для моделирования систем с распределенными параметрами. Сущность: в нейроподобный модуль с квазипространственным переносом заряда введен блок задания локальных характеристик нейрона. Этот блок содержит два компаратора 10 и 11, два элемента памяти 12 и 13 и элемент запуска 14. Все вводимые элементы имеют внешнее оптическое управление, посредством которого задаются пороговые уровни квантования переносимых в модуле зарядов, режима записи, перезаписи и сброса управляющей информации в элементах памяти. 2 з.п.ф-лы. 2 ил.

VN

00

о

OJ

о

Ю

со

Фиг.1

TtfJ

Изобретение относится к вычислительной технике, а именно к нейроподобным элементам оптоэлектронных нейросетевых структур, применяемых для моделирования систем с распределенными параметрами.

Целью изобретения является повышение точности моделирования процессов передачи информации в элементах нейронных сетей за счет адаптации режима квантования переносимой информации в соответствии с внешними и внутренними условиями процесса передачи информации.

На фиг. 1 приведена структурная схема узлового модуля нейроподобной сети; на фиг. 2 - вариант функциональной схемы такого нейроподобного модуля на оптоэлектронных элементах.

Модуль нейроподобной сети содержит входные управляемые резисторы 1.1-1.N, накопительные конденсаторы 2 и 3, ключи 4-7, разделительный управляемый резистор 8, узловой конденсатор 9 блока выхода модуля, компараторы 10 и 11, элементы памяти 12 и 13, элемент запуска 14, 15.1-15.6 - группа управляющих входов, 16 - вход опорного потенциала.

В оптоэлектронном исполнении модуль нейросети (фиг.2) содержит входные узловые фоторезисторы 1.1-1 .N, накопительные конденсаторы 2 и 3, оптроны 4-7, где с индексом 1 - информационные фотодиоды, с индексом 2 - управляющие светодиоды, разделительный управляемый резистор 8 - выполнен как повторитель тока на оптроне 8 с то коза дающим фоторезистором 8.1 и источником излучения 8.2 и входным фоторезистором 8.3, узловой конденсатор 9, компараторы 10 и 11, выполненные на пороговых источниках излучения 10.1-11.1 и фоторезисторах 10.2, и 11.2 для задания порогового потенциала на источниках излучения 10,1, 11.1. Элементы памяти 12 и 13 выполнены на запоминающих конденсаторах 12.1 и 13.1, оптоэлектронных ключах записи 12,2 и 13.2, оптоэлектронных ключах перезаписи 12.3 и 13.3, оптоэлектронных ключах сброса 12.4 и 13.4, элемент запуска выполнен из фоторезисторов 14.1, 14,3 и 14.5 и источников излучения 14.2, 14.4 и 14.6, элементы 17 и 18 оптической индикации локальных потенциалов и элемент 19 оптической индикации потенциала выхода модуля.

Структурно нейроподобный модуль оформлен в виде трех основных функциональных блоков (фиг.1): блок входа (блок конвергенции входных сигналов), скрытый- внутренний блок (блок однонаправленной передачи сигналов) и блок выхода (блок интегрального выходного сигнала).

При выборе такой структуры преследовалась цель сохранить соответствие (аналогию) функциональных назначений блоков нейроподобного модуля и моделируемого

нейрона, так например, блок конвергенции моделирует узел сходящихся дендритов нейронов, блок однонаправленной передачи сигналов моделирует ядро нейрона, в котором осуществляется интегрирование

0 входных сигналов и однонаправленный перенос, блок выхода моделирует аксон нейрона.

Блок входа выполнен на управляемых входных узловых резисторах 1.1-1.N, блок

5 однонаправленной передачи сигналов выполнен на накопительных конденсаторах 2 и 3, четырех ключах 4-7, двух компараторах 10 и 11, двух элементах памяти 12 и 13 и элементе запуска 14, блок выхода выполнен

0 на управляемом резисторе 8 в виде повторителя тока и выходном узловом интегрирующем конденсаторе 9,

Применяемые в модуле элементы могут иметь различное исполнение в зависимости

5 от схемного исполнения нейроподобной сети и внешних блоков управления параметрами этой сети. Управляемые резисторы и ключи модуля могут быть кодоуправляемы- ми при цифровых внешних управляющих

0 блоках, либо могут иметь оптоэлектронное исполнение при оптическом внешнем управлении.

Нейроподобный модуль работает следующим образом.

5 в соответствии с моделируемой распределенной системой составляется топология нейроподобной сети,в которой узловые точки сети соединены между собой посредством предлагаемых нейроподобных

0 модулей. При этом выход модуля включен в одну из узловых точек нейросети, а входы соединены с соседними узловыми точками нейросети, каждый со своим синаптическим весом. Вес каждого входного узлового уп5 равляемого резистора и других параметров элементов нейроподобного модуля задается в соответствии с условиями моделирования, которые получают сравнением уравнений, описывающих поведение узло0 вых функций моделируемой распределенной системы, и уравнений, описывающих изменение потенциалов в схеме нейроподобного модуля.

При выполнении нейроподобного моду5 ля на оптоэлектронных элементах появляется возможность потоком оптических управляющих сигналов осуществлять параллельное задание соответствующих пара- метров во всех модулях нейросети одновременно. Оптическими сигналами задаются режимы возбуждения и торможения нейроподобного элемента, пороговые уровни и синаптические веса каналов связи ней- роподобных модулей.

Рассмотрим режимы работы предлагаемого нейроподобного модуля в соответст- рии со структурной схемой на фиг,1, а затем некоторые особенности работы функциональной схемы на фиг.2, имеющей структу- эу схемы фиг.10 но выполненной на эптоэлектронных элементах.

Перед тем, как нейроподобный модуль Начинает участвовать в общем процессе передачи и преобразования информации в йейросетевом ансамбле, производится запуск - перевод в активное (возбужденное) фостояние такого модуля. Эта процедура производится подачей управляющего сиг- $апа запуска на управляющий вход 15.3 эле- йента запуска 14, если на выходах Элементов памяти 12 и 13 управляющие сигналы отсутствуют, либо имеются, но недо- |таточны для включения ключей 4-7, то на йыходе элемента запуска генерируется управляющий сигнал, который подается на ключ запуска элемента памяти 12, произво- ится подключение запоминающего кон- енсатора этого элемента памяти и на выходе элемента памяти 12 формируется управляющий сигнал, подаваемый на управляющие входы ключей 4 и 6, посредст- в|ом первого накопительного конденсатора 2| подключается ко входу блока однонаправленной передачи сигналов, посредством второго накопительный конденсатор 3 под- к|пючается к выходу блока однонаправленной передачи сигналов. Накопительный конденсатор 2 переводится в режим слежения за входной информацией и интегрирования значений входных сигналов до определенной величины, а с накопительно- rfy конденсатора 3 производится сброс за- , соответствующего по величине значению передаваемой информации, и по- с едством повторителя тока 8 на управляемых резисторах производится перезапись с 5расываемой величины заряда на выход- н )й узловой интегрирующий конденсатор 9, с выхода которого, являющегося выходом м(одуля, эта информация поступает на входи других нейроподобных модулей, подключенных к этой узловой точке сети. Накопительный конденсатор 2 в это время интегрирует входную информацию (сигна- лф), поступающие на этот конденсатор от дфугих точек сети через управляемые резисторы 1.1-1.N, каждый со своим весом, за- дйваемым управляющими потенциалами . Как только потенциал накопленного на ксЫденсаторе 2 заряда становится больше,

чем значение потенциала порогового уровня 15.1, происходит срабатывание компаратора 10, и на его выходе формируется управляющий сигнал, подаваемый на управляющий вход ключа записи элемента памяти 13 и на управляющий вход ключа перезаписи элемента памяти 12, при этом в элементе памяти 13 запоминающий конденсатор заряжается и на выходе этого элемен0 та памяти появляется управляющий сигнал, подаваемый на управляющие входы ключей 5,7 и открывающий эти ключи, в то же время в элементе памяти 12 запоминающий конденсатор разряжается и переводится в на5 чальное (нулевое) состояние, управляющий сигнал на выходе элемента памяти 12 исчезает и ключи 4 и 6 становятся закрытыми (разомкнутыми). На этом кончается первый такт работы блока однонаправленной пере0 дачи, когда накопительный конденсатор 2 подключен ко входу этого блока, а накопительный конденсатор 3 к выходу блока, во втором такте ко входу блока подключен накопительный конденсатор 3, а к выходу 5 накопительный конденсатор 2, и картина интегрирования входного сигнала на конденсаторе 3, отслеживание компаратором 11 определенного порога зарядки этого конденсатора перезаписи заряда с накопитель0 ного конденсатора 2 на интегрирующий узловой выходной конденсатор 9 и переключение ключей 4-7 повторяется.

Такая двухтактовая схема однонаправленной передачи сигналов в виде периоди5 ческого квазипереноса квантованных зарядов от входа блока к выходу работает на самозапуск до тех пор, пока не будет произведен останов (торможение) этого периодического процесса либо при длительном

0 отсутствии сигнала на входе модуля, либо внешним управляющим сигналом 15.4, осуществляющим сброс (разряд) запоминающих конденсаторов обоих элементов памяти 12 и 13, что приводит к обесточива5 нию цепей управления ключей 4-7 и отключению накопительных конденсаторов от входа и выхода блока однонаправленной передачи сигнала.

В качестве элементов памяти могут

0 применяться статические элементы памяти на триггере, но применение динамических элементов памяти на запоминающем конденсаторе имеет преимущества при моделировании процессов с самоторможени5 ем, когда отсутствие возбуждающих сигналов на входе модуля в течение определенного времени переводит схему в пассивное состояние. Моделирование такого режима самоторможения в предлагаемой схеме возможно за счет разряда запоминающего конденсатора через цепь управления ключей 4-7. Так, например, если схема модуля активизирована (возбуждена), то в элементе памяти 13 на запоминающем конденсаторе записан заряд, достаточный для того, чтобы в течение определенного времени удерживать пары ключей 4,6 или 5, 7 в замкнутом состоянии.

Если за промежуток времени, пока одна из пар находится в замкнутом состоянии, на накопительном конденсаторе, подключенном ко входу модуля, накопится проинтегрированный заряд, по величине превышающий некоторое заданное пороговое значение, то произойдет переключение другого накопи- тельного конденсатора ко входу модуля и этот конденсатор переводится в режим слежения и интегрирования входных сигналов. Но может оказаться так, что если на накопительном конденсаторе за промежуток вре- мени, пока замкнута одна из групп ключей и этот конденсатор находится в режиме слежения и интегрирования входных сигналов, не сформируется пороговый сигнал, достаточный для срабатывания компаратора, и заряд на запоминающем конденсаторе за счет разряда через цепь управления и снизится в конце промежутков времени слежения меньше уровня, достаточного для удержания ключей в замкнутом состоянии, то происходит их размыкание в результате усталости внимания и модуль переводится в пассивное состояние (торможение). На управляющие входы элемента запуска 14 от элементов памяти 12 и 13 перестают посту- пать сигналы индикации содержимого элементов памяти и теперь уже элемент запуска переводится в режим слежения и если на вход 15.3 будет подан сигнал, то произойдет включение ключа запуска, произой- дет зарядка запоминающего конденсатора в элементе памяти и модуль снова переводится в режим обработки и передачи сигналов от одних узловых точек нейросети к другим узловым точкам. Элемент запуска 14 устроен таким образом, что при наличии одного из сигналов управления с выходов элементов памяти 12 и 13, управляющий вход 15.3 блокирован и если на этот вход поступает управляющий сигнал, то включе- ние ключа запуска не произойдет.

Выполнение нейроподобного модуля на оптоэлектронных элементах имеет свои особенности. В принципе схема работает так же, только функции управления осуще- ствляются оптическими сигналами, что упрощает взаимосвязи между элементами схемы модуля и существенно улучшаются возможности взаимосвязи модулей в нейро- сетевом ансамбле.

Управляющие входы модуля 15.1-15.5- оптические управляющие входы, на которые подаются оптические управляющие сигналы, посредством которых производится запуск модуля, задание пороговых уровней, начальных условий и синаптических весов для входных каналов.

Запуск оптоэлектронного нейроподобного модуля осуществляется оптическим сигналом, направленным на фоторезистор 14.5, который после освещения открывается (увеличивает свою проводимость) и если фоторезисторы 14.1 и 14.3 не освещены и, следовательно, закрыты ( а это в том случае, если в цепях управления ключей 4-7 управляющие сигналы отсутствуют и ни одна из пар этих ключей не включена), то увеличивается ток через светодиод 14,6, вызывает его свечение и открывает ключ запуска и одновременно записи 12.2, производится заряд конденсатора 12 и открываются оптоэлект- ронные ключи 4 и 6, подключая накопительный конденсатор 2 через фоторезисторы

I.1-1.N ко входу модуля, а накопительный конденсатор 3 через повторитель тока на фоторезисторах 8.1, 8.3 и источнике излучения 8.2 к выходу модуля. Схема оптоэлектронного повторителя тока представлена одной из самых простых схем для иллюстрации принципа однонаправленной передачи сигнала от накопительного конденсатора к конденсатору 9.

После зарядки накопительного конденсатора, подключенного ко входу модуля до определенного значения, которое устанавливается величиной проводимости фоторезисторов 10.2 и 11.2 задания пороговых характеристик и которое определяется характеристиками срабатывания оптронов, содержащих попарно оптоэлектронные фотоприемники и излучатели 10.1, 12.3, 13.2 и

II.1, 12.2, 13.3, происходит высвечивание оптического сигнала на источнике излучения, подключенного к заряжаемому накопительному конденсатору, приводящее к соответствующему переключению оптоэлектронных ключей 4-7 и смене режима зарядки - разрядки накопительных конденсторов. Заряженный до определенного значения накопительный конденсатор переключается ко входу оптоэлектронного повторителя тока и через входную цепочку последовательно соединенных фоторезистора 8.3 и источника излучения 8.2 заряд с этого конденсатора стекает на шину нулевого потенциала, инициируя при этом за счет свечения источника излучения 8.2 в токозадающем фоторезисторе 8.1 ток зарядки конденсатора 9, по величине пропорциональный току, который стекает с накопительного конденсатора,

при этом величина заряда на конденсаторе 9 повышается на величину, равную заряду накопительного конденсатора. Накопительный конденсатор после разрядки через цепочку фоторезистора 8.3 и источника излучения 8.2 готов к следующему циклу Переключений, скорость разрядки накопительного конденсатора определяется емкостью накопительного конденсатора и реличиной сопротивления источника излучения 8.2 и фоторезистора 8.3. проводимость последнего задается внешним Оптическим сигналом 15.6.

Оптоэлектронная реализация ключей и управляемых резисторов позволяет довольно простыми техническими средствами осуществлять синхронизацию переключений накопительных конденсаторов от входа модуля к его выходу. Применение в управляющих цепях ключей источников излучений позволяет их использовать одновременно как элементы открывания оптоэлектронных ключей, как резистивные элементы разрядки запоминающих конденсаторов для моделирования процессов ослабления внимания (торможения), а также как элементы визуальной индикации режимов работы оптоэлектронных ключей, высвечиваемые при эдем оптические сигналы могут применяться для управления другими процессами в нейросетях.

Подавая одновременно управляющие рптические сигналы 15.4 на оптические входы фотодиодов 12.4 и 13.4 можно переводить либо выборочные нейроподобные модули в заторможенное состояние, либо целые зоны нейросети.

Из предлагаемых модулей набирают н,ейроподобную сеть в соответствие с условиями решаемой задачи. При этом математическую модель той распределенной системы, которую моделируют на нейропо- дЪбной сети, интерпретируют как распределительную систему дискретно-сетевой структуры, в узловых точках которой моделируются локальные параметры сетевой структуры, а связь узловых точек осуществляется посредством каналов связи с однонаправленной передачей сигналов.

Математическая модель модуля нейроподобной сети может быть представлена дифференциальными уравнениями, описывающими изменение локальных функций DJ внутреннего блока однонаправленной передачи и функции Uj на выходе модуля отно- сительно входных сигналов Vij, поступающих на вход модуля, включенного в j-ю узловую точку нейроподобной сети, от выходов модулей, включенных в соседние i-e узловые точки такой сети.

В общем виде уравнения изменения локального потенциала DJ и выходного потенциала Uj для j-ro модуля имеют вид:

5Су 5 GijCVij-Ujj-C fjUj at Ц

- ,О)

ю

C9j- i C2jfjU;-f9jUj-GjUj; (2)

5

0

5

0

5

0

5

0

5

где Uj - потенциал выходного сигнала j-ro модуля;

Uj - локальный потенциал блока однонаправленной передачи сигналов j-ro модуля;

Vij - потенциал входного сигнала на входе j-ro модуля от соседних i-x узлов нейроподобной сети;

GJJ - проводимость каналов связи от i-x узлов нейроподобной сети к i-му модулю;

GJ - эквивалентное значение проводимости каналов связи выхода j-ro модуля с другими узловыми точками нейроподобной сети;

- емкость накопительного конденсатора в блоке однонаправленной квантованной передачи сигнала j-ro модуля;

92) - проводимость цепей ослабления (торможения) локального потенциала Uj за счет утечки через накопительный конденсатор, схему компаратора и источник излучения;

Cgj - емкость узлового выходного конденсатора в j-м модуле;

ggj - проводимость цепей ослабления (торможения) потенциала выхода Uj за счет утечки через конденсатор 9 и включенный параллельно ему источник излучения оптического вывода операционных результатов модуля;

Uj -пороговый потенциал квантованного заряда, переносимого накопительным конденсатором в блоке однонаправленной передачи сигналов в j-м модуле;

fj - частота переключения накопительных конденсаторов в j-м модуле.

Для моделирования распределенных систем на нейроподобных сетях, набранных из предлагаемых модулей, производят преобразование математической модели распределенной системы к виду уравнений (1) и (2), сравнивают члены при подобных членах уравнений моделируемой системы и уравнений модуля и получаютусловия моделирования, в соответствии с которыми задают необходимые параметры элементов модуля. Задание параметров элементов модуля задают оптическими управляющими сигналами, задаются синаптические веса входных каналов связи в блоке конвергенции, пороговые характеристики и выходные характеристики блока выхода, кроме того посредством оптических сигналов задают режимы запуска (возбуждения) и останова (торможения) модуля. Оптические сигналы источников излучения оптоэлектронных элементов модуля используются для внутреннего управления характеристиками ней- роподобного модуля и одновременно могут служить как оптические выходы оптоэлект- ронного нейроподобного модуля для передачи информационных, либо управляющих сигналов другим модулем нейроподобной сети.

Таким образом, предлагаемая схема нейроподобного модуля на накопительных конденсаторах с автозапуском режимов переключения этих конденсаторов позволяет повысить качество моделирования процессов переноса квантованной информации в мейроподобных сетях. Исполнение схемы на оптоэлектронных элементах делает схему модуля относительно простой и позволяет использовать операционные оптические сигналы для управления и передачи информации от модуля к модулю в нейроподобной сети.

Формула изобретения 1. Модуль нейроподобной сети, содержащий входной блок конвергенции, блок однонаправленной передачи сигналов и блок выхода, при этом блок конвергенции состоит из N узловых входных управляемых резисторов, блок однонаправленной передачи сигнала из двух накопительных конденсаторов и четырех ключей, блок выхода из разделительного управляемого резистора и узлового выходного конденсатора, первые информационные выводы входных узловых управляемых резисторов являются входами блока конвергенции, вторые информационные выводы этих управляемых резисторов соединены между собой и являются выходом блока конвергенции, в блоке однонаправленной передачи сигналов первые информационные выводы первого и четвертого ключей соединены между собой и являются входом блока однонаправленной передачи, а первые информационные выводы второго и третьего ключей соединены между собой и являются выходом блока однонаправленной передачи сигналов, вторые информационные выводы первого и второго ключей соединены между собой и подключены к первому выводу первого накопительного конденсатора, вторые информационные выводы третьего и четвертого ключей соединены между собой и подключены к первому выводу второго накопительного конденсатора, вторые выводы первого

и второго накопительных конденсаторов подключены к шине нулевого потенциала, в блоке выхода первый вывод узлового разделительного управляемого резистора является входом этого блока, второй вывод этого

0 резистора соединен с первым выводом узлового конденсатора и образует выход блока, второй вывод узлового конденсатора подключен к шине нулевого потенциала, входы блока конвергенции одновременно

5 являются входами модуля, выход блока конвергенции соединен с входом блока однонаправленной передачи сигналов, выход блок соединен с входом блока выхода, а выход этого блока является выходом моду0 ля, управляющие входы управляемых резисторов блока конвергенции образуют первую группу управляющих входов модуля для задания входных параметров, управляющий вход разделительного управляемого

5 резистора является управляющим входом модуля для задания параметров блока выхода, отличающийся тем, что, с целью повышения точности моделирования процессов передачи информации в элементах

0 нейронных сетей, введен блок задания ло- . кальных параметров, содержащий два компаратора, два элемента памяти, элемент запуска, каждый элемент памяти содержит запоминающий конденсатор, ключ записи,

5 ключ перезаписи, ключ сброса, элемент запуска содержит три управляемых резистора и один ключ запуска, в каждом элементе памяти первый вывод запоминающего конденсатора, первые информационные выво0 ды ключа записи, ключа перезаписи и ключа сброса соединены между собой и являются выходом элемента памяти, второй вывод запоминающего конденсатора, вторые информационные выводы ключа перезаписи и

5 ключа сброса подключены к шине нулевого потенциала, второй информационный вывод ключа записи подключен к шине опорного потенциала, в элементе запуска первый и второй управляемые резисторы соединены в

0 параллель и их первые информационные выводы подключены к шине нулевого потенциала, а вторые информационные выводы этих резисторов и первый информационный вывод третьего управляемого резистора соеди5 нены между собой и подключены к управляющему входу ключа запуска, второй информационный вывод третьего управляемого резистора подключен к шине опорного потенциала, первый информационный вывод ключа запуска подключен к

выходу первого элемента памяти, второй информационный вывод этого ключа подключен к шине опорного потенциала, управ- ляющий вход первого управляемого резистора элемента запуска подключен к выходу первого элемента памяти управляющий вход второго управляемого резистора элемента запуска подключен к выходу второго элемента памяти, первый вход первого компаратора подключен к первому выводу первого накопительного конденсатора, первый вход второго компаратора подключен к первому выводу второго накопительного конденсатора, выход первого компаратора соединен с управляющим входом ключа за- писи во втором элементе памяти и с управляющим входом ключа перезаписи в первом элементе памяти, выход второго компаратора соединен с управляющим входом ключа записи в первом элементе памяти и с управ- ляющим входом ключа перезаписи во втором элементе памяти, вторые входы первого и второго компараторов являются соответственно первым и вторым управляющими входами модуля для задания поро-

говых характеристик модуля, управляющие входы ключей сброса в элементах памяти являются управляющими входами модуля для останова и задания начальных условий, управляющий вход третьего управляемого резистора элемента запуска является управляющим входом для запуска модуля.

2. Модуль по п.1,отличающийся тем, что узловые управляемые резисторы, разделительный управляемый резистор, управляемые резисторы элемента запуска модуля и ключи выполнены на оптронах, при этом фотоприемники этих оптронов имеют дополнительные оптические управляющие входы для внешних управляющих оптических сигналов, кроме того, к узловому выходному конденсатору и двум накопительным конденсаторам подключены в параллель источники излучения, оптический выходной сигнал первого является оптическим аналоговым выходом модуля, оптические выходы двух последних являются оптическими выходами кодовых сигналов модуля.