Способ классификации изображений с помощью спайковой нейронной сети с синаптической пластичностью и алгоритма машинного обучения Российский патент 2024 года по МПК G06N3/02 G06T1/40 G06V10/40 

Область техники.

Настоящее техническое решение относится к области искусственного интеллекта и цифровой обработки изображений, в частности к компьютерно-реализованному способу классификации изображений, и может быть использовано при классификации изображений для узкоспециализированных задач (классификация изображений, имеющих схожее новое признаковое описание с изображениями, на которых происходило обучение). Изобретение обеспечивает разделение процесса классификации изображений на этапы, имеющие возможность реализации в виде микроэлектронного чипа для формирования универсального нового признакового пространства и вычислительного устройства для классификации изображений с использованием различных вариантов реализации последнего (микрокомпьютер, персональный компьютер, сервер).

Предшествующий уровень техники.

В результате поиска по патентным базам отобраны патентные документы, определяющие уровень техники в области исследования.

Из уровня техники известен СПОСОБ И УСТРОЙСТВО ДЛЯ КЛАССИФИКАЦИИ ИЗОБРАЖЕНИЙ [RU 2 643 464 C2, опубл.: 2018.02.01], в котором техническим результатом является повышение эффективности просмотра текстовых изображений. Способ содержит: получение изображений, подлежащих классификации; определение класса каждого изображения, в соответствии с пояснением признаков изображения, причем класс содержит класс текстовых изображений и класс нетекстовых изображений; классификацию изображений, в соответствии с классом каждого изображения; добавление каждого классифицированного изображения в папку, соответствующую классу изображения, и отображение папки; или добавление каждого классифицированного изображения в серию сворачиваемых изображений, соответствующую классу изображения, и отображение серии сворачиваемых изображений.

Недостатком является использование текстовых изображений, способ не обеспечивает автоматическую классификацию с формированием нового признакового пространства.

Известно изобретение НЕЙРОПОДОБНАЯ МОДЕЛЬ ДЛЯ АНАЛИЗА ИЗОБРАЖЕНИЙ [RU 2 028 670 C1, опубл.: 1995.02.09], в котором осуществляется моделирование нейронных структур, осуществляющих анализ изображений в зрительных системах и может найти применение при разработке технических систем автоматического анализа изображений и систем технического зрения. Целью изобретения является расширение функциональных возможностей за счет обеспечения возможности выделения и распознования неподвижных и движущихся изображений объектов или их частей произвольной заданной конфигурации, заданных параметров и ориентации. Модель состоит из матрицы 1 приемных элементов 2, матрицы 3 нейроподобных элементов 4 первого типа, первых выходов 5, матрицы 6 коммутаторов 7, нейроподобных элементов 8 второго типа, счетчиков 9, нейроподобных элементов 10 третьего типа, вторых 11 и третьих 12 выходов, управляющих входов 13 - 16.

Недостатком является то, что способ не обеспечивает автоматическую классификацию изображений с формированием универсального нового признакового пространства.

Известна полезная модель УСТРОЙСТВО КЛАССИФИКАЦИИ ИЗОБРАЖЕНИЙ [RU 158425 U1, опубл.: 2015.12.27], которая предназначена для классификации образов радиолокационных или оптических бинарных изображений подстилающей поверхности и объектов на ней. Устройство содержит (N) ОЗУ и (М) ПЗУ с выходной разрядностью 8 (16), суммирующее - вычитающее устройство и блок умножения-деления табличного типа, блок синхронизации, а так же автомат управления с внутренним счетчиком, мультиплексором, дешифратором и двумя собственными ПЗУ (ПЛМ). Полезная модель отличается высоким быстродействием и минимальными затратами оборудования по сравнению с известными конструкциями.

Недостатком является использование только образов радиолокационных или оптических бинарных изображений и отсутствием возможности формирования универсального нового признакового описания.

Известно изобретение СПОСОБ И СИСТЕМА ДЛЯ ВЫДЕЛЕНИЯ И КЛАССИФИКАЦИИ ДЕФЕКТОВ ЭКСПОЗИЦИИ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ [RU 2 370 815 C2, опубл.: 2009.10.20], которое может применяться в процессах автоматизированной цифровой фотопечати. Техническим результатом является автоматическое улучшение цифровых изображений за счет классификации дефектов экспозиции цифровых изображений. Способ оценки качества изображения включает в себя разбиение изображения на блоки, расчет яркостной гистограммы каждого блока, анализ яркостной гистограммы каждого блока, присвоение классификационного признака каждому блоку, присвоение классификационного признака изображению в целом. Автоматическая компьютерная система анализа экспозиции, с помощью которой реализуется способ, содержит: входное устройство из группы устройств, предназначенных для получения цифровых изображений, носитель информации, блок памяти для записи цифровых изображений, программное средство анализа экспозиции для оценки данных экспозиции для цифровых изображений и выбора классификации изображений, процессор для выполнения программы, записанной в память, устройство вывода, куда изображение передается после обработки, шина данных, предназначенная для информационного обмена между элементами системы.

Недостатком изобретения является то, что классифицирует только дефекты экспозиции и не формирует универсальное признаковое пространство.

Известно изобретение СПОСОБ КЛАССИФИКАЦИИ ИЗОБРАЖЕНИЙ [RU 2 756 778 C1, опубл.: 2021.10.05], в котором техническим результатом является высокая скорость классификации изображений без ухудшения точности. Способ классификации изображений заключается в том, что после формирования строк атрибутов эталонов для каждого класса объекта классификации и аналогичных атрибутов классифицируемых изображений формируют соответствующие атрибутам эталонов и классифицируемых изображений строки вероятностей, умноженные на коэффициенты значимости, выбранные оператором, а решающее правило определения класса для объекта классификации формируют в виде вычисления минимума суммы квадратов разностей между значениями элементов строк вероятностей эталонов и классифицируемых изображений, и относят классифицируемое изображение к классу эталона, соответствующего этой минимальной сумме.

Данное изобретение упрощает процесс отнесения того или иного изображения к определенному классу, но не обладает возможность формирования универсального признакового пространства. признаковое пространство в нем формируется оператором.

Сущность изобретения.

Предлагаемый способ и система классификации изображений с помощью спайковой нейронной сети с синаптической пластичностью и алгоритма машинного обучения отличается тем, что устраняет ряд недостатков известных решений.

В предпочтительном варианте реализации заявлен компьютерно-реализованный способ классификации изображений с помощью спайковой нейронной сети с синаптической пластичностью и алгоритма машинного обучения, включающий этапы, на которых:

1. получают изображение с помощью устройства фотофиксации или подгружают из накопленной базы данных с разметкой класса изображения;

2. получают новое признаковое пространство изображения путем его пропускания через спайковую нейронную сеть с пластичностью;

3. обучают алгоритм машинного обучения на новом признаковом пространстве;

4. классифицируют новые изображения, не имеющие метку класса, но имеющие новое признаковое описание, схожее с тем, по которому происходило обучение;

5. отображают результат классификации в виде присвоения класса изображению.

Система классификации изображений с помощью спайковой нейронной сети с синаптической пластичностью и алгоритма машинного обучения включает, по крайней мере, один процессор, оперативную память, запоминающее устройство, содержащее инструкции, загружаемые в оперативную память и выполняемые, по крайней мере, одним процессором, инструкции содержат этапы Способа.

Изобретение обеспечивает разделение процесса классификации изображений на этапы, имеющие возможность реализации в виде микроэлектронного чипа для формирования нового признакового пространства и вычислительного устройства для классификации изображений с использованием различных вариантов реализации последнего (микрокомпьютер, персональный компьютер, сервер).

Подробное описание.

Ниже перечислены термины и определения, используемые в данном техническом решении.

СНН (SNN) - спайковая нейронная сеть.

СТДП - синаптическая пластичность зависящая от времен возникновения спайков (STDP).

На Фиг. 1 представлена схема системы классификации изображений с помощью спайковой нейронной сети с синаптической пластичностью и алгоритма машинного обучения. В процессе классификации изображения предполагается сначала получение изображения с помощью устройства фотофиксации (фотокамеры) (101), затем передача его на вычислительное устройство (микрокомпьютер, персональный компьютер, сервер) для последующей обработки и классификации (102), результаты которой выводятся на устройство отображения (монитор) (103).

Для осуществления возможности классификации изображения требуется обучение алгоритма машинного обучения классифицировать по новому признаковому пространству (203). Для этого формируется база данных с метками класса (201), по каждому классу изображений формируется новое признаковое пространство с помощью спайковой нейронной сети с синаптической пластичность (202) и по полученному новому признаковому пространству, ассоциированному с метками класса происходит обучение алгоритма машинного обучения (203) (случайный лес, дискриминант Фишера, градиентный бустинг и т.д.).

Формирование нового признакового пространства показано на Фиг. 2. Изображение в виде одноканальной квадратной матрицы, состоящую из 784 пикселей, кодируется в виде последовательностей спайков, соответствующим распределению Пуассона с частотой, определяемой интенсивностью пикселя (Фиг. 3). Сформированные последовательности спайков, как показано на Фиг. 2, подаются на возбуждающий слой спайковой нейронной сети. Дополнительная регуляция активности возбуждающего слоя спайковой нейронной сети осуществляется тормозным слоем нейронов. С целью достижения однородности входного сигнала каждая последовательность спайков, кодирующая пиксель изображения подавалась на каждый нейрон в возбуждающем слое модели. Для адаптации весовых коэффициентов на возбуждающем слое использовалась зависящая от времен возникновения спайков пластичность (STDP). Стимуляция изображением спайковой нейронной сети осуществлялось следующим образом (Фиг. 4):

1. подача изображения - 350 миллисекунд;

2. период молчания - 150 миллисекунд.

В результате такой кодировки изображения формируется новое признаковое описание, представляющее собой количество спайков на возбуждающем слое для каждого отдельного изображения. Далее классификация изображений происходит с использованием нового признакового описания в виде количества спайков с помощью алгоритма «случайного леса» (Random Forest).

Для описания динамики мембранного потенциала возбуждающих и тормозных нейронов спайковой нейронной сети была использована модель «сброса и накопления с утечкой» (LIF). В общем виде она может быть записана следующим образом:

(1)

где определяет общую динамику для возбуждающих и тормозных нейронов и синапсов, - мембранный потенциал, - мембранный потенциал покоя, - синаптическая проводимость для возбуждающих и тормозных синапсов, соответственно, - равновесный потенциал для возбуждающих и тормозных синапсов, - характерные временные константы релаксации мембранного потенциала и синаптической проводимости, равные 100 мс, 5 мс (для возбуждающего синапса) и 10 мс (для тормозного синапса), соответственно. При достижении мембранного потенциала порогового значения происходит генерация спайка и возвращение значения мембранного потенциала к .

В нашей модели были приняты следующие значения параметров: для возбуждающих нейронов - , для тормозных нейронов -

.

Из уравнения 1 следует, что синаптическая проводимость в период отсутствия спайка экспоненциально релаксирует к начальному условию. В тоже время при возникновении спайка на i-м нейроне происходит изменение синаптической проводимости следующим образом:

(2)

где - синаптический вес для возбуждающего или тормозного синапса, соответственно.

В нашей модели синаптические веса между входным сигналом, представленным последовательностями спайков, и возбуждающими нейронами изменяются за счет зависящей от времен возникновения спайков пластичности (STDP) следующим образом:

(3)

где изменение синаптического веса зависит не от текущего значения синаптического веса , а от временного интервала , определяющего время прихода пресинаптического спайка относительно постсинаптического спайка. Соответствующие параметры принимали следующие значения: .

Соответственно, можно записать изменение синаптических весов следующим образом:

(4)

Спайковая нейронная сеть состоит из 100 возбуждающих и 100 тормозных нейронов, образующих слой возбуждающих и слой тормозных нейронов, соответственно. Схема связи нейронов между собой и входного сигнала представлена на Фиг. 5. Здесь PL - последовательности спайков, распределенных согласно процессу Пуассона и кодирующих пиксели изображения, EL - слой возбуждающих нейронов, IL - слой тормозных нейронов. На Фиг. 5 красным цветом обозначены связи последовательностей спайков с каждым нейроном возбуждающего слоя (PL → EL). На этом этапе вводится задержка распространения сигнала, выбираемая случайным образом из равномерного распределение от 0 до 5 мс. Все синаптические веса данного слоя (PL → EL) также выбираются для каждого синапса случайным образом от 0 до 0,01. Тип связи для слоя (PL → EL) определен как один со всеми. На следующем слое (EL → IL), где связи обозначены черными линиями с точками, вводится задержка распространения сигнала 10 мс и тип связи один к одному. На слое (IL → EL), где связи обозначены зелеными линиями, вводится задержка распространения сигнала 5 мс и тип связи один со всеми, кроме нейрона напротив.

Ниже приведены экспериментальные данные по использованию данного технического решения в одном из вариантов его реализации.

Ниже приведены экспериментальные данные по использованию данного технического решения в одном из вариантов его реализации.

Пример простейшей реализации.

В качестве простейшей реализации способа классификации изображений с помощью спайковой нейронной сети с синаптической пластичностью и алгоритма машинного обучения была проведена классификация изображений из базы данных MNIST. Для анализа признакового пространства, размерность которого соответствует числу нейронов популяции, в качестве признака было выбрано общее значение спайков для всего слоя. Предполагалось, что распределение спайков среди нейронов группы является равномерным, учитывая, что каждый нейрон в возбуждающем слое модели связан со всеми пикселями входного изображения. В среднем все нейроны в каждой популяции получают один и тот же сигнал, что позволяет использовать сумму спайков в качестве признака для пространства признаков. Для анализа и подсчета признака было предложено использовать данные полученные из возбуждающего слоя нейронов. Для этого простроенная модель была обучена на 100 случайных изображениях базы данных MNIST. На основе анализа была составлена сравнительная таблица (Фиг. 6), демонстрирующая выбранный признак для выборки из 100 изображений каждого класса. Для обучения и тестирования алгоритма была сформирована выборка данных из 6000 случайных изображений, из которых 5000 изображений использовались для формирования признакового пространства, а 1000 изображений для тестирования. В результате была построена матрица ошибок (Фиг. 7). Алгоритм классификации предложенным способом показал точность классификации 80,3 процента.

На Фиг. 8 показан пример компьютерной системы общего назначения, на которой может выполняться описываемое техническое решение и которая включает в себя многоцелевое вычислительное устройство в виде компьютера 20 или сервера, включающего в себя процессор 21, системную память 22 и системную шину 23, которая связывает различные системные компоненты, включая системную память с процессором 21.

Системная шина 23 может быть любого из различных типов структур шин, включающих шину памяти или контроллер памяти, периферийную шину и локальную шину, использующую любую из множества архитектур шин. Системная память включает постоянное запоминающее устройство (ПЗУ) 24 и оперативное запоминающее устройство (ОЗУ) 25. В ПЗУ 24 хранится базовая система ввода/вывода 26 (БИОС), состоящая из основных подпрограмм, которые помогают обмениваться информацией между элементами внутри компьютера 20, например, в момент запуска.

Компьютер 20 также может включать в себя накопитель 27 на жестком диске для чтения с и записи на жесткий диск, накопитель 28 на магнитных дисках для чтения с или записи на съемный диск 29, и накопитель 30 на оптическом диске для чтения с или записи на съемный оптический диск 31 такой, как компакт-диск, цифровой видео-диск и другие оптические средства. Накопитель 27 на жестком диске, накопитель 28 на магнитных дисках и накопитель 30 на оптических дисках соединены с системной шиной 23 посредством, соответственно, интерфейса 32 накопителя на жестком диске, интерфейса 33 накопителя на магнитных дисках и интерфейса 34 оптического накопителя. Накопители и их соответствующие читаемые компьютером средства обеспечивают энергонезависимое хранение читаемых компьютером инструкций, структур данных, программных модулей и других данных для компьютера 20.

Хотя описанная здесь типичная конфигурация использует жесткий диск, съемный магнитный диск 29 и съемный оптический диск 31, специалист примет во внимание, что в типичной операционной среде могут также быть использованы другие типы читаемых компьютером средств, которые могут хранить данные, которые доступны с помощью компьютера, такие как магнитные кассеты, карты флеш-памяти, цифровые видеодиски, картриджи Бернулли, оперативные запоминающие устройства (ОЗУ), постоянные запоминающие устройства (ПЗУ) и т.п.

Различные программные модули, включая операционную систему 35, могут быть сохранены на жестком диске, магнитном диске 29, оптическом диске 31, ПЗУ 24 или ОЗУ 25. Компьютер 20 включает в себя файловую систему 36, связанную с операционной системой 35 или включенную в нее, одно или более программное приложение 37, другие программные модули 38 и программные данные 39. Пользователь может вводить команды и информацию в компьютер 20 при помощи устройств ввода, таких как клавиатура 40 и указательное устройство 42. Другие устройства ввода (не показаны) могут включать в себя микрофон, джойстик, геймпад, спутниковую антенну, сканер или любое другое.

Эти и другие устройства ввода соединены с процессором 21 часто посредством интерфейса 46 последовательного порта, который связан с системной шиной, но могут быть соединены посредством других интерфейсов, таких как параллельный порт, игровой порт или универсальная последовательная шина (УПШ). Монитор 47 или другой тип устройства визуального отображения также соединен с системной шиной 23 посредством интерфейса, например, видеоадаптера 48. В дополнение к монитору 47, персональные компьютеры обычно включают в себя другие периферийные устройства вывода (не показано), такие как динамики и принтеры.

Компьютер 20 может работать в сетевом окружении посредством логических соединений к одному или нескольким удаленным компьютерам 49. Удаленный компьютер (или компьютеры) 49 может представлять собой другой компьютер, сервер, роутер, сетевой ПК, пиринговое устройство или другой узел единой сети, а также обычно включает в себя большинство или все элементы, описанные выше, в отношении компьютера 20, хотя показано только устройство хранения информации 50. Логические соединения включают в себя локальную сеть (ЛВС) 51 и глобальную компьютерную сеть (ГКС) 52. Такие сетевые окружения обычно распространены в учреждениях, корпоративных компьютерных сетях, Интернете.

Компьютер 20, используемый в сетевом окружении ЛВС, соединяется с локальной сетью 51 посредством сетевого интерфейса или адаптера 53. Компьютер 20, используемый в сетевом окружении ГКС, обычно использует модем 54 или другие средства для установления связи с глобальной компьютерной сетью 52, такой как Интернет.

Модем 54, который может быть внутренним или внешним, соединен с системной шиной 23 посредством интерфейса 46 последовательного порта. В сетевом окружении программные модули или их части, описанные применительно к компьютеру 20, могут храниться на удаленном устройстве хранения информации. Надо принять во внимание, что показанные сетевые соединения являются типичными, и для установления коммуникационной связи между компьютерами могут быть использованы другие средства.

В заключение следует отметить, что приведенные в описании сведения являются примерами, которые не ограничивают объем настоящего технического решения, определенного формулой. Специалисту в данной области становится понятным, что могут существовать и другие варианты осуществления настоящего технического решения, согласующиеся с сущностью и объемом настоящего технического решения.

Изобретение относится к области искусственного интеллекта и цифровой обработки изображений. Технический результат заключается в автоматизации классификации изображений за счет формирования признакового пространства с помощью нейроморфного алгоритма. Технический результат достигается за счет: получения изображений с помощью устройства фотофиксации или накопления изображений в виде базы данных с разметкой класса изображения, преобразования изображений с помощью спайковой нейронной сети с синаптической пластичностью в универсальное новое признаковое пространство, обучения и классификации нового признакового пространства изображений с помощью алгоритма машинного обучения на вычислительном устройстве и вывода результата на устройстве отображения. Изобретение обеспечивает разделение процесса классификации изображений на этапы, имеющие возможность реализации в виде микроэлектронного чипа для формирования нового признакового пространства и вычислительного устройства для классификации изображений с использованием различных вариантов реализации последнего (микрокомпьютер, персональный компьютер, сервер). 1 з.п. ф-лы, 8 ил.

1. Компьютерно-реализованный способ классификации изображений с помощью спайковой нейронной сети с синаптической пластичностью и алгоритма машинного обучения, включающий этапы, на которых:

получают изображение с помощью устройства фотофиксации или подгружают из накопленной базы данных с разметкой класса изображения;

получают новое универсальное признаковое пространство изображения, представляющее собой количество спайков на возбуждающем слое для каждого отдельного изображения, путем его пропускания через спайковую нейронную сеть с пластичностью;

обучают алгоритм машинного обучения Random Forest на новом признаковом пространстве;

классифицируют новые изображения, не имеющие метку класса, но имеющие новое признаковое описание, схожее с тем, по которому происходило обучение;

отображают результат классификации в виде присвоения класса изображению.

2. Способ по п.1, отличающийся тем, что новое признаковое пространство представляет собой количество спайков на возбуждающем слое для каждого отдельного изображения; для классификации изображений по новому признаковому пространству используется алгоритм машинного обучения Random Forest; архитектура спайковой нейронной сети состоит из трех слоев нейронов: входных нейронов, возбуждающих и тормозных, с фиксированным количеством в слое возбуждающих и тормозных, равным 100; синаптическая пластичность STDP применяется только на синапсах, соединяющих входные нейроны, последовательности спайков, кодирующих частоту пикселя, и возбуждающие нейроны.