Способ распознавания цифровых образов протезными системами Российский патент 2022 года по МПК G06V20/70 G06V10/70 A61F9/08 

Область техники

Предложенное изобретение относится к технологиям распознавания цифровых образов и может быть реализовано в зрительных протезных системах, предназначенных для использования людьми с ограниченными возможностями, с целью улучшения восприятия и распознавания окружающего пространства пользователем.

Уровень техники

В уровне техники широко представлены вспомогательные решения для людей с нарушением зрения: устройства оповещения об окружающих предметах через звуковые сигналы и шрифт Брайля, причем некоторые из этих устройств способны идентифицировать объекты на изображениях с камер посредством машинного зрения, протезные системы, воздействующие на зрительную кору или непосредственно глаза, и способы, предназначенные для этих устройств. Далее представлены аналоги заявленного изобретения.

Техническое решение по патенту RU2361273C2 раскрывает способ распознавания изображений объектов, где в качестве эталона хранится трехмерное представление объекта в векторном виде, элементами которого являются градации серого. При распознавании трехмерный образ поворачивается, каждый раз генерируется ряд плоских изображений, пока не удастся найти совпадение. При решении данной задачи путем непосредственного перебора всех вариантов затраты машинного времени велики, поэтому для предварительной обработки используется ряд параметров объекта, класс, к которому относится данный объект, габаритные размеры. Недостатком указанного способа являются большие временные затраты, так как даже с сокращением процесса обработки до ключевых параметров, генерация и поиск совпадений остаются продолжительными этапами. Указанный аналог способен помочь распознать объекты окружающего мира, однако не способен помочь их воспринять, что обуславливает его неприменимость к зрительным протезным системам.

Второй аналог, US9990861B2, содержит информацию об умном протезе для облегчения искусственного зрения с использованием абстракции сцен и способ обеспечения искусственного зрения слабовидящему пользователю, с имплантированным зрительным протезом. Способ включает в себя конфигурирование, в ответ на информацию выбора, полученную от пользователя интеллектуального протеза для выполнения по меньшей мере одной функции из множества функций с целью облегчения выполнения визуальной задачи. Способ далее включает извлечение из входного сигнала изображения, генерируемого в ответ на оптический входной сигнал, представляющий сцену, информации об элементе, относящейся по меньшей мере к одному элементу внутри сцены, имеющему отношение к визуальной задаче. Затем интеллектуальный протез генерирует данные изображения, соответствующие абстрактному представлению сцены, в котором абстрактное представление включает в себя представление по меньшей мере одного элемента. Пиксельная информация, основанная на данных изображения, затем передается зрительному протезу. Недостаток аналога заключается в том, что абстракция сцен имеет менее четкую передачу при стимуляции, чем распознанные границы (п.1 Формула: «символическое представление по меньшей мере одного элемента…», что усложняет процесс восприятия, помимо этого отсутствует любое сопровождение информацией в реальном времени, оставляя пользователя угадывать объекты и расстояния – т.е. распознавать окружающий мир самостоятельно.

Следующий аналог, US8831337B2, описывает способ, систему и компьютерный программный продукт для определения местоположения обнаруженных объектов. Способ, выполняемый по меньшей мере одним устройством для повышения точности определения местоположения обнаруженных объектов на изображении, включает:

- обнаружение первого объекта в изображении, причем первый объект включает пиксельные столбцы;

- подгонка уравнения к соответствующим глубинам столбцов пикселей и определение того, является ли достаточным соответствие между уравнением и соответствующими глубинами столбцов пикселей; и

- в ответ на определение того, что подгонка недостаточна между уравнением и более чем пороговым числом соответствующих глубин последовательных столбцов пикселей, разделяют первый объект по меньшей мере на второй и третий объекты, причем второй объект включает в себя последовательные столбцы пикселей. Достоинство указанного решения во внедрении карты глубины, с возможностью определять расстояние до объекта. Однако, обращаясь к чертежам, мы видим, что без определения границ изображение, поступающее на протез, имеет низкое, размытое качество, а так как информационное сопровождение так же, как в предыдущих аналогах отсутствует, пользователь имеет малые возможности к восприятию и распознаванию окружающего мира.

Из US 6400989 B1 известен способ использования адаптивного сенсомоторного энкодера для зрительного или акустического протеза, включающий этапы: подачи минимального одноканального блока ввода оценки для индивидуальной настройки указанных функций обработки сигналов посредством диалогового процесса, блока ввода оценки с использованием субъективного вектора оценки., где вектор оценки представляет сходство воспринимаемого в данный момент паттерна с желаемым паттерном; передача вектора оценки в систему настройки параметров для получения подходящих последовательностей векторов параметров, указанная система настройки параметров, содержащая нейронную сеть с неконтролируемыми правилами адаптации; и генерация указанным блоком ввода оценки вектора параметров на многоканальном выходе для соответствующей функции обработки сигнала, подлежащей настройке. Указанный аналог имеет массу достоинств, таких как синхронизация с движением головы и глаз, распознавание образов и стимуляция, однако данное решение сосредоточено на пространственно-временном полезном действии протеза-кодера и способа для него, не затрагивая пользу для восприятия и распознавания окружающего мира пользователя, т.е. данная область осталась нераскрытой.

Каждое из представленных выше решений (RU 2361273 C2, US 9990861 B2, US 8831337 B2, US 6400989 B1), может быть принято в качестве аналога предлагаемого изобретения, при этом в настоящей заявке представлен способ, решающий задачу по комплексному устранению недостатков аналогов, как это будет показано ниже.

Раскрытие изобретения

Предложенное изобретение при своем осуществлении позволяет обеспечить достижение технического результата, заключающегося в расширении функциональных возможностей пользователя зрительного протеза, в частности восприятия и распознавания окружающего пространства. Процесс угадывания объектов при использовании только зрительного протеза дополняется точным их распознаванием и уведомлением пользователя о том, что конкретно он наблюдает в реальном времени.

Для достижения указанного технического результата в преимущественном варианте осуществления предложен способ, представляющий собой набор последовательных этапов компьютерной обработки видеосигнала с камер для зрительных протезных систем, с контурированием целевых объектов, их идентификацией с помощью алгоритмов машинного зрения и прочих алгоритмов искусственного интеллекта, а также определением расстояний до физических объектов наблюдаемой сцены с предоставлением обратной связи пользователю в виде аудио или виброотклика.

Краткое описание чертежей

На фиг.1 – общий вид, блок-схема последовательности этапов способа.

Способ состоит из одиннадцати этапов, семь из которых осуществляется последовательно, а четыре - параллельно. Далее в описании представлены сведения, показывающие, каким образом может быть осуществлено предложенное изобретение и приведено обоснование достижения указанного технического результата.

Осуществление изобретения

Способ распознавания цифровых образов протезными системами показан на фиг.1.

Способ включает в себя ряд последовательных и параллельных этапов, предназначенных для работы с протезными системами:

1. Получают полноразмерные кадры с камер визуальной протезной системы, запускают два параллельных процесса, один из которых в конечном итоге приводит к созданному паттерну стимуляции зрительной коры пользователя, а другой – к идентификации объектов и расстояний до них с последующим оповещением.

Полноразмерные кадры требуются для дальнейшего анализа окружающего пространства. Разделение на две ветви процесса описано далее, и обе ветви направлены на ассистирование пользователю протеза при взаимодействии с окружающим миром. В заявленном способе они протекают параллельно и задуманы как неотъемлемая часть друг друга и совокупности этапов способа. Предусмотренная иерархия этапов, начиная с данного первого этапа является оптимальной по продуктивности и быстродействию, помогая пользователю восприятии и распознавании окружающего пространства.

2. Преобразовывают полноразмерные кадры в квадрат в градациях серого. На данном этапе с помощью программного обеспечения производят «обрезку» исходного кадра, при этом квадрат располагается в его математическом центре. Указанный этап является обязательным подготовительным мероприятием для дальнейшей обработки изображений

3. Далее выполняют определение границ объектов с помощью детектора Canny. Учитывая, что заявленный способ создан для непосредственной работы с протезными системами, детектор Canny является лучшим фильтром, по критериям выделения, локализации и минимизации нескольких откликов одного края. Детектор определяет границы, исключает ложные линии и обеспечивает высокую четкость распознанных границ, что важно для дальнейших этапов.

4. После того, как программное обеспечение определило границы объектов, запускают процесс их размытия с использованием функции нормального распределения - «размытия по Гауссу». Исходя из определения, это низкочастотный фильтр, который сглаживает неравномерные значения пикселей изображения, обрезая самые высокие значения. Четкие границы сохраняются, но смягчаются при размывании. Это позволяет подготовить границы распознанного объекта к форматированию для передачи на зрительный протез, где в виде импульсов они будут иметь благоприятный к восприятию вид.

5. Затем полученный кадр разбивают на прямоугольные ячейки, количество которых может варьироваться, но строго соответствует количеству используемых в визуальной протезной системе электродов (физических или виртуальных). Значение интенсивности белого в каждой ячейке усредняют. Равенство числа ячеек с числом электродов обеспечивает верные и точные пропорции и лучшее отображение.

6. По завершению первичной обработки кадра формируют паттерн стимуляции – информацию о яркостных характеристиках сигнала для каждого электрода. Для процесса паттернизации используют следующие параметры:

- Показатель интенсивности – значение тока, проходящего через конкретный электрод импланта;

- Показатели времени – временные параметры, определяющие характер воздействия тока на целевую биологическую ткань;

- Последовательность стимуляций (активаций) электродов. С целью повышения безопасности и износостойкости импланта сигнал на его электродную решетку может быть смоделирован таким образом, чтобы один паттерн стимуляции был разнесен во времени, то есть активация необходимых электродов в рамках одного кадра происходит не одновременно, а группами, реализуя, таким образом, «динамический алгоритм»;

Формируют «кадр» или серии «кадров» стимуляции. Кадром в рамках данного контекста называется итоговый паттерн стимуляции с суммарной информацией трех вышеописанных параметров, выраженный в виде зашифрованного пакета данных. На данном этапе завершают формирование паттерна стимуляции.

7. Отправляют паттерн стимуляции на установленный в целевой зоне протез посредством проводной или беспроводной связи. Описанная ветвь завершена, пользователь в настоящий момент времени в пространстве получает сформированную стимуляцию и сразу может воспринять границы окружающих предметов, а распознать их помимо очевидного узнавания помогает аудио или иное сопровождение, ветвь процесса получения которого шла параллельно, и описана далее.

2.1. Для начала процесса идентификации объектов и расстояний до них с последующим оповещением распознают объекты на кадрах. На данном этапе выполняют вычисление объектов в сцене с помощью обученных алгоритмов машинного зрения (или прочих алгоритмов искусственного интеллекта), результатом чего является оповещение (аудио или иное, если применимо) пользователя визуальной протезной системы о наличии тех или иных объектов в наблюдаемой сцене. Способ не требует подключения к сети интернет, и может быть использован в автономном режиме при условии наличия в памяти зрительного протеза установленных обученных библиотек;

3.1. В дополнение к сущностной идентификации объектов с помощью алгоритмов машинного зрения, также определяют расстояние до каждого них (опционально). Для этого, в первую очередь, в анализ включают второй кадр со второй камеры предварительно откалиброванной протезной системы;

4.1. Затем выстраивают карту глубины с помощью известных калибровочных параметров оптической стереосистемы и построения карты диспарантности, которая получается на основе принципов поиска аналогичных групп пикселей на двух кадрах с использованием эффекта параллакса;

5.1. По результатам анализа пользователю сообщают информацию о расстояниях в удобном для него сенсорном виде через аппаратные средства (аудио или ином, если применимо). Таким образом, пользователь получает и стимуляцию, обеспеченную протезом и сопровождение, обеспечивающее точную идентификацию объектов и расстояний до них. Процессы протекают быстро, так что угадывание объектов при использовании только зрительного протеза дополняется точным их распознаванием и уведомлением пользователя о том, что конкретно он наблюдает в реальном времени.

Таким образом, обеспечивается достижение технического результата, заключающегося в расширении функциональных возможностей пользователя зрительного протеза, в частности восприятия и распознавания окружающего пространства.

Способ относится к технологиям распознавания цифровых образов и может быть реализован в зрительных протезных системах. Технический результат заключается в обеспечении возможности восприятия и распознавания окружающего пространства пользователем протезной системы. Технический результат достигается за счет выполнения следующих этапов: получение полноразмерных кадров с камер протезной системы; преобразование кадров в квадраты в градациях серого; определение границ объектов; размытие границ с использованием функции нормального распределения; разбиение на прямоугольные ячейки; формирование паттерна стимуляции в виде информации о яркостных характеристиках сигнала для каждого электрода; шифрование сформированного паттерна стимуляции; отправка паттерна стимуляции на протез; распознавание объектов на кадрах, вычисление объектов в сцене с помощью обученных алгоритмов машинного зрения или алгоритмов искусственного интеллекта, оповещение пользователя о наличии тех или иных объектов в наблюдаемой сцене; в дополнение к сущностной идентификации объектов, определение расстояния до каждого из них; построение карты глубины и карты диспарантности; сообщение информации о расстояниях в удобном для пользователя виде через аппаратные средства. 1 ил.

Способ распознавания цифровых образов протезными системами, характеризующийся последовательностью этапов, где

- предварительно получают полноразмерные кадры с камер визуальной протезной системы, запускают два параллельных процесса, один из которых в итоге приводит к созданному паттерну стимуляции зрительной коры пользователя, а другой к идентификации объектов и расстояний до них с последующим оповещением,

- преобразовывают полноразмерные кадры в квадрат в градациях серого,

- с помощью программного обеспечения производят «обрезку» исходного кадра,

- далее выполняют определение границ объектов с помощью детектора Canny,

- запускают процесс их размытия с использованием функции нормального распределения - «размытия по Гауссу»,

- затем полученный кадр разбивают на прямоугольные ячейки, количество которых может варьироваться, но строго соответствует количеству используемых в визуальной протезной системе электродов, причем значение интенсивности белого в каждой ячейке усредняют,

- формируют паттерн стимуляции в виде информации о яркостных характеристиках сигнала для каждого электрода, используют параметры «показатель интенсивности», «показатели времени», «последовательность стимуляций (активаций) электродов», затем

- сформированный паттерн стимуляции с суммарной информацией трех вышеописанных параметров выражают в виде зашифрованного пакета данных, и

- отправляют паттерн стимуляции на установленный в целевой зоне протез посредством проводной или беспроводной связи, вследствие чего

- распознают объекты на кадрах, выполняют вычисление объектов в сцене с помощью обученных алгоритмов машинного зрения или алгоритмов искусственного интеллекта, оповещают пользователя визуальной протезной системы о наличии тех или иных объектов в наблюдаемой сцене,

- в дополнение к сущностной идентификации объектов с помощью алгоритмов машинного зрения, определяют расстояние до каждого них, для чего в анализ включают второй кадр со второй камеры предварительно откалиброванной протезной системы,

- затем выстраивают карту глубины с помощью известных калибровочных параметров оптической стереосистемы и построения карты диспарантности, которую получают на основе принципов поиска аналогичных групп пикселей на двух кадрах с использованием эффекта параллакса,

- итоговым этапом по результатам анализа пользователю сообщают информацию о расстояниях в удобном для него виде через аппаратные средства.